Phi kunstmatige intelligentiemodel van Microsoft - klein, goedkoop en heeft geen last van "hallucinaties". Dit is wat ze zeggen over het nieuwe taalmodel, dat naar verwachting een grote toekomst zal hebben.
GPT is absoluut geweldig, maar tegelijkertijd is het verschrikkelijk duur, en het kan niet voor iedereen perfect zijn. Om deze en vele andere redenen Microsoft experimenteert met veel kleinere AI-modellen. Er wordt gezegd dat Phi-3-mini zelfs het werk van OpenAI-ingenieurs te schande maakt.
Ook interessant: Transistors van de toekomst: een nieuw chipstijdperk wacht op ons
ChatGPT is geen wondermiddel
ChatGPT is een uitvinding die wordt gefinancierd, samengesteld en verbeterd Microsoft. Eigenlijk hoort het er niet bij Microsoft, en het bedrijf OpenAI, dat Microsoft geen eigenaar is (zij is de grootste, maar niet de grootste, investeerder). Het GPT-taalmodel gaf Microsoft een gigantisch voordeel ten opzichte van de rest van de grote technologiebedrijven die zich nu haasten om hun achterstand in te halen. Er zijn echter een groot aantal problemen met GPT, waarvan er vele nog niet kunnen worden opgelost.
In de eerste plaats is dit een zeer hulpbronnenintensief taalmodel. Webgericht Microsoft OpenAI's Copilot of ChatGPT genereren zeer hoge operationele kosten Microsoft. Dit is niet alleen een kenmerk van GPT, maar ook van alle belangrijke taalmodellen. Bovendien is GPT, net als zijn concurrenten, vatbaar voor "hallucinaties", dat wil zeggen dat het reacties kan genereren op vragen die valse of misleidende informatie bevatten. Hoe meer gegevens een dergelijk model absorbeert, hoe meer het vergelijkbare inhoud genereert. Daarom zijn hallucinaties en valse verklaringen geen mythe die uit een digitale vinger wordt gezogen. Gebruikers merken vaak op dat grote taalmodellen vaak fouten maken, onnauwkeurige gegevens opleveren en uitgaan van niet-bestaande feiten.
Beide problemen zijn zeer ernstig en daarom heeft OpenAI, MicrosoftMeta, Google en anderen werken niet alleen aan de ontwikkeling van de Large Language Model-technologie, maar ook aan het Small Language Model, dat in de praktijk veel betere resultaten kan opleveren.
Een digitale accountantsassistent hoeft niet veel van kwantumfysica te weten. Het kan veel kleiner en minder complex zijn (en daarom goedkoper), en door alleen te trainen op de gegevens die nodig zijn voor het doel ervan, zou het theoretisch minder moeten hallucineren. Alhoewel, dit is makkelijker gezegd dan gedaan. GenAI-technologie is nog steeds een wilde IT-onderneming. En hoewel het werk in een ongekend tempo vordert, is het nog steeds moeilijk om in de praktijk doorbraken te bewerkstelligen op fundamentele kwesties. Maar het bedrijf Microsoft heeft onlangs een dergelijke doorbraak aangekondigd. We hebben het over een klein taalmodel Microsoft Phi.
Ook interessant: Hoe Taiwan, China en de VS vechten om technologische dominantie: de grote chipoorlog
Wat is er bekend over? Microsoft Phi
Allereerst moet worden opgemerkt dat het experiment werd uitgevoerd zonder de deelname van het OpenAI-bedrijf. Dat wil zeggen, het is de ontwikkeling van ingenieurs Microsoft.
modellen Microsoft Phi is een serie kleine taalmodellen (SLM's) die uitzonderlijke resultaten behalen in een verscheidenheid aan tests. Het eerste model, Phi-1, had 1,3 miljard parameters en behaalde de beste Python-coderingsresultaten onder de bestaande SLM's.
De ontwikkelaars concentreerden zich vervolgens op het begrijpen en denken van taal en creëerden het Phi-1.5-model, dat ook 1,3 miljard parameters had en prestaties liet zien die vergelijkbaar waren met modellen met vijf keer zoveel parameters.
Phi-2 is een model met 2,7 miljard parameters dat uitstekende capaciteiten voor redeneren en taalbegrip demonstreert en presteert op het niveau van de beste basismodellen met 13 miljard parameters. Phi-2 onderscheidt zich van andere modellen vanwege zijn innovaties op het gebied van modelschaling en datacuratietraining.
Het is beschikbaar in de Azure AI Studio-modelcatalogus, die onderzoek en ontwikkeling op het gebied van taalmodellen vergemakkelijkt. Phi-2 werd gelanceerd in december 2023. De ontwikkelaars verzekeren dat het net zo goed werkt als Mistral of Lama 2 van Meta. En Phi-3 werkt zelfs beter dan de vorige versie.
Het zojuist aangekondigde Phi-3-model is echter volledig nieuw van kwaliteit. Dat is tenminste wat je kunt beoordelen op basis van de verstrekte informatie Microsoft. Volgens het bedrijf presteert de Phi-3, volgens de indicatoren van alle bekende benchmarks, beter dan enig ander model van vergelijkbare omvang, inclusief taalanalyse, programmeerwerk of wiskundig werk.
De Phi-3-mini, de kleinste versie van dit model, is zojuist beschikbaar gekomen voor alle geïnteresseerden. Dat wil zeggen, het is beschikbaar sinds 23 april. Phi-3-mini heeft 3,8 miljard parameters en dat blijkt uit metingen Microsoft, twee keer zo efficiënt als elk ander model van hetzelfde formaat. Het is te vinden in de catalogus met AI-modellen van de cloudservice Microsoft Azure, het machine learning-modelplatform Hugging Face, en Ollama, een raamwerk voor het uitvoeren van modellen op een lokale machine.
zoals hij beweert Microsoft, Phi-3-mini vereist geen krachtige chips Nvidia. Het model kan werken op gewone computerchips. Of past zelfs op een telefoon die niet met internet is verbonden.
Minder vermogen betekent ook dat de modellen niet zo nauwkeurig zullen zijn. Phi-3 zal niet geschikt zijn voor artsen of belastingaccountants, maar zal helpen bij eenvoudigere taken. Bijvoorbeeld voor het richten van advertenties of het samenvatten van recensies op internet.
Omdat de kleinere modellen minder verwerking vereisen, zullen ze voor particuliere bedrijven goedkoper te gebruiken zijn. Dat is in Microsoft er zullen meer klanten zijn die AI graag bij hun werk willen betrekken, maar dit te duur vinden. Hoeveel deze gaan kosten is echter nog niet duidelijk.
Wanneer de kleine en middelgrote modellen verschijnen is nog niet bekend. Maar de laatste zal krachtiger en duurder zijn. Hoewel het al bekend is dat Phi-3-small 7 miljard parameters zal hebben, en Phi-3-medium maar liefst 14 miljard parameters.
Lees ook:
- Microchips van grafeen maken telefoons sneller en gemakkelijker
- Over kwantumcomputers in eenvoudige woorden
Hoe Phi-3-mini gebruiken?
GPT-4 Turbo vereist krachtige AI-chips, die nog steeds erg duur zijn. Het Phi-3 small speech-model kan offline werken, zonder de cloud, zelfs met behulp van een chip op een mobiele telefoon.
Phi-3 is geen product voor eindgebruikers, maar een technologie die ontwikkelaars kunnen gebruiken en implementeren in hun applicaties - zowel cloudgebaseerd, dat wil zeggen op afstand gelegen, als applicaties die lokaal en offline werken. Er wordt verwacht dat het naadloos zal samenwerken met apparaten en hun componenten, zoals mobiele telefoons, auto's en hun infotainmentsystemen, of zelfs IoT-sensoren. In sommige scenario's kan deze technologie van onschatbare waarde zijn.
Microsoft geeft zelfs een concreet voorbeeld, zodat we onze verbeelding niet hoeven te belasten. Stel je een boer voor die zijn gewassen inspecteert en tekenen van ziekte op de bladeren, stengels en takken ziet. Omdat hij ver van de telecommunicatiemasten verwijderd is, hoeft hij alleen maar zijn telefoon te pakken, een foto te maken van de schade, deze in een applicatie te plaatsen die Phi-3-technologie gebruikt - en het model zal de foto snel en offline analyseren en advies geven over hoe je deze ziekte precies kunt bestrijden.
Zoals hij uitlegt Microsoftwas de sleutel tot het succes van GPT het gebruik van enorme hoeveelheden gegevens voor training. Met zulke grote datasets is een hoge datakwaliteit uitgesloten. Ondertussen werd bij het trainen van het Phi-model precies de tegenovergestelde OpenAI-aanpak gebruikt. In plaats van het model vol te proppen met informatie, lag de nadruk op stapsgewijs en grondig leren.
In plaats van ruwe internetgegevens te gebruiken, onderzoekers Microsoft creëerde de TinyStories-dataset, die miljoenen miniatuur ‘baby’-verhalen genereerde. Deze verhalen werden gebruikt om zeer kleine taalmodellen te trainen. De onderzoekers gingen vervolgens verder door de CodeTextbook-dataset te creëren, die gebruik maakte van zorgvuldig geselecteerde, openbaar beschikbare gegevens die werden gefilterd op educatieve waarde en inhoudskwaliteit. Deze gegevens werden vervolgens verschillende keren gefilterd en teruggekoppeld naar een groot taalmodel (LLM) voor verdere synthese.
Dit alles maakte het mogelijk om een reeks gegevens te creëren die voldoende was om een capabelere SLM te trainen. Bovendien werd bij de ontwikkeling van het Phi-3-model gebruik gemaakt van een aanpak op meerdere niveaus van risicobeheer en -beperking, inclusief beoordeling, testen en handmatige aanpassingen. Met als resultaat, zoals hij beweert Microsoftkunnen ontwikkelaars die de Phi-3-modelfamilie gebruiken profiteren van de toolset die beschikbaar is in Azure AI om veiligere en betrouwbaardere applicaties te bouwen.
Lees ook: Teleportatie vanuit een wetenschappelijk oogpunt en zijn toekomst
Microsoft Zal Phi modellen van het ChatGPT-type vervangen?
Helemaal niet. Kleine taalmodellen (SLM's) hebben, zelfs als ze zijn getraind op gegevens van hoge kwaliteit, hun beperkingen en zijn niet ontworpen voor diepgaand leren. Grote taalmodellen (LLM's) presteren beter dan SLM's in complex redeneren vanwege hun omvang en rekenkracht. LLM's zijn en blijven bijzonder nuttig op gebieden als de ontdekking van geneesmiddelen, waar men door enorme collecties wetenschappelijke artikelen moet zoeken en complexe patronen moet analyseren. Aan de andere kant kan SLM worden gebruikt voor eenvoudigere taken, zoals het samenvatten van de belangrijkste punten van een lang tekstdocument, het creëren van inhoud of het aansturen van chatbots voor de klantenservice.
Microsoft, zei ze, maakt intern al gebruik van hybride modelsets, waarbij LLM het voortouw neemt en bepaalde vragen die minder rekenkracht vereisen naar SLM stuurt, terwijl het andere, complexere vragen zelf afhandelt. Phi is gepositioneerd voor computergebruik op apparaten, zonder gebruik te maken van de cloud. Er zal echter nog steeds een kloof bestaan tussen kleine taalmodellen en het intelligentieniveau dat kan worden verkregen met grote modellen in de cloud. Deze kloof zal, dankzij de voortdurende ontwikkeling van de LLM, waarschijnlijk niet snel verdwijnen.
Phi-3 moet nog worden geverifieerd door externe onafhankelijke partijen. Microsoft spreekt soms over een 25 keer hogere efficiëntie of energie-efficiëntie in extreme gevallen, vergeleken met concurrenten, wat best fantastisch klinkt. Hoewel je aan de andere kant niet mag vergeten dat deze jaren voorbij zijn Microsoft heeft ons een beetje afgewend van het feit dat het een duidelijke leider is op het gebied van IT-innovaties, en misschien geloven we het daarom niet echt. Op AI gebaseerde programma's die direct reageren en offline draaien in plaats van genereren? Dit zou een waardig hoogtepunt zijn van de huidige revolutie. Helaas is er één belangrijk probleem.
Lees ook: Alles over de Neuralink Telepathy-chip: wat het is en hoe het werkt
Phi-3 van Microsoft verstaat alleen Engels
Phi-3 heeft de petabytes die er massaal naar werden gegooid niet opgeslokt. Zorgvuldige en nauwgezette training van het model brengt één klein probleem met zich mee. Phi-3 is opgeleid met informatie in het Engels en heeft nog geen verstand van een andere taal. Niet alleen Oekraïens, maar ook Duits, Spaans, Frans of Chinees. Dit vermindert uiteraard de aantrekkingskracht voor de meeste gebruikers over de hele wereld aanzienlijk.
Maar in Microsoft ervan verzekerd dat er aan de ontwikkeling en verbetering ervan wordt gewerkt. Hoewel je jezelf niet moet misleiden door het feit dat de Oekraïense markt een prioriteit is voor alle grote bedrijven. Daarom zullen we heel lang moeten wachten op de steun van de Oekraïense taal. Maar dit feit heeft liefhebbers en degenen die de vooruitgang willen bijhouden nooit tegengehouden.
Lees ook: