Meta Platforms op het jaarlijkse Meta Connect-evenement in Californië gepresenteerd verschillende nieuwe AI-functies voor zijn populaire toepassingen Facebook, Instagram en WhatsApp, maar de meest indrukwekkende innovatie van de technologiegigant is misschien voor velen onopgemerkt gebleven. We hebben het over het Llama 2 Long AI-model.
Een team van onderzoekers van het bedrijf Meta publiceerde op de een of andere manier stilletjes een artikel waarin ze een nieuw kunstmatige-intelligentiemodel presenteerden, Llama 2 Long, dat in staat is om coherente en relevante antwoorden te genereren op lange gebruikersvragen. Ze zeggen dat het hoogstens beter presteert dan enkele van de beste concurrenten in de branche.
Llama 2 Lang is een uitbreiding Lama 2, een open-source AI-model dat Meta deze zomer heeft uitgebracht en dat kan leren van verschillende gegevensbronnen en een verscheidenheid aan taken kan uitvoeren, zoals coderen, wiskunde, taalbegrip en meer. Llama 2 Long werd echter getraind op meer gegevens die langere teksten bevatten, en dit algoritme werd aangepast om langere reeksen informatie te verwerken. Hierdoor kan het beter presteren dan OpenAI's GPT-3.5 Turbo en Claude 2, die beperkingen hebben op de hoeveelheid context die ze kunnen gebruiken om reacties te genereren.
Onderzoekers meta gebruikte verschillende versies van Llama 2 - van 7 miljard tot 70 miljard parameters, d.w.z. waarden die het AI-model kan veranderen door van de gegevens te leren. Ze voegden nog eens 400 miljard tokens (teksteenheden) aan gegevens toe die langere teksten bevatten dan de oorspronkelijke modeldataset. Ze hebben ook de architectuur van het AI-model enigszins aangepast met behulp van de Rotary Positional Embedding (RoPE)-techniek, zodat het model nauwkeurige en bruikbare antwoorden kan genereren met minder informatie en geheugen dan andere methoden.
Het team maakte gebruik van versterkend leren van menselijke feedback (RLHF), een methode waarbij het AI-model wordt beloond voor correcte antwoorden en gecorrigeerd door menselijke beoordelaars, en synthetische gegevens worden gegenereerd door de Llama 2-chat zelf om de prestaties bij verschillende taken te verbeteren. .
Het artikel beweert dat het model antwoorden van hoge kwaliteit kan genereren op gebruikersprompts van maximaal 200 tekens lang, wat overeenkomt met ongeveer 40 pagina's tekst. De onderzoekers zeggen dat Llama 2 Long een stap is in de richting van het creëren van meer algemene en veelzijdige AI-modellen die kunnen voldoen aan de complexe en uiteenlopende behoeften van gebruikers. Ze erkennen ook de potentiële ethische en sociale implicaties van dergelijke modellen en roepen op tot verder onderzoek en dialoog over hoe ze op een verantwoorde en nuttige manier kunnen worden gebruikt.
Lees ook: