Een team van de Universiteit van Tokio heeft Alter3 onthuld, een mensachtige robot die bewegingen kan uitvoeren met behulp van het GPT-4 Large Language Model (LLM). Alter3 maakt gebruik van de nieuwste tool Open AI om dynamisch verschillende poses aan te nemen, van een selfie-pose tot ghosting, allemaal zonder de noodzaak van voorgeprogrammeerde database-items.
"De reactie van Alter3 op conversatie-inhoud met behulp van gezichtsuitdrukkingen en gebaren is een aanzienlijke vooruitgang in de humanoïde robotica die gemakkelijk kan worden aangepast aan andere androïden met minimale veranderingen", aldus de onderzoekers.
Op het gebied van LLM-integratie met robots ligt de nadruk op het verbeteren van de basiscommunicatie en het modelleren van realistische reacties. Onderzoekers verdiepen zich ook in de mogelijkheden van LLM om robots in staat te stellen complexe instructies te begrijpen en uit te voeren, waardoor hun functionaliteit wordt vergroot.
Traditioneel laag management robots is gebonden aan hardware en ligt buiten het bereik van LLM-bedrijven. Dit schept problemen voor het directe beheer van op LLM gebaseerde werken. Om dit probleem op te lossen heeft het Japanse team een methode ontwikkeld om uitdrukkingen van menselijke bewegingen om te zetten in code die begrijpelijk is voor Android. Dit betekent dat de robot in de loop van de tijd onafhankelijk reeksen acties kan genereren zonder dat ontwikkelaars elk lichaamsdeel afzonderlijk hoeven te programmeren.
Tijdens de interactie kan een persoon Alter3-opdrachten geven, zoals “Maak een selfie met je iPhone”. Vervolgens initieert de robot een reeks verzoeken aan GPT-4 om begeleiding te krijgen bij de noodzakelijke stappen. GPT-4 zal dit vertalen naar Python-code waarmee het werk de nodige bewegingen kan "begrijpen" en uitvoeren. Dankzij deze innovatie kan Alter3 zijn bovenlichaam bewegen terwijl zijn onderlichaam stil blijft staan, vastgemaakt aan de standaard.
Alter3 is de derde iteratie in Alter's serie mensachtige robots sinds 2016, met 43 actuatoren die verantwoordelijk zijn voor gezichtsuitdrukkingen en ledemaatbewegingen, aangedreven door perslucht. Deze configuratie biedt een breed scala aan expressieve gebaren. De robot kan niet lopen, maar kan wel typische loop- en renbewegingen nabootsen.
Alter3 demonstreerde ook de mogelijkheid om menselijke poses te kopiëren met behulp van de camera en het OpenPose-framework. De robot past zijn gewrichten aan de waargenomen houdingen aan en bewaart succesvolle imitaties voor later gebruik. Interactie met een mens leidde tot meer gevarieerde houdingen, wat het idee ondersteunde dat verschillende bewegingen voortkomen uit het imiteren van de mens, vergelijkbaar met hoe pasgeborenen leren door middel van imitatie.
Vóór de LLM moesten onderzoekers alle 43 actuatoren zorgvuldig controleren om de pose van een persoon na te bootsen of gedrag te simuleren, zoals het serveren van thee of schaken. Dit vereiste talloze handmatige aanpassingen, maar AI hielp het team uit deze routine te bevrijden. “We verwachten dat Alter3 effectief een dialoog aangaat door contextrelevante gezichtsuitdrukkingen en gebaren weer te geven. Het demonstreerde het vermogen om emoties te spiegelen, bijvoorbeeld om als reactie verdriet of geluk te tonen, en zo emoties met ons te delen”, zeggen de onderzoekers.
Lees ook: