De ontwikkeling van humanoïde robots heeft zich het grootste deel van twintig jaar in een langzaam tempo ontwikkeld, maar de laatste tijd hebben we steeds meer doorbraken op dit gebied gezien. Zoals we onlangs schreven, werd op MWC 2024 een AI-robot gepresenteerd Amecaen nog een ontwikkeling, Unitboom H1, brak het snelheidsrecord onder humanoïde robots. En nu is er een spectaculair resultaat van de samenwerking tussen de bedrijven Figure AI en OpenAI op internet verschenen: een verbluffende video van een mensachtige robot die nu gesprekken met mensen kan voeren.
Startup Figure AI heeft een video uitgebracht waarin de Figure 01-robot werkt met het nieuwe Visual Language Model (VLM). Daarin staat Figuur 01 aan een tafel waarop een bord, een appel en een kopje staan. Links staat een droger. En op de vraag van een persoon, wat de robot voor hem ziet, antwoordt hij door alles wat op tafel ligt in detail te beschrijven.
En dan vraagt de man of hij iets mag eten, en de robot antwoordt: "Natuurlijk", en dan pakt hij met een behendige, soepele beweging de appel en overhandigt deze aan de man. Daarna volgt nog een verbluffende demonstratie: een man giet verfrommeld afval uit een mand voor Figuur 01 en vraagt de robot om uit te leggen waarom hij dit deed, en verzamelt tegelijkertijd het afval in de mand. En hij legt zijn ‘gedachte’ uit terwijl hij het papier terug in de prullenbak gooit. "Dus ik gaf je een appel omdat dit het enige eetbare item is dat ik je van tafel kon geven", zei de robot.
Vertegenwoordigers van bedrijven legden uit dat Figuur 01 een vooraf getraind multimodaal model gebruikt OpenAI, VLM, om afbeeldingen en teksten te begrijpen, en vertrouwt op gesproken aanwijzingen om reacties te genereren. Dit is anders dan bijvoorbeeld GPT-4 van OpenAI, dat zich richt op schriftelijke aanwijzingen.
Het maakt ook gebruik van wat het bedrijf 'aangeleerde bimanuele manipulaties op laag niveau' noemt. Het systeem coördineert de nauwkeurige beeldkalibratie (tot op pixelniveau) met zijn neurale netwerk voor bewegingsbesturing. "Deze netwerken ontvangen beelden bij 10 Hz en genereren 24-DOF-acties (polshoudingen en vingergewrichtshoeken) bij 200 Hz", aldus Figure AI in een verklaring.
Het bedrijf beweert dat elk gedrag in de video gebaseerd is op systeemleren, dus niemand achter de schermen trekt aan de touwtjes van Figuur 01. Natuurlijk is er een nuance: het is niet bekend hoe vaak de robot deze procedure heeft doorlopen. Misschien was het de honderdste keer, wat zijn precieze bewegingen verklaart. Maar deze prestatie ziet er in ieder geval spectaculair en een tikkeltje fantastisch uit.
Figuur 01 voltooit nu taken uit de echte wereld
Alles is autonoom:
-Autonome navigatie en op geweld gebaseerde manipulatie
- Geleerd visiemodel voor bakdetectie en prioritering
-Reactieve bakmanipulatie (robuust om variatie te stellen)
- Generaliseerbaar naar andere pick/place-taken pic.twitter.com/0wFmYnq0GC— Figuur (@Figure_robot) 26 februari 2024
Lees ook: