World Action Models vs VLA: Het Voorspellen van Fysica

De **samensmelting** van videodiffusietechnologie en robotbesturing heeft geleid tot een grote doorbraak in de manier waarop kunstmatige intelligentie interageert met de fysieke wereld. Hoewel traditionele Vision-Language-Action (VLA)-modellen bekwaam zijn in het opvolgen van taalkundige commando's, schieten ze vaak tekort wanneer ze worden geconfronteerd met de onvoorspelbare fysica van nieuwe omgevingen. Om dit op te lossen hebben onderzoekers Kyungmin Lee, Jing Wang en Jan Kautz het model DreamZero geïntroduceerd, een World Action Model (WAM) waarmee robots de visuele en fysieke gevolgen van hun acties kunnen voorspellen. Door video te behandelen als een dichte representatie van de evolutie van de omgeving, biedt deze nieuwe architectuur robots een vorm van fysieke intuïtie die hen in staat stelt zich met ongekende nauwkeurigheid aan te passen aan onbekende scenario's.

De beperking van semantische AI in fysieke ruimtes

Moderne robotica vertrouwt vaak op semantische generalisatie, wat een robot helpt objecten te identificeren, maar zich niet vertaalt naar succesvolle fysieke bewegingen in nieuwe omgevingen. Vision-Language-Action (VLA)-modellen blinken doorgaans uit in het begrijpen van "wat" een object is, maar ze hebben moeite met "hoe" ze het moeten manipuleren wanneer de verlichting, oriëntatie of omgevingsdynamiek verandert. Deze kloof bestaat omdat het deze modellen ontbreekt aan een World Model—een interne simulatie die de causale relatie begrijpt tussen een motorisch commando en het fysieke resultaat daarvan.

Onderzoek wijst uit dat wanneer een robot een nieuwe omgeving betreedt, het gebrek aan fysieke verankering ervoor zorgt dat autoregressieve fouten zich opstapelen. Kleine fouten in de beginfase van een taak leiden tot een volledige mislukking van de uitvoering, omdat het model de toekomstige staat van de wereld die het creëert niet kan "zien". Om dit aan te pakken verlegt DreamZero het paradigma van eenvoudige actievoorspelling naar een uitgebreide modellering van fysieke dynamiek, waardoor de robot de visuele en tactiele evolutie van zijn werkruimte begrijpt tijdens elke milliseconde van een taak.

Hoe verschillen World Action Models van Vision-Language-Action (VLA) modellen?

World Action Models (WAMs), zoals DreamZero, verschillen van Vision-Language-Action (VLA)-modellen door de integratie van wereldmodellering die toekomstige visuele toestanden voorspelt. Waar VLA's inputs direct koppelen aan acties, bereiken WAM's een fysieke samensmelting van videogeneratie en actievoorspelling. Dit stelt het model in staat om de onderliggende fysica te internaliseren en de visuele gevolgen van zijn gedrag te voorspellen voordat het bewegingen uitvoert.

In tegenstelling tot standaard VLA's, die vaak getraind zijn op beperkte, repetitieve demonstraties, maakt DreamZero gebruik van een autoregressief videodiffusiemodel met 14 miljard parameters. Deze backbone stelt de robot in staat om zich "voor te stellen" hoe de wereld eruit zou moeten zien terwijl hij een taak uitvoert. Door video en actie gezamenlijk te modelleren, leert het World Action Model diverse vaardigheden uit heterogene databronnen. Deze methodologie resulteert in een verbetering van 2x in generalisatie naar nieuwe taken en omgevingen vergeleken met state-of-the-art VLA's in praktijkexperimenten met robots.

Waarom hebben traditionele AI-modellen moeite met ongeziene fysieke bewegingen?

Traditionele AI-modellen hebben moeite met ongeziene fysieke bewegingen omdat ze een inherente representatie van omgevingsdynamiek en fysica missen. Deze modellen vertrouwen doorgaans op directe koppelingen van observatie naar actie die geen rekening houden met de causale relaties tussen bewegingen en hun resultaten. Dit ontbreken van een voorspellend World Model leidt tot matige prestaties en foutvoortplanting wanneer het model nieuwe scenario's tegenkomt.

In de praktijk betekent dit dat een traditionele robot misschien weet hoe hij een blauw blokje moet oppakken in een laboratoriumomgeving, maar als het blokje wordt vervangen door een iets zwaardere rode bol in een kamer met andere schaduwen, faalt de actieresequentie van het model. Deze fout treedt op omdat het model geen "intuïtie" heeft met betrekking tot de dichtheid van de omgeving of hoe zijn eigen grijpers interageren met verschillende oppervlakken. DreamZero overwint dit door videodiffusie-backbones als basis te gebruiken, waarbij de visuele wereld wordt behandeld als een voorspelbare stroom van fysieke gebeurtenissen in plaats van een reeks statische, losstaande beelden.

DreamZero: Architectuur van een World Action Model

De kernarchitectuur van DreamZero is gebouwd op een getrainde videodiffusie-backbone die fungeert als een generatieve wereldsimulator. Dit model voorspelt niet alleen de volgende beweging van een robotgewricht; het voorspelt de volgende reeks frames van wat de camera's van de robot zullen zien. Door deze visuele voorspellingen af te stemmen op low-level actietokens, zorgt het model ervoor dat zijn bewegingen fysiek consistent zijn met de wetten van de wereld die het observeert.

• Gezamenlijke Modellering: Gelijktijdige voorspelling van videoframes en robotacties om fysiek begrip te synchroniseren met de motorische uitvoering.
• Dichte Representatie: Video gebruiken als primaire databron om subtiele fysieke nuances zoals wrijving, zwaartekracht en objectpermanentie vast te leggen.
• Heterogene Data: Leren van een breed scala aan robotdata en menselijke video's in plaats van te vertrouwen op duizenden identieke laboratoriumdemonstraties.

Kan DreamZero taken leren uitvoeren door naar mensen te kijken?

DreamZero kan complexe taken leren door naar menselijke videodemonstraties te kijken via zijn robuuste cross-embodiment-capaciteiten. Door menselijke beweging te analyseren als een dichte videorepresentatie, bereikt het model een samensmelting van mensgerichte visuele data en robotbesturing. Hierdoor kan het systeem fysieke bewegingspatronen extraheren en deze toepassen op zijn eigen robothardware met slechts 10 tot 20 minuten aan demonstratiedata.

Deze mogelijkheid, bekend als cross-embodiment transfer, vertegenwoordigt een grote sprong voorwaarts richting General Purpose Robotics. Tijdens tests leverden demonstraties van alleen video door mensen een relatieve verbetering op van meer dan 42% op de prestaties bij onbekende taken. Dit suggereert dat het model niet louter pixels imiteert, maar de fundamentele fysica begrijpt van de taak die wordt uitgevoerd. Of de demonstrator nu een menselijke hand is of een andere robotarm, DreamZero identificeert het doel en de fysieke stappen die nodig zijn om dit te bereiken.

Real-time besturing en systeemoptimalisatie

Het in real-time uitvoeren van een model met 14 miljard parameters is een aanzienlijke technische uitdaging die DreamZero overwint door uitgebreide model- en systeemoptimalisaties. Traditionele grootschalige modellen zijn vaak te traag voor de milliseconde-responstijden die vereist zijn in de robotica. De onderzoekers bereikten echter een 7Hz closed-loop-besturing, wat snel genoeg is voor de robot om te reageren op veranderingen in de omgeving terwijl ze plaatsvinden.

Deze optimalisaties overbruggen de kloof tussen redeneren op hoog niveau—zoals "maak een boterham"—en de fijnmazige motorische commando's die nodig zijn om de taak uit te voeren. Door het autoregressieve videodiffusiemodel efficiënt te draaien, behoudt DreamZero een constante feedbacklus. Als een object wegglijdt of de omgeving halverwege een actie verandert, werkt het model simultaan zijn visuele voorspelling en zijn actieplan bij, waardoor de stabiliteit behouden blijft op een manier die eerdere grootschalige modellen niet konden.

De toekomst van Zero-Shot robotische generalisatie

Misschien wel de meest verrassende bevinding van het onderzoek is het vermogen van DreamZero tot few-shot embodiment-adaptatie. Het model kan zijn geleerde vaardigheden overdragen naar volledig nieuwe robothardware met slechts 30 minuten aan "speeldata". Dit betekent dat een model dat is getraind op één type industriële arm, snel kan worden aangepast aan een ander model of zelfs een humanoïde robot zonder zijn zero-shot-generalisatievermogen te verliezen.

Naarmate de robotica zich beweegt naar complexere en ongescripte omgevingen, zal de samensmelting van generatieve videomodellen en actievoorspelling waarschijnlijk de standaard worden. Het werk van NVIDIA Research en de auteurs toont aan dat World Action Models het noodzakelijke "fysieke gezonde verstand" bieden dat tot nu toe ontbrak in AI. Toekomstige iteraties van deze technologie zouden kunnen leiden tot robots die elk huis of elke fabriek kunnen binnengaan en veilig en effectief taken kunnen uitvoeren na slechts enkele minuten observatie.