世界行動モデル (WAM) vs VLA：物理法則の予測へ

ビデオ拡散技術とロボット制御の**融合**は、人工知能が物理世界と相互作用する方法において大きな転換点をもたらしました。従来の視覚・言語・アクション（VLA）モデルは言語指示に従うことには長けていますが、未知の環境における予測不能な物理現象に直面すると、しばしば失敗に終わります。この課題を解決するため、研究者のKyungmin Lee氏、Jing Wang氏、Jan Kautz氏は、ロボットが自身の行動による視覚的および物理的な結果を予測することを可能にする世界アクションモデル（WAM）である「DreamZero」を発表しました。ビデオを環境変化の密な表現として扱うことで、この新しいアーキテクチャはロボットに一種の「物理的な直感」を与え、かつてない精度で未知のシナリオに適応することを可能にします。

物理空間における意味的AIの限界

現代のロボティクスは「意味的な汎用化（semantic generalization）」に依存することが多く、これはロボットが物体を特定するのには役立ちますが、新しい設定での物理的な動作の成功には必ずしも結びつきません。視覚・言語・アクション（VLA）モデルは、通常、物体が「何であるか」を理解することには優れていますが、照明や向き、あるいは環境の動態が変化したときに、それを「いかに」操作すべきかという点で行き詰まります。このギャップが生じるのは、これらのモデルに「世界モデル」、つまり運動指令と物理的結果の間の因果関係を理解する内部シミュレーションが欠けているためです。

研究によると、ロボットが未知の環境に入った際、物理的な裏付け（グラウンディング）が欠如していることで、自己回帰的なエラーが蓄積されていくことが示されています。タスクの初期段階での小さなミスが、実行全体の破綻につながるのです。これは、モデルが自ら作り出している世界の未来の状態を「見る」ことができないためです。これに対処するため、DreamZeroは単なるアクションの予測から、物理ダイナミクスの包括的なモデリングへとパラダイムを転換し、タスクのあらゆる瞬間において、ロボットが作業空間の視覚的および触覚的な変化を確実に理解できるようにしました。

世界アクションモデル（WAM）はVLAモデルとどう違うのか？

DreamZeroのような世界アクションモデル（WAM）は、将来の視覚状態を予測する世界モデリングを統合している点で、視覚・言語・アクション（VLA）モデルとは異なります。VLAが入力を直接アクションにマッピングするのに対し、WAMはビデオ生成とアクション予測の物理的な**融合**を実現します。これにより、モデルは潜在的な物理法則を内面化し、動作を実行する前に、自身の振る舞いがもたらす視覚的な結果を予測することができるようになります。

狭く反復的なデモンストレーションで訓練されることが多い標準的なVLAとは異なり、DreamZeroは140億（14B）パラメータの自己回帰ビデオ拡散モデルをバックボーンとして活用しています。この基盤により、ロボットはタスクを遂行しながら「世界がどのように見えるべきか」を「想像」することができます。ビデオとアクションを共同でモデリングすることで、世界アクションモデルは異種のデータソースから多様なスキルを学習します。この手法により、現実世界のロボット実験において、最先端のVLAと比較して、新しいタスクや環境への汎用性が2倍向上するという結果が得られました。

なぜ従来のAIモデルは未知の物理的動作に苦戦するのか？

従来のAIモデルが未知の物理的動作に苦戦するのは、環境ダイナミクスや物理法則に関する本質的な表現を持ち合わせていないためです。これらのモデルは通常、動作とその結果の間の因果関係を考慮しない、直接的な「観察からアクションへ」のマッピングに依存しています。予測的な世界モデルが存在しないため、モデルが未知のシナリオに遭遇した際に、パフォーマンスの低下やエラーの伝播を招くことになります。

実用面では、これは従来のロボットが実験室で青いブロックを拾い上げる方法は知っていても、影の付き方が異なる部屋でブロックがわずかに重い赤い球体に置き換えられただけで、アクションシーケンスが失敗することを意味します。この失敗は、モデルが環境の密度や、自身のグリッパーが多様な表面とどのように相互作用するかについての「直感」を持っていないために起こります。DreamZeroは、ビデオ拡散バックボーンを基盤として利用し、視覚世界を一連の静止した断片的な画像としてではなく、予測可能な物理的事象の流れとして扱うことで、この問題を克服しています。

DreamZero：世界アクションモデルのアーキテクチャ

DreamZeroのコアアーキテクチャは、生成的な世界シミュレーターとして機能する、事前学習済みのビデオ拡散バックボーンの上に構築されています。このモデルは、単に次のロボット関節の動きを予測するだけではありません。ロボットのカメラが捉えるであろう次の数フレームを予測するのです。これらの視覚的予測を低レベルのアクショントークンと整合させることで、モデルは自身の動きが、観察している世界の物理法則と一貫していることを保証します。

• 共同モデリング： ビデオフレームとロボットのアクションを同時に予測し、物理的な理解と運動の実行を同期させる。
• 密な表現： ビデオを主要なデータソースとして使用し、摩擦、重力、客体永続性などの微妙な物理的ニュアンスを捉える。
• 異種データ： 何千回もの同一の実験室でのデモンストレーションに頼るのではなく、幅広いロボットデータや人間のビデオから学習する。

DreamZeroは人間を見ることでタスクを学習できるか？

DreamZeroは、その堅牢なクロスエンボディメント能力により、人間のビデオデモンストレーションを見るだけで複雑なタスクを学習できます。人間の動きを密なビデオ表現として分析することで、人間中心の視覚データとロボット制御の**融合**を実現します。これにより、わずか10分から20分のデモンストレーションデータから物理的な動作パターンを抽出し、それを自身のロボットハードウェアに適用することが可能になります。

「クロスエンボディメント転移」として知られるこの機能は、汎用ロボティクス（General Purpose Robotics）に向けた大きな飛躍を意味します。テストでは、人間によるビデオのみのデモンストレーションにより、未知のタスクにおけるパフォーマンスが相対的に42%以上向上しました。これは、モデルが単にピクセルを模倣しているのではなく、実行されているタスクの基本的な物理法則を理解していることを示唆しています。実演者が人間の手であっても、別のロボットアームであっても、DreamZeroは目標とそれを達成するために必要な物理的ステップを特定します。

リアルタイム制御とシステム最適化

140億パラメータのモデルをリアルタイムで実行することは大きな技術的課題ですが、DreamZeroは広範なモデルおよびシステムの最適化を通じてこれを克服しています。従来の大型モデルは、ロボティクスで求められるミリ秒単位のレスポンスには遅すぎることがよくあります。しかし、研究者たちは7Hzのクローズドループ制御を達成しました。これは、ロボットが環境の変化に即座に反応するのに十分な速さです。

これらの最適化は、「サンドイッチを作る」といった高レベルの推論と、タスクを実行するために必要なきめ細かな運動指令との間のギャップを埋めるものです。自己回帰ビデオ拡散モデルを効率的に動かすことで、DreamZeroは絶え間ないフィードバックループを維持します。動作中に物体が滑ったり環境が変化したりした場合、モデルは視覚的予測とアクションプランを同時に更新し、これまでの大規模モデルでは不可能だった安定性を維持します。

ゼロショット・ロボット汎用化の未来

この研究でおそらく最も驚くべき発見は、DreamZeroがフューショット（少数事例）でのエンボディメント適応を行える能力です。このモデルは、わずか30分の「プレイ（試行）」データだけで、学習したスキルを全く新しいロボットハードウェアに転移させることができます。つまり、ある産業用アームで訓練されたモデルを、ゼロショット汎用性を失うことなく、別のモデルや人型ロボットに素早く適応させることができるのです。

ロボティクス分野がより複雑で筋書きのない環境へと移行するにつれ、生成ビデオモデルとアクション予測の**融合**は、おそらく標準的な手法となるでしょう。NVIDIA Researchと著者らによるこの研究は、世界アクションモデルが、これまでAIに欠けていた「物理的な常識」を提供することを示しています。この技術の今後の発展により、数分間の観察だけで、あらゆる家庭や工場に入り、安全かつ効果的にタスクを開始できるロボットが実現するかもしれません。