NVIDIA、物理AI向け世界モデル「Cosmos 3」公開

NVIDIAは、ロボットや自動運転車、スマートインフラなどの「Physical AI（フィジカルAI：物理空間で動作するAI）」の開発を支援するため、言語、画像、映像、音声、ロボットのアクションを統合処理できる新しいオープン世界モデルプラットフォーム「NVIDIA Cosmos 3（コスモス・スリー）」を発表し、モデルや関連コードを公開しました。本プラットフォームは、物理法則をシミュレートする「世界モデル」として機能し、160億〜640億パラメータの複数のモデルファミリーで構成されています。

1. 2つの実行サーフェス「Reasoner」と「Generator」

Cosmos 3は、Mixture-of-Transformers（MoT）と呼ばれる統合アーキテクチャを採用しており、以下の2つの用途に最適化された実行モデル（サーフェス）を提供します。

• Reasoner（推論エンジン）​: テキストと視覚（画像・動画）を入力とし、テキスト形式で回答を出力します。物理シミュレーションの妥当性評価や、ロボットのタスクプランニング、行動予測などに用いられます。
• Generator（生成エンジン）​: テキスト、視覚、音声、アクション情報を入力とし、それらに対応する画像や動画、同期した音声、ロボットのアクション指示を出力します。

2. アクションと同期した物理シミュレーション能力

従来の映像生成AIと異なり、Cosmos 3はロボットや自動運転車のアクションシグナルを直接入力として受け取ることができます。例えば、ロボットアームの動作指示（アクション値）を入力し、その動作が物理空間でどのように作用するかを映像で予測する「順ダイナミクス（Forward dynamics）」や、映像から逆にロボットのアクション軌道を予測する「逆ダイナミクス（Inverse dynamics）」の実行が可能です。

3. 多様なモデルファミリーとシステム要件

Cosmos 3は、16B（160億パラメータ）の軽量モデル「Cosmos3-Nano」や、64Bの「Cosmos3-Super」のほか、画像・動画生成に特化した派生モデル、ロボット制御用の「Cosmos3-Nano-Policy-DROID」などで構成されています。これらのモデルはHugging Faceに公開されており、Linux OS、NVIDIAのAmpere/Hopper/Blackwellなどの最新GPUアーキテクチャ上で動作します。

NVIDIAのCosmos 3は、言語モデルや画像生成モデルを単に組み合わせるのではなく、物理的な空間理解と行動生成を同一のアーキテクチャ内で実現した画期的な取り組みです。オープンソースとして広く提供されることで、ロボティクス分野におけるAIの学習コストを劇的に下げ、自動運転や人型ロボットの実用化に向けた研究開発を大きく加速させる起爆剤となると期待されます。