NVIDIA、ロボット向け3D空間を自動整備するAI手法を公開

米NVIDIAは、オープンソースの3DCG制作ソフト「Blender」で作成された3D空間データを、自律ロボットの学習環境である「NVIDIA Isaac Sim」や「Isaac Lab」へ受け渡すための自律型マルチエージェント・ワークフローを技術ブログで公開した。モデリングデータに対して不足している物理属性や意味情報をAIエージェント群が自動補完し、ロボティクス開発で最大の障害となっていた「シミュレーション準備の重労働」を解消する。

3Dデータをシミュレーション環境へ変換する8段階のパイプライン

ロボットの機械学習において、見た目が美しい3Dアセットがあっても、衝突判定や質量、摩擦、センサー配置、各物体の意味分類（セマンティックラベル）が定義されていなければ物理シミュレータ上で動作させることはできない。

NVIDIAが提示したワークフローでは、統括役のオーケストレーター（CodexやClaude）が全体の進行を管理し、「NVIDIA NemoClaw」上で動作する特化型サブエージェント群がタスクを分散処理する。各サブエージェントはNVIDIA Omniverse LibrariesのAPIをツールとして呼び出し、以下の8ステップで処理を完結させる。

1. Blender MCPによるシーン構造の走査​: MCP（AIが外部ツールやデータとやり取りするための共通規格）サーバーを介してBlender内部のオブジェクト階層、マテリアル、カメラ、光源を自動で棚卸しする。
2. OpenUSDによる共通データ基盤の確立​: 非破壊的なレイヤー合成が可能なOpenUSD（3Dシーン記述のオープン標準規格）を共通仕様とし、元の造形データを壊さずにシミュレーション属性を重層的に記録する。
3. ​セマンティックラベルの付与​: 床、棚、障害物、把持対象（grabbable object）などの意味情報を自動タグ付けする。
4. ​マテリアルの物理対応​: 表面の見た目だけでなく、金属、プラスチック、コンクリートなどの材質メタデータを付与する。
5. ​センサーの事前配置​: カメラやLiDAR（レーザー光を照射して対象物との距離を測定するセンサー）をシーン内に配置し、画角や遮蔽（オクルージョン）を検証する。
6. ovphysxによる物理挙動の設定​: 剛体、衝突メッシュ、質量、摩擦係数を自動設定する。
7. ovrtxによる視覚事前検査​: レンダリング画像を出力し、ロボット視点で対象物が正しく視認できるかを自動検証する。
8. SimReady基準による適合性検証​: 業界仕様である「SimReady Foundation」のプロファイルに適合しているかを最終判定する。

自動修復と人間へのエスカレーションの分離

本手法の特徴は、機械的なエラー修復と人間の判断が必要なケースを厳密に分離している点にある。

例えば、適合性検証で14件の不適合が検出された場合、衝突メッシュの欠落や単純な設定漏れなどの10件はサブエージェントが自動修復する。一方で、「把持対象か障害物か判断が分かれるオブジェクト」や「確信度が低いラベル」など設計者の意図に関わる4件のみを人間に通知し、開発者が承認した方針に基づいて修復を実行する。この設計により、完全自動化に伴う暴走を防ぎつつエンジニアの手作業時間を大幅に削減できる。

なお、ローカル環境での試作には統一メモリ128GBを搭載した「NVIDIA DGX Spark」が推奨されており、チーム規模のバッチ処理には「RTX PRO Server」や「DGX Cloud」へのスケールアウトが想定されている。

フィジカルAIのボトルネック解消と展望

ロボティクスや自動運転などの「フィジカルAI（物理世界を認識・理解して実際に行動する自律AIシステム）」領域では、学習アルゴリズムの改善よりも高品質なシミュレーション環境データの確保が開発スピードを左右する要因となっている。

今回の発表は、LLMが単にコードやテキストを生成するだけでなく、MCPやgRPCなどの標準プロトコルを通じて外部グラフィックスツールを自律操作し、複雑なデジタルツイン空間を自動整備できる実用性を示した。シミュレーション環境構築の自動化が進むことで、実世界で稼働するロボットの開発サイクルが今後いっそう加速するとみられる。

引用元：NVIDIA Technical Blog | Quantum Zeitgeist