NVIDIA、空間推論AIを発表

NVIDIA Researchは、画像と言語を処理するVision-Language Model（VLM）がこれまで苦手としていた、3次元空間におけるオブジェクトの配置や動きを判定する「空間推論」の能力を向上させるオープンソースのフレームワーク「SpatialClaw」を発表しました。モデルの再学習やファインチューニングを行うことなく、エージェントがプログラムコード（Python）を記述して画像処理ツールと対話的にやり取りする「コード・アズ・アクション（Code-as-action）」アプローチを採用しているのが特徴です。

1. 「コード・アズ・アクション」によるアプローチ

従来のVLMエージェントは、あらかじめ決められたJSONスキーマに基づいてツールを呼び出すか、実行前に1つのコードを送信するのが一般的でしたが、中間的な処理結果を確認して計画を修正することが困難でした。SpatialClawでは、エージェントが永続的なJupyterカーネルに対して1ステップごとにPythonコードの断片を書き込み、実行結果を検証しながら処理を反復します。これにより、高度で柔軟な推論ロジックが実行時に組み立て可能になります。

2. ツールキットと検証

SpatialClawには、画像や動画のセグメンテーションモデル「SAM 3」や、深度推定モデル「Depth Anything 3」を呼び出すAPIが組み込まれており、さらに幾何計算、グラフ計算などの補助モジュールも搭載されています。Gemma 4-31Bをバックボーンに用いた検証では、ツールなしのベースラインから+6.5ポイント、既存の空間エージェントに対しても11.2ポイントの優位性を示す59.9%の平均精度を記録しました。

空間推論は、ロボットのナビゲーションやマニピュレーション、ドローンの自動操縦において極めて重要な要素です。NVIDIAが提案する「SpatialClaw」は、モデルの変更や重みの調整なしに、ツールとのインターフェースを変えるだけでVLMsの性能を引き出せることを証明しました。今後、ロボティクスAIへの応用が進むと期待されます。