NVIDIA、3D自動補完AIを発表

NVIDIAは、複数の写真を入力するだけで高品質な3Dシーンを構築できる画期的なAIモデル「ArtiFixer」を発表しました。本モデルは、従来の3Dガウススプラッティング手法で課題となっていた「写真に写っていない部分の描画の破綻」や「シーンの一貫性の欠如」を解決するため、Alibabaの動画生成AI「Wan 2.1」をベースに開発されています。

約169億パラメータを持つArtiFixerは、元の写真にない領域を生成して挿入する機能と、自己回帰 diffusion モデルによるフレーム生成を蒸留する2段階の学習プロセスを採用しています。

生成される3D表現は、自己回帰的にビューを作る「ArtiFixer」、出力を3Dに蒸留する「ArtiFixer3D」、そして後処理を加えて一貫性のあるシーンを作る「ArtiFixer3D+」の3タイプで構成されています。

評価実験では、従来の3DGUTやGenFusionなどの手法に比べて、ArtiFixer3D+が極めて鮮明で一貫性の高い3Dシーンを生成できることが確認されました。室内の複雑なオブジェクト群を撮影した写真からも破綻なく3D化することが可能で、ゲーム開発やメタバース、ロボティクス分野における3Dアセット生成の効率化に貢献すると期待されています。

ArtiFixer's の登場は、単なる写真からの3D復元技術を超え、生成AIが持つ「文脈を理解して存在しない部分を描く」という能力を3次元再現に融合させたマイルストーンです。これにより、少ない撮影枚数からでも高品質な空間モデリングが可能になり、今後の3Dコンテンツ制作フローに劇的な変革をもたらす可能性があります。