AI関連の最新ニュースをピックアップ
オープンソース(ソースコードが公開されているソフトウェア)の3Dキャラクター生成Webプラットフォーム「three.ws」を運営する個人開発者が、NVIDIA Developer Forumsにて、実用的なtext-to-3D(テキストから3Dデータを生成する技術)パイプラインの構築において、NVIDIAの軽量視覚言語モデルである「Nemotron-Nano-12b-v2-vl」が極めて重要であったとする開発者レポートを公開した。
「three.ws」では、3D生成エンジンとしてMicrosoftが開発した「TRELLIS」をNVIDIA NIM(NVIDIAの推論最適化実行環境)上で実行し、約12〜13秒という高速な生成を実現していた。しかし、サービスを一般公開したところ、テキストのスクリーンショットや不鮮明な写真、被写体が存在しない画像など、3Dモデル化不可能な入力を送るユーザーが相次いだ。これにより、無駄に高価なGPU(画像処理用半導体)のリソースが消費され、ユーザーには形状の崩れたノイズが出力されて満足度が低下するという課題が生じた。
開発チームは、3D生成の前に画像が適切な被写体を含んでいるかを検証するため、軽量モデル「nvidia/nemotron-nano-12b-v2-vl」を前段に配置する対策を講じた。これにより、不適切な画像を1〜2秒で検出し、「オブジェクトの写真ではなくテキストのスクリーンショットのようです」といった具体的な修正案を提示してエラーを早期に返す設計にした。
検証において、Nemotron Nanoは「画像トークンのフットプリント(画像データを解析する際の基本処理単位)」が約281トークンと非常に小さく(Llama 3.2 Visionの約1600トークンに対し約5.7倍効率的)、NVIDIA NIMの無料枠と組み合わせることで運用コストを大幅に削減できた。
「three.ws」では、画像検証モデル以外にも、NeMo Guardrailsファミリーの「nvidia/llama-3.1-nemoguard-8b-content-safety」を遅延約340ミリ秒でコンテンツ安全性の確保に用いているほか、推論・分類タスクに「nvidia/nvidia-nemotron-nano-9b-v2」、RAG(検索拡張生成:外部知識を参照して回答を生成する技術)用埋め込みに「nvidia/nv-embedqa-e5-v5」を活用している。
一方で開発者はNVIDIAに対し、プレビューAPIにおける実画像入力の許可(現状はサンプル画像のみ動作)、TRELLISの77文字プロンプト制限の緩和、NIMチャットモデルにおける構造化JSON出力機能のサポートという3つの技術的改善要望を提示している。
本事例は、AI技術の実用化において、最高性能を競う超大型モデルの導入よりも、特定の役割に最適化された軽量で低コストな「適材適所」のモデル配置が効果的であることを実証している。特に、3D生成のような重い処理の前に、わずか1〜2秒で動作するガードレール(安全装置)を置くという設計思想は、多くの生成AIサービスにおける設計指針となるだろう。