NVIDIA、メディア向けリアルタイムAI・NIM群発表

米NVIDIA（エヌビディア）は、映像配信やポストプロダクション（撮影後の編集作業）、ライブ動画処理の効率化を図る「NVIDIA AI for Media」の主要な製品アップデートを発表した。今回のアップデートでは、放送通信の標準規格である「SMPTE ST 2110（放送業界で用いられるIPネットワーク上のメディア伝送規格）」に準拠した新しい「NIM（NVIDIA Inference Microservices。最適化されたAI推論モデルを迅速にデプロイできるコンテナ群）」が導入された。また、AI生成動画の検出や多言語対応のリップシンク（話者の口の動きを音声と同期させる技術）、複数カメラによる話者自動追跡などの新しいAIモデルや機能が追加され、提供が開始された。

1. 新規格に対応したNIMと映像・音声処理モデルの展開

NVIDIAは、放送やライブ配信の既存パイプラインへAI機能をシームレスに統合するため、SMPTE ST 2110に準拠した以下のマイクロサービスを発表した。

• NVIDIA LipSync​：口の動きと音声を同期。
• NVIDIA Active Speaker Detection​：アクティブな話者を自動検出。
• NVIDIA Studio Voice​：音声品質を向上。
• NVIDIA Video Super Resolution（VSR）​​：映像の解像度を向上させる超解像技術。
• NVIDIA Background Noise Reduction​：背景の雑音を低減。

さらに、今月後半には、Python wheelパッケージの更新や「ComfyUI（ノードをつないで画像や動画を生成するUI環境）」との統合を含む「RTX Video Super Resolution 2.0（VSR 2.0）」の展開強化が予定されている。

2. メディアの信頼性を担保するAI動画検出と話者追跡

メディアの信頼性（真正性）を担保するため、映像がAI拡散モデルによって生成された確率を予測する「Synthetic Video Detector（SVD。AI動画検出技術）」が発表された（現在プライベートアクセスで提供）。この技術は非圧縮動画において92%の検出精度を持ち、最短22ミリ秒でフレーム処理を実行できる。

• ​多言語リップシンクの拡大​​：フランス語、ドイツ語、スペイン語のサポートが追加され、翻訳ワークフローにおいて話者の口の動きをきわめて自然に同期できる（プライベートアクセス）。
• ​複数カメラをまたぐ話者追跡​​：一般提供が開始された「Active Speaker Detection」は、マルチカメラやマルチマイクの放送現場において、映像をまたいで同一話者をシームレスに同定・追跡することが可能。

NVIDIAが放送・メディア向けのAI機能を、業界標準規格であるSMPTE ST 2110に対応するNIMの形で提供し始めたことは、テレビ局や配信プラットフォームの現場におけるAI導入のハードルを大きく下げると期待される。リアルタイムでのノイズ低減や超解像、AI動画の真正性検証、自動リップシンクなどの技術は、人手不足が指摘される映像・番組制作現場の省力化とクオリティ向上に寄与すると見られる。今後は、放送システム全体のIP化・ソフトウェア化と並行して、こうしたエッジおよびクラウドでのAI活用がさらに一般化していくと予想される。