NVIDIA、日本語対応音声AIエージェント

米 NVIDIA（GPUおよびAIコンピューティングの世界的リーダー企業） は2026年8月26日、推論マイクロサービス群「NVIDIA NIM（最適化済みAIモデルをコンテナとして即座にデプロイできる実行環境）」を活用し、自然な日本語で双方向音声対話が可能な「​Nemotron Voice Agent​」の構築手順とBlueprintを公開しました。

3つのNIMを組み合わせたストリーミング音声パイプライン

本構成では、独立した3つのNIMマイクロサービスをパイプライン接続し、低遅延なストリーミング対話を実現します。

• ​音声認識（ASR）​: 日本語ストリーミング対応の「Nemotron ASR Streaming Multilingual」を採用。ユーザーの発話中に途中結果を逐次取得し、確定テキストを即座に言語モデルへ渡します。
• ​言語モデル（LLM）​: 高速推論に最適化された「Nemotron 3 Nano」を組み合わせ、文単位でストリーミング出力を生成します。
• ​音声合成（TTS）​: 「Magpie TTS Multilingual」の日本語話者（Siwei）を使用し、LLMの回答全文を待たずに文単位で音声をリアルタイム合成してブラウザへ返送します。

通信フローとパイプライン最適化

[マイク音声] ---> (WebSocket) ---> [Voice Agent]
                                        |
  +------------------+------------------+
  | (gRPC Streaming) | (HTTP Streaming) | (gRPC Streaming)
  v                  v                  v
[Nemotron ASR]   [Nemotron 3 Nano]  [Magpie TTS (Siwei)]

コンポーネント	利用サービス/パラメータ	役割と最適化
ASR (音声認識)	nemotron-asr-streaming-multilingual\:50052	専門用語認識向上のためのWord Boosting対応
LLM (思考・回答)	host.docker.internal\:8000/v1 (Nano)	低遅延応答のための軽量・高効率推論
TTS (音声合成)	voice_id: Magpie-Multilingual.JA-JP.Siwei	自然な日本語発話とストリーミング音声出力
​バッファ設定​	AUDIO_OUT_10MS_CHUNKS=10 (100ms)	WebSocket送信の遅延と割り込み応答性のバランス確保

開発者への影響と提供構成

• ​日本の開発者への影響​: Docker Composeを用いたローカルワークステーションやサーバー環境で、日本語対応の音声対話ボットやコールセンター向けAIエージェントを迅速にプロトタイピングできます。
• ​運用の注意点​: デモ検証用の自己署名証明書構成は本番用途には適さないため、実運用時には正規のTLS証明書や認証レイヤーの導入が推奨されます。

音声AIエージェントの実用化を加速するNIM基盤

編集部注: 音声対話AIの実装では、音声認識・推論・音声合成それぞれの遅延が累積し、会話のテンポが損なわれやすいという課題がありました。NVIDIAがストリーミング連携を前提とした日本語Voice AgentのBlueprintを提示したことで、高品質なリアルタイム音声インターフェースの開発ハードルが大きく下がります。

引用元：NVIDIA 技術ブログ