Daily AI Newsbites
AI関連の最新ニュースをピックアップ
← 2026年9月11日(金)のニュース一覧へ
NVIDIA、Nemotron 3 Ultra収容数を2.5倍拡大
NVIDIA
インフラ
ハードウェア
開発者ツール
LLM
ベンチマーク
米NVIDIAは2026年9月11日、同社のフラグシップ大規模言語モデル「Nemotron 3 Ultra」をプロダクション環境で提供するエンジニア向けに、推論マイクロサービス「NIM（NVIDIAの最適化推論マイクロサービス基盤）」バージョン2.0.12によるフルスタック推論最適化の実装成果を公開した。4基のNVIDIA B200 GPUからなる同一のハードウェア構成において、エージェント型ワークロードの応答性を損なうことなく、システム全体の出力トークンスループットを従来の約2.5倍に向上させ、同時ユーザー収容数を大幅に引き上げた。
4基のB200環境で毎秒1,997トークンを達成、パレート曲線を大幅改善
エージェント型AIでは、数十キロトークンに及ぶ長大なコンテキストの処理、複数ステップにわたるプロンプト履歴の再利用、リアルタイムなストリーミング応答が求められる。単一リクエストのレイテンシ短縮だけでなく、限られたGPUクラスタ上でサービス水準目標（SLO）を守りながら、いかに多くの同時接続リクエストを捌くかが実運用の重大な課題となる。
NVIDIAが公開した実測ベンチマークは、4基のBlackwell世代B200 GPUを用い、エージェントワークロード（入力64Kトークン、出力400トークン、KVキャッシュ再利用率76%、ユーザーあたり50 tok/s、トークン間遅延20ms）をシミュレートした環境で測定された。
| 提供構成 | ネイティブ最大コンテキスト | システム出力スループット | 最適化内容 |
|---|---|---|---|
| NIM無効（オープンソース標準） | 256K | 718 tok/s | 最適化なしの標準推論スタック |
| NIM 2.0.12 最適化スタック | 256K | 1,997 tok/s（約2.5倍） | 自動調整カーネル、状態再利用、MTP投機的デコーディング等 |
NIM最適化を適用しないベースライン環境では、出力スループットが約750 tok/s付近で頭打ちとなり急速に低下した。これに対し、NIM 2.0.12を適用した環境では、対話性を維持したまま1,997 tok/sに達し、パレート効率曲線の全域にわたって高いスループットを安定維持している。
相互作用する多層スタックの最適化メカニズム
開発者ブログによると、今回の2.5倍という性能向上は単一のスイッチ設定によるものではなく、推論スタックの各層が協調して動作することで実現された。主に以下の5つのレイヤーで最適化が施されている。
- 自動調整カーネルと精度: MoE（専門家混合）およびMambaアーキテクチャ向けのカーネルをBlackwell GPU向けに自動調整し、NVFP4精度を活用して演算効率を最大化。
- 並列実行の最適化: 4基のGPU間にテンソル並列性を適用してモデルを分散するとともに、MoE層の専門家ネットワークへのルーティングを均一化してGPU稼働率を高めた。
- プレフィックスとモデル状態の再利用: 共通文脈を再計算しない「Prefix Caching」に加え、文頭が部分一致した場合でもキャッシュを活用する「Partial-prefix matching」や、Mambaのステートキャッシュ設定を最適化した。
- スケジューラ・バッチング・メモリ制御: 同時実行シーケンス数やバッチ処理トークン数、ブロックサイズ、GPUメモリ割当を調整し、遅延目標を超えずにパイプラインを飽和状態に維持。
- MTP投機的デコーディング: Multi-Token Prediction（MTP）技術により複数のトークン候補を並行検証し、1推論ステップあたりのトークン生成効率を引き上げた。
実環境への適用手順とエンタープライズへの影響
開発者はNGCカタログから「Nemotron 3 Ultra NIM（バージョン2.0.12）」コンテナを取得し、環境変数 NIM_MODEL_PROFILE に vllm-nvidia-b200-nvfp4-tp4-pp1-throughput-90.0 を指定、さらに NIM_SPECDEC_ENABLE=1 を付与することで本最適化スタックを即座に利用できる。また、自社の実トラフィック（Mooncake形式のトレースログ等）を「NVIDIA AIPerf」ツールで再生することで、要件に応じたパレート最適点の検証が可能だ。
大規模言語モデルの運用コストが事業採算性を左右するなか、同一のハードウェア構成で2.5倍のユーザー数を収容できる本技術は、企業の推論インフラTCO（総所有コスト）を大幅に引き下げる効果を持つ。定期的な脆弱性対応やハードウェア検証を含む「NIM Certified」として提供される点も、エンタープライズの本格導入を強力に後押ししそうだ。
