DGX SparkでNemotron推論を高速化

NVIDIAのハイブリッド大規模言語モデル「Nemotron-3-Super-120B-A12B-NVFP4」において、マルチトークン予測（MTP / EAGLE）による投機的デコードが、SGLangの最新開発ビルドとBlackwell世代の「DGX Spark」環境で正常に動作し、大幅な推論高速化を達成したことが報告されました。2026年6月の修正適用によって動作が安定し、投機的デコードを適用しないベースラインと比較して最大1.70倍の速度向上と、ドラフト承認長約2.7を記録しました。

1. 投機的デコードによる推論の高速化

従来のビルドでは重みローダーの不具合でMTPのドラフトパスから一部のレイヤーが除外され「accept_len = 1.00」となっていましたが、今回の修正で約2.7のトークンが同時に受け入れられるようになりました。投機的デコードなしのベースラインに対し、MTP有効時はシングルストリームで毎秒53.99トークン（1.70倍の高速化）を達成。NVFP4量子化時のNaN（非数値）の発生もありませんでした。

2. 推奨パラメータとリソースの制約

実測値では「steps=3, draft=4」がスループットの面で最も優れていました。また、Mambaアーキテクチャの特性上、同時実行リクエスト数はKVキャッシュではなく「Mambaステートプール」のサイズに制限されます。MTP使用時は検証用キャッシュの追加予約が必要となるため、同時実行は非適用時の32並行から19並行へと制限されます。起動にはアテンションに flashinfer などの指定が必要です。

Mamba2とAttention、およびMoEを組み合わせた複雑なハイブリッド構造を持つNemotron-3-Superにおいて、NVFP4量子化とMTPの組み合わせが実用レベルで機能することが実証されました。複数ノードでMambaステートプールとKVキャッシュを共有することで、実用的な同時実行性と長文文脈（512Kコンテキスト）を両立できるようになり、推論システムのコスト効率向上に寄与します。