NVIDIA、推論6倍高速化のNemotronモデル公開

NVIDIAの研究チームは、補助的な「下書き用（ドラフト）」モデルを一切必要とせずに、大規模言語モデル（LLM）の推論速度を最大6倍高速化できる新しいオープンモデルファミリー「Nemotron-Labs-Diffusion」を公開しました。これは、文章を順次生成する「自己回帰」と、並列処理が得意な「拡散モデル」の仕組みを1つの重みチェックポイントに融合させたもので、同一のモデル内で下書きと検証を行う「自己投機（Self-Speculation）」によって画期的な推論効率化を実現しています。

1. 2つのパラダイムの融合による「自己投機」

従来のLLMは、テキストを1語ずつ順番に生成する自己回帰方式が主流ですが、GPUのデータ移動待ちが発生しやすく推論速度が制限される課題がありました。一方、下書き用の軽量モデルに候補を作らせて本モデルで並行検証する「投機的デコード」という高速化技術もありますが、GPUメモリに2つのモデルを同時にロードする負担がありました。今回の新モデルは、同一のモデル内で「拡散モデルの経路」が下書きを並列生成し、「自己回帰モデルの経路」がそれを検証する「自己投機」を可能にすることで、補助モデルを不要にしました。

2. 共同学習がもたらす相乗効果と LoRA アダプター

開発チームは、自己回帰と拡散の学習目標を同時に学習させることで、モデルの先読み能力と言語生成の一貫性が相乗効果を発揮することを発見しました。ベースモデルとして「Ministral 3」を採用し、1兆トークンの自己回帰学習を行った後、256基のNVIDIA H100 GPUを用いて共同目的関数でさらに3000億トークンを追加学習させました。また、約3600万パラメータの小さなLoRA（低ランク適応）アダプターを適用することで、精度低下を抑えつつ受け入れトークン数を増やし、さらなる高速化を可能にしています。

3. ベンチマーク実績と提供形式

評価タスクにおいて、8B（80億パラメータ）のモデルは自己回帰モードで平均スコア63.61%を記録し、競合モデル（Qwen 3-8Bなど）を上回りました。さらに、自己投機モードを適用した場合は、精度を62.81%と極めて高く維持したまま、1回の推論処理（フォワードパス）あたり約6倍のトークン生成数を達成しています。本モデルファミリーは3B、8B、14B、およびビジョン言語（マルチモーダル版）も用意され、商用利用可能な「NVIDIA Nemotron Open Model License」に基づきHugging Faceで公開されています。主要な推論エンジンであるvLLMやSGLangでもすでにサポートされています。

NVIDIAのNemotron-Labs-Diffusionが示した「自己投機」のアプローチは、GPUメモリの容量が厳しいシングルGPU環境やエッジデバイスにおけるLLMのリアルタイム推論を大きく助けるブレイクスルーです。ベースモデルのアーキテクチャやシステム構成を変更することなく、APIレベルで「精度重視の自己回帰モード」と「速度重視の自己投機モード」を切り替えられるため、実用的なアプリケーションへの導入も容易であり、推論コスト削減の強力な選択肢となるでしょう。

引用元：財経新聞