GoogleのGemma 4、マルチトークン予測（MTP）の導入でトークン生成速度が最大3倍に向上

Googleは、オープンモデルシリーズの最新版である「Gemma 4」において、投機的デコーディング（Speculative Decoding）技術を応用し、モデルの推論品質を一切落とさずに最大約3倍のトークン生成速度向上を達成する「マルチトークン予測（MTP）」ドラフター技術を発表した。

LLMの推論プロセスでは、1トークン生成するごとに数億〜数百億のパラメータをVRAMから演算ユニットへ繰り返しロードする必要があり、この「メモリ帯域幅のボトルネック」が遅延の原因となっていた。MTP技術では、重いターゲットモデル（例: Gemma 4 31B）と並行して軽量なドラフターモデルを動作させ、アイドリング状態の計算資源を利用して複数の先読みトークンを瞬時に予測する。その後、ターゲットモデルがこれらの提案されたトークンを1回のパスで並列的に検証することで、大幅な高速化を実現する。

この技術により、一般のPC（Gemma 26B MoEや31B Denseモデル）からモバイル端末（E2BやE4Bバリアント）に至る多様なデバイス上で、高い応答性と快適な動作が可能になる。最終的な出力をメインのGemma 4モデルが厳密に検証するため、出力される推論性能や精度はそのまま維持される。

従来の投機的デコーディングでは、2つのモデルを個別にメモリに読み込む必要があるというオーバーヘッドが課題であった。しかし、Gemma 4 MTPドラフターの実装では、ターゲットモデルと「KVキャッシュ」を共有する独自のアーキテクチャ改良が施されており、メモリ消費の増加を抑え、ローカル環境での効率性を大幅に高めることに成功している。