Googleの「Gemma 4」マルチトークン予測の導入で推論速度が最大3倍に向上

Googleは、最新のオープンモデル「Gemma 4」において、投機的デコードを用いて複数のトークンを並列生成する「マルチトークン予測（MTP）ドラフター」技術を適用し、回答品質を一切損なうことなく推論速度を最大3倍高速化できることを発表した。

LLMの推論において、プロセッサが各トークン生成のたびにVRAMから計算ユニットへ数十億ものパラメータを繰り返し転送するメモリ帯域幅のボトルネックが、処理遅延の大きな原因となっていた。

また、AIモデルは「極めて明らかな計算」に対しても、「複雑な論理パズル」を解くのと同等の計算量を消費してしまうという非効率性があった。

MTPドラフターは、Gemma 4（31Bなどのターゲットモデル）と組み合わせる軽量な補助モデルとして動作する。補助モデルがアイドリング中の計算資源を活用して複数の未来のトークンを先読み予測し、それをターゲットモデルが並列かつ一括して検証する仕組みをとる。

この技術により、PCやコンシューマ向けGPU、さらにはモバイルデバイス上での推論応答速度が大幅に向上する。最終的な検証プロセスはGemma 4本体が担うため、モデル本来の論理推論能力や精度はそのまま維持される。

さらに今回のGemma 4におけるMTPの実装では、ターゲットモデルのKVキャッシュを共有するアーキテクチャ最適化が施されており、モデルを2つ読み込むことによるメモリのオーバーヘッドを効果的に削減している。