NVIDIA、並列デコードで2.42倍高速化したモデル「TwoTower」を公開

NVIDIAは、自己回帰（AR）モデルの表現力と、離散拡散（Discrete Diffusion）モデルの並列トークン生成能力を融合させた新しいオープン言語モデル「Nemotron-Labs-TwoTower」を公開した。本モデルは「NVIDIA Nemotron Open Model License」の下でオープンウェイトとして配布され、従来のテキスト生成におけるデコード速度のボトルネックを解消することを目指している。

1. 逐次処理の壁を超える「離散拡散」の導入

従来の自己回帰（AR）モデルは、1トークンずつ順番に生成するため処理速度に限界（スループットのボトルネック）があった。これに対し、離散拡散モデルはすべてのトークンを並列に生成した上で、ノイズを繰り返し除去（リファイン）していくことで、テキスト生成の並列度とスピードを飛躍的に高めることができる。

2. 処理を「2つのタワー」に分離する新設計

TwoTowerモデルは、コンテキスト情報を保持する「凍結されたARコンテキストタワー」と、ノイズを除去する「訓練されたデノイザータワー」の2つのネットワークで処理を分担する。これにより、1つのネットワークで両方を処理する従来の拡散モデルと比べて大幅な効率化を達成し、ARベースラインモデルが持つベンチマーク精度を98.7%維持したまま、実時間（wall-clock）での生成スループットを2.42倍に向上させた。

3. 高度なバックボーンによる動作検証

本モデルは、Mamba-2、自己アテンション、MoE（混合専門家）レイヤーを交互に配置したオープンモデル「Nemotron-3-Nano-30B-A3B」をバックボーンに採用している。デノイザー部分は約2.1兆トークンで事前学習され、バックボーンは25兆トークンでトレーニングされている。また、同一チェックポイントから「拡散」「模擬AR」「通常のARデコード」の各モードを切り替えて動作させることができる。

「TwoTower」の開発は、生成AIの最大の課題の一つである推論スループットの劇的な改善をもたらす。自己回帰モデルの高い精度を損なうことなく並列デコードの利点を享受できるこのハイブリッドアプローチは、今後の大規模言語モデルの高速化技術として、実用的なアプリケーションへの導入が期待される。

引用元：MarkTechPost | AI Weekly