Liquid AI、VLM推論を最大3倍高速化するドラフトモデル公開

米Liquid AIは公式技術ブログにおいて、自社の30億パラメータ規模の視覚言語モデル（VLM（画像とテキストの両方を理解・処理する視覚言語モデル））「LFM2.5-VL-3B」向けの投機的デコーディングドラフトモデル「LFM2.5-VL-DSpark」をオープンソース公開しました。モデルサイズをわずか8.9%（約280Mパラメータ）増やすだけで、端末上でのトークン生成速度を最大3.13倍に引き上げます。

投機的デコーディングによる推論加速の仕組み

投機的デコーディング（軽量なドラフトモデルが先読みで複数トークンを予測し、本体モデルが一括検証して推論を高速化する手法）（Speculative Decoding）は、軽量なドラフトモデルが先行して候補トークン列を推測し、本体モデルがそれを並列検証することで推論スループットを高める技術です。本体モデルがすべてのトークンを検証するため、出力されるテキストの品質や内容は本体モデル単体で推論した場合と完全に同一（Exact）に保たれます。

LFM2.5-VL-DSparkでは、画像パッチとテキストトークンが共通の表現空間に射影された後の中間層の隠れ状態（Hidden States）をドラフトモデルが取り込み、次のトークン候補ブロック（推奨ブロックサイズ: 8〜9）を予測します。ドラフトモデル自体の構造は4層のアテンション機構に簡素化されており、オーバーヘッドを最小限に抑えています。

構成コンポーネント	パラメータ数
デコーダースタック（4層）	193.0M
隠れ状態プロジェクション	21.0M
マルコフヘッド	65.5M
正規化層・信頼度ヘッド	6.4k
​合計​	279.5M（本体の約8.9%）​

実機ベンチマークと主要ランタイム対応

MMSpecベンチマーク（画像質問応答、チャート解析、推論タスク等）における評価結果では、端末およびデータセンターGPU環境の双方で大幅な性能向上が確認されました。

• ​オンデバイス推論（Apple Silicon）​: M5 Maxチップ上のMLX環境では、タスクに応じてデコード速度が2.30倍〜3.13倍に向上し、エンドツーエンド（E2E）の応答遅延が1.56倍〜2.62倍短縮されました。M3 Ultraのllama.cpp環境でもデコードが1.57倍〜2.14倍高速化しています。
• ​データセンター推論（NVIDIA H100）​: デコード速度が2.04倍〜2.66倍、E2E遅延が1.64倍〜2.27倍改善しました。
• ​初日サポート​: 公開初日より、オープンソース推論エンジンであるllama.cpp、Apple Silicon向けMLX-VLM、高スループットサービング基盤SGLangの3環境に対応したビルドおよびPRが提供されています。

独自価値の整理（技術的制約とアムダールの法則）

Liquid AIは本発表において、投機的デコーディングが視覚タスクに及ぼす限界についても率直に整理しています。

• ​画像エンコードとプリフィルは加速しない​: VLMの推論処理は「画像のビジョンエンコーダー処理」「数百の視覚トークンを読み込むプリフィル（文脈入力）」「トークンの逐次デコード（生成）」の3段階から成ります。投機的デコーディングが高速化できるのは3番目のデコード工程のみです。
• ​アムダールの法則によるE2E上限​: エッジデバイスでは計算資源の制約から、画像エンコードやプリフィルが全体の所要時間の多くを占めます。そのため、デコードが3倍以上高速化しても、全体の待ち時間の短縮幅は1.5倍〜2.6倍程度にとどまるという制約（アムダールの法則）が存在します。

分析・展望

編集部注: これまでオンデバイスAIモデルの実装では、モデル全体の量子化（4bit化など）によるメモリ削減と速度向上が一般的でした。しかし量子化は極端に進めると視覚理解の精度低下を招きます。

Liquid AIが示した「280Mの超軽量ドラフトモデルを外付けして数学的に等価な出力を保ったまま3倍高速化する」アプローチは、スマートフォンやエッジPCにおけるローカルマルチモーダルAIの実用性を大きく引き上げる現実的な解として、業界全体のドラフトモデル採用を加速させるとみられます。

引用元：Hugging Face