AI関連の最新ニュースをピックアップ
小型高効率モデルを手掛けるLiquid AIは2026年8月21日、同社の「LFM2.5」コンパクトモデルシリーズ向けに、推論速度を大幅に引き上げる投機的デコーディング(小型モデルでトークン候補を先行生成し大型モデルで一括検証する推論高速化手法)ドラフトモデル「DSpark」をオープンソース公開した。クラウド向けGPUおよびエッジデバイスの双方で高い高速化倍率を達成している。
DSparkは、計算コストの低い小型ドラフトモデル(約3億パラメータ)が先行して9トークンの候補ブロックを並列提案し、メインのターゲットモデルが1回のフォワードパスでこれらを一括検証するアーキテクチャを採用している。
DSparkの導入によるハードウェア別の生成速度と特性差分は以下の通りである。
| 実行環境 | 対象モデル | ベースライン生成速度 | DSpark適用後 | 高速化倍率 |
|---|---|---|---|---|
| NVIDIA H100(クラウド) | LFM2.5シリーズ | 標準自己回帰デコード | 9トークン並列検証 | 最大3.18倍 |
| Apple M4 Max(エッジ/Mac) | LFM2.5シリーズ | Metal/CPU実行 | GGUF/llama.cpp最適化 | 最大2.87倍 |
小型言語モデル(SLM)はオンデバイス推論での活用が期待されているが、リアルタイム対話やコード補完ではさらなる低遅延化が求められていた。DSparkがクラウド(H100)だけでなくApple Siliconのようなローカルエッジ環境でも2.8倍超の高速化を実証したことで、PCやモバイル機器上での自律エージェントやローカルAIアシスタントの実用化が大きく前進すると評価される。
引用元:Liquid AI