Liquid AI、エッジ向け4ビットAIモデル「LFM2.5」公開

Liquid AI（エッジ向け高効率基盤モデルを開発する米AIスタートアップ）は、量子化認識蒸留（QAD）を用いた「LFM2.5（Liquid AIが開発する次世代エッジ向け高効率言語モデル）」の4ビットGGUFモデルを公開した。

量子化認識蒸留（QAD）による精度維持

通常の事後量子化では精度低下が避けられないが、QAD技術により4ビット（Q4_0）化しながらも元モデル（BF16）の約97%の精度を維持することに成功した。

4つのモデルサイズ展開とエッジ推論の最適化

LFM2.5-230M、350M、1.2B-Instruct、2.6Bの4種類が提供され、スマートフォンや組み込み機器での高速動作を可能にする。

モデル名	パラメータ数	主な特徴・用途
LFM2.5-230M Q4_0	2.3億	極小フットプリント・IoT機器向け超軽量推論
LFM2.5-350M Q4_0	3.5億	モバイル端末での高速テキスト処理
LFM2.5-1.2B-Instruct Q4_0	12億	指示追従型・オンデバイスアシスタント
LFM2.5-2.6B Q4_0	26億	高度な推論とローカル対話のバランス型

日本の端末開発者への影響と未確認事項

メモリ制約の厳しいエッジ機器でも実用的なAI推論をローカル実行できるため、国内のIoT・モバイルアプリ開発者にとって有力な選択肢となる。

分析と展望：オンデバイスAIの軽量化と高精度化の最前線

クラウドを介さないエッジ推論への需要が高まる中、蒸留と量子化を組み合わせたモデル圧縮技術がオンデバイスAI普及の原動力となっている。

引用元：Liquid AI | GIGAZINE