Cloudflare、Workers AI推論効率化を解説

Cloudflare（クラウドフレア）は、同社のオープンAIモデル推論サービス「Workers AI」において、Moonshot AIの「Kimi」やZ.aiの「GLM」といった巨大AIモデルを高効率かつ低遅延で提供するための量子化・メモリ削減手法の技術解説を公式ブログで公開した。

確認済みの事実

巨大AIモデルの運用ではVRAM（GPUメモリ）の消費削減が最大の課題となる。Cloudflareは「GLM-5.2」において重みをINT4精度に量子化することで、ファイルサイズをFP8版の705GBから421GBへと約40%削減した。ベンチマーク（MMLU等）比較において、精度低下はほとんど観察されず、デコード処理速度は最大55%向上した。

さらに、推論エンジン「SGLang」上でKVキャッシュをFP8量子化することにより、Kimi K2.6において保存可能なコンテキスト長を約68.6万トークンから約137万トークンへと倍増させている。

独自価値要素（量子化のベンチマーク比較と技術的利点）

量子化（精度圧縮）を適用した際の処理速度と精度の相関データが公表された点が有益である。プリフィル（初期入力）処理では高精度版が有利なものの、デコード（生成）処理や同時並列リクエスト処理においては、量子化モデルが顕著なスループットの向上を示している。

分析と今後の展望

エッジネットワーク上で高性能AIを低コスト提供するためには、ハードウェア追加に頼らないソフトウェアレベルの推論最適化が不可欠である。CloudflareによるNVFP4等の次世代量子化の取り組みは、今後の生成AIインフラコスト低下に大きく貢献する。

引用元：GIGAZINE