普通のPCで7440億巨大AIを動かす推論エンジン「Coli

大規模言語モデル（LLM）「GLM-5.2」を、一般的なメモリ容量（25GB程度）のPCで動作させるためのオープンソース推論エンジン「Colibrì」がGitHubで公開されました。通常、7440億パラメーターを誇るGLM-5.2の実行には数百GBのメモリ（VRAM/RAM）が必要ですが、Colibrìは必要なデータのみをSSDから随時読み出して処理する独自のオンデマンド構造を採用し、GPU不要で通常のPC環境におけるローカル実行を実現しています。

1. MoE構造に着目したオンデマンド読み込み

GLM-5.2は「MoE（混合専門家モデル：複数の専門家モデルを組み合わせる手法）」構造を採用しており、1トークン生成時に使用する活性化パラメーターは約400億個に留まります。Colibrìはこの点に着目し、常に必要な約170億パラメーター（注意機構や埋め込み層など）を4bitに圧縮して約9.9GBのデータとしてRAMに常駐させ、残りの約370GBに及ぶエキスパートデータはSSDに配置して必要な部分だけを順次読み出します。

2. 学習型キャッシュと投機的デコーディングの搭載

SSDからの低速な読み込みによるボトルネックを軽減するため、最近使用したエキスパートをRAMに保持するLRUキャッシュや、対話履歴から頻繁に呼び出されるエキスパートを優先してRAMに固定する「学習型キャッシュ」を搭載しています。また、複数トークンを先読みして検証する「投機的デコーディング（確率的に高い単語を先読みして処理を並列化する技術）」もテスト機能として実装されています。

3. C言語によるシンプルな実装と動作要件

本エンジンは外部ライブラリに依存しない約1300行のC言語コードで構成されています。Pythonや重い数値計算ライブラリも不要です。動作に必要な最低環境は、AVX2（高速な並列計算技術）対応CPU、16GB以上のメモリ、約370GBのモデルファイルを保存できるNVMe SSD、およびLinuxまたはWSL2環境となっています。

メモリ消費を極限まで抑えるトレードオフとして、動作速度は1秒あたり約0.05〜0.1トークンと非常に低速ですが、数万円クラスの一般PCで7440億ものパラメーターを持つ最先端巨大AIが動作すること自体が驚くべき成果です。今後は投機的デコーディングの最適化やさらなる量子化精度の検証が進めば、パーソナルコンピューティングにおける超巨大AIのローカル活用の道がさらに開かれると見られます。

引用元：GIGAZINE