7440億AIを通常PCで動かす推論エンジン登場

7440億という莫大なパラメータ数を持つオープンソースの中国製大規模言語モデル（LLM）「GLM-5.2」を、わずか25GBのメモリ（RAM）しか搭載していない一般的な家庭用PCで動作させるための推論エンジン「Colibrì（コリブリ）」がGitHub上で公開されました。モデル全体をメモリ（VRAMやRAM）に載せるのではなく、必要なデータ（エキスパート）をSSD（高速なストレージデバイス）から逐次読み込む仕組みを採用しています。

1. MoE（Mixture-of-Experts）の仕組みを活かしたデータ配置

「GLM-5.2」は、質問への回答時にすべてのパラメータを使用するのではなく、入力に応じて特定のエキスパート（専門モデル）を選択して計算する「MoE（混合専門家）」構造を持っています。1トークンを生成する際にアクティブになるパラメータは約400億個です。 「Colibrì」は、文脈理解に関わるアテンション（注意機構）や単語を数値化する埋め込み層など、必須となる約170億パラメータを4ビットに圧縮（約9.9GB）してRAMに保持し、残りの21,504個のエキスパート（合計約370GB）はSSDに配置します。

2. キャッシュ機構と動作要件

SSDからの読み込み回数を減らすため、最近使用したエキスパートをRAM上に残すLRUキャッシュと、呼び出し頻度が高いエキスパートを優先してRAMに固定する学習キャッシュが実装されています。 エンジン本体はC言語による約1,300行のシンプルなコードで記述されており、GPUやPython、外部の数値計算ライブラリを必要とせず、CPU（AVX2対応）とSSD（NVMe接続）、およびLinux環境があれば動作可能です。

3. 超低速という割り切り

極めて少ないメモリ量で大容量モデルを起動できる一方、処理速度は犠牲になっています。開発者の検証によれば、キャッシュが空の状態では、1トークンの生成に約11GBのデータをSSDから読み出す必要があり、生成速度は毎秒0.05〜0.1トークンにとどまります。短い応答でも数分を要するため、開発者は「速度を求めるのではなく、どんなに遅くても動かすこと」を重視したとしています。

オープンソースで公開される高性能なAIモデルが巨大化する中、動作に必要な数百ギガバイトもの超大容量メモリを個人で確保することは困難を極めます。「Colibrì」のようなストレージを仮想メモリ的に活用する技術は、ローカル環境における大規模AI実行の敷居を大きく下げるアプローチですが、実用的な速度を両立させるためのキャッシュ機構のさらなる改良や、量子化（データを軽量化する処理）による精度低下の検証が今後の課題となりそうです。

引用元：GIGAZINE