10年前のXeonサーバーで最新AIを実用速度で動かす手法

高性能GPUが必須とされる大規模言語モデル（LLM）の実行において、2016年製のIntel Xeonサーバー（GPU非搭載、128GBのDDR3メモリ）で、Googleの最新AIモデル「Gemma 4 26B-A4B-it」を実用的な速度で動作させた個人検証が注目を集めています。検証者のcafkafk氏は自身のブログで、推論エンジンの詳細設定とメモリ最適化により、負荷時であっても11.94トークン毎秒の生成速度を達成し、「人間が文章を読む速度」と同等以上の快適な動作を実現したと報告しました。

1. MoEモデルとスレッドの最適化

Gemma 4 26B-A4B-itは、MoE（専門家混合モデル：複数の専門家ネットワークから必要な部分のみを選択して処理する方式）を採用しており、総パラメータ数25.2Bのうち実行時に使われるのは約3.8Bです。CPUでMoEを処理する際、エキスパート（処理の専門領域）が頻繁に切り替わると、遅いDDR3メモリへのアクセスが頻発してボトルネックとなります。 cafkafk氏は、CPU向けの設定オプションである「--cpu-moe」や「--merge-up-gate-experts」を活用してメモリの往復アクセスを削減しました。また、マシンの物理コア数に合わせてスレッド（CPUが並列処理を行う際の最小単位）数を「-t 8」の8に制限し、過剰なスレッド管理によるオーバーヘッド（処理の無駄な負荷）を防ぎました。

2. メモリ固定と文脈キャッシュの圧縮

物理メモリ上にデータを固定し、スワップ（メモリ不足時にストレージを一時的にメモリ代わりに使う仕組み）による処理速度低下を防ぎます。「--mlock」を適用しました。また、モデルの重みデータをCPUが読み出しやすい順序へ動的に再配置する「--run-time-repack」も実施しています。 さらに、GPU非搭載のためKVキャッシュ（会話の文脈を保持する一時的な記憶領域）をCPU側に留める「--no-kv-offload」を指定し、巨大な262Kトークンの文脈を扱うため「Flash Attention」（メモリ転送量を抑えるアテンション計算技術）と「MLA」（Multi-Head Latent Attention：アテンションのキーと値を圧縮する技術）を併用しました。これにより、総メモリ使用量約82GB（重み約25GB、KVキャッシュ約56GB）での長文処理を可能にしています。

3. Hacker Newsにおける検証結果の議論

エンジニア向けのニュース共有サイト「Hacker News」にて、cafkafk氏は動作に関する詳細な質問に回答しました。「人間が読むのと同等の速度」の実数値について質問された同氏は、サーバーが他の処理を実行している負荷時で11.94トークン毎秒、無負荷状態では20トークン毎秒を超える感触であると述べています。通常、人が文章を読むスピードは5〜6トークン毎秒程度とされるため、負荷下であっても十分実用に耐える読み込み速度が担保されていることが確認されました。

今回の検証結果は、最新AIのローカル実行におけるボトルネックが単にハードウェアの世代のみならず、推論エンジン内部のメモリやスレッドといったソフトウェア管理手法を深く理解し調整することにあると示しています。編集部注：このアプローチが普及すれば、高価な最新GPUを購入できない小規模開発者や、余剰となった過去のサーバー資産を抱える企業にとっても、大規模モデルのローカル検証や運用コストを劇的に下げる現実的な選択肢となり得ると考えられます。