Qwen3.8-Flash-Nextの12GB動作をStrataで検証

125Bの大規模モデルが手元の12GB環境で動作可能に

Alibaba（Qwenチーム）が開発した総パラメータ125B（アクティブパラメータ6B）の最新マルチモーダルMoEモデル「Qwen3.8-Flash-Next（Alibabaが公開した125BパラメータのオープンマルチモーダルMoEモデル）」について、VRAM 12GBを搭載した一般的なゲーミングPC環境で実働させることが可能であるとする技術検証記事がPC Watchにて公開されました。本来であれば量子化を行っても40GB前後のVRAMを必要とする巨大モデルですが、GPU、RAM、SSDの3層にメモリを分散配置するオープンソース推論エンジン「Strata（GPU・RAM・SSDの3層を活用して巨大MoEモデルを動かす推論エンジン）」を活用することで、旧世代GPU「GeForce RTX 3060（12GB）」でもローカル実行できることが実証されました。

GPU・RAM・SSDの3層オフロード構造による実現手法

Qwen3.8-Flash-Nextは、512個のエキスパート（10ルーテッド＋1共有）を備えたMoE構造を持ち、行列積計算に使われない約51B相当のn-gramルックアップテーブルを特徴としています。Strataはこのアーキテクチャ特性を活かし、次のようにデータを3層に分割配置しています。

ハードウェア階層	格納されるデータと役割
GPU（VRAM 12GB）	頻用部分および利用頻度の高いホットなエキスパートのキャッシュ（GPU演算）
メインメモリ（RAM 64GB）	全エキスパート（CPUによる並列演算）
ストレージ（NVMe SSD）	約29GBのn-gramルックアップテーブル（必要な行のみオンデマンド読み出し）

Core i9-12900と64GBメモリ（DDR4）、GeForce RTX 3060（12GB）を備えたPCでの検証では、量子化フォーマットIQ2_XS（約39.2GB）を用いて約30秒で起動し、ブラウザベースのWeb UIから対話や推論が可能であることが確認されました。また、VRAM 48GB改造版RTX 4090を搭載した上位環境（RAM 128GB）ではIQ3_Sを用いてコード生成で128.5 tok/s、日本語生成で101.5 tok/sを記録し、高い推論速度が示されています。

Qwen3.8シリーズのモデル比較と技術的差異

Alibabaが同時期に公開しているモデル群との違いを整理すると、Qwen3.8-Flash-Nextは巨大な総パラメータを持ちながら、実効計算コストを抑えた設計となっています。

項目	Qwen3.8-Flash-Next	Qwen3.8-27B（Dense）
モデル構造	MoE（512エキスパート）	Dense（密結合）
総パラメータ	125B（+n-gram 51B, MTP 4B）	27B
アクティブパラメータ	6B	27B
SWE-bench Pro	62.5	61.7
SWE-bench Multilingual	81.0	73.8
GPQA Diamond	91.7	89.2

DenseモデルであるQwen3.8-27Bと比較して、多言語ベンチマーク（Multilingual）やGPQA Diamondなどの推論能力でFlash-Nextが上回っています。通常、125B規模のモデルを個人環境で動かすには高価なワークステーションが必須とされてきましたが、Strataのような特化型エンジンの登場により、モデル構造に最適化されたオフロードが可能となりました。

個人開発者への影響と運用上の留意点

日本の個人開発者やローカルLLM愛好家にとって、中古市場や既存のゲーミングPCに広く普及しているRTX 3060（12GB）クラスで125B規模の先端モデルが稼働する意義は極めて大きいです。特に日本語テキストの生成テストにおいても中国語の混入がなくクリーンな出力が得られたと報告されており、実用的な対話・コード補助としての活用が期待されます。

ただし、運用にあたっては以下の制約に留意する必要があります。

• ​高速なNVMe SSDが必須​: 辞書引きを行うn-gramテーブルやエキスパート読み込みに高いI/O速度が要求されるため、低速なSATA接続SSDやHDDでは起動や応答に著しい遅延が発生します。
• ​メインメモリ（RAM）の要求水準​: 最低でも48GB、推奨で64GB以上のシステムRAMが必要となり、一般的な16GB〜32GB構成のPCではメモリの増設が前提となります。
• ​モデルの長文耐性・実運用性能​: 今回の検証は短中期のベンチマークおよび小規模コード修正が中心であり、コンテキスト長を上限（最大100万トークン）近くまで伸長させた場合のメモリ消費や速度低下の度合いについては今後の追検証が必要です。

ローカルLLM運用の展望

近年のオープンソースAIでは、モデルの大規模化に伴い推論ハードウェアの要求スペックが急騰する一方で、MoEの疎性（スパース性）やn-gram辞書を活用して演算・メモリ要件を分離する設計手法が台頭しています。StrataとQwen3.8-Flash-Nextの組み合わせは、従来の「VRAM容量がすべて」というローカルLLM運用の常識を再定義し、CPU・メインメモリ・超高速SSDを協調動作させるヘテロジニアスな推論環境の有効性を示しました。今後は同様の多層オフロード手法が他の大規模MoEモデルにも波及し、コンシューマー向けハードウェアにおけるAI活用の選択肢を一層広げるとみられます。

引用元：PC Watch