DGX Spark 4台でDeepSeek推論494tok/s記録

米国の著名アナリストであるPatrick Moorhead氏が、米NVIDIA（GPUおよびAI向けフルスタック基盤を提供する半導体大手）の超小型AIスーパーコンピュータ「DGX Spark」4台を連携させた自宅クラスタ環境を構築し、総パラメータ数5520億（552B）のオープンウェイトモデルDeepSeek V4.1-Flash（DeepSeekが開発した超大規模・高効率なオープンウェイトLLM）の推論処理で毎秒最大494トークン（tok/s）の高速出力を記録したことを明らかにしました。

高価な外部ネットワークスイッチを排し、QSFPケーブルを用いた直接接続（リングトポロジ）構成を採用することで、機密データを外部に出せないオンプレミス環境でも実用的な超高速推論を実現できる実証事例として注目を集めています。

自宅クラスタの構成と推論ベンチマーク結果

Moorhead氏が公開した構成では、4台のDGX Sparkをコンパクトなラック内に積層配置し、合計約512GBの統合メモリ（LPDDR5X）プールを形成しています。対象モデルのDeepSeek V4.1-Flash（メモリ占有量476GB）を余裕を持って全層メモリ上に保持できる設計です。

各DGX Sparkノードは以下の基本仕様を備えています。

• CPU: 20コアArmプロセッサ（Cortex-X925×10コア ＋ Cortex-A725×10コア、L3キャッシュ計32MB）
• GPU: GB10 iGPU（第5世代Tensorコア、NVFP4演算で最大1000 TOPS、FP32で最大31 TFLOPs）
• ​メモリ​: 128GB LPDDR5X統合メモリ（帯域幅 約273 GB/s）
• ​インターコネクト​: ConnectX-7 SmartNIC（200Gb/s QSFPポート×2基）
• ​消費電力​: ノード単体で約140〜240W（負荷時は約400〜600W）

今回のシステムでは、NVIDIAが推奨する200GbEスイッチ（スター型構成）を使わず、2基のQSFPポートを活かして各ノード同士を直結する「スイッチレス・リングトポロジ」（ノード1→2/4、ノード2→1/3、ノード3→2/4、ノード4→3/1）を採用しました。

このハードウェア環境上でDeepSeek V4.1-Flashを実行したベンチマーク結果は以下のとおりです。

評価項目	測定値	測定条件・備考
​ピーク出力（コード生成）​	494 tok/s	32並列リクエスト時
​ピーク出力（文章生成）​	280 tok/s	32並列リクエスト時
​単一リクエスト処理​	約96 tok/s（コード） / 約58 tok/s（文章）	1ユーザー利用時
​プロンプト処理速度​	​約4,764 tok/s	入力処理（Prefill段階）
​初回トークン生成遅延（TTFT）​	約0.2秒	アイドル状態からの応答
​モデルメモリ占有量​	476 GB	512GBプール内で稼働

独自価値の視点：導入コスト比較とリングトポロジの制約

自宅や社内オフィスで大規模モデルを常時運用する場合の経済性と技術的トレードオフを整理します。

導入コストと運用費用の比較

DGX Sparkは1台あたり約5,500〜9,000ドル以上で流通しており、4台の本体費用（約22,000〜36,000ドル）にQSFP直結ケーブルやラック、ファンなどの周辺機材を加えると、クラスタ全体の初期構築費用は約25,000〜40,000ドル（約390万〜620万円規模）となります。

初期投資は高額ですが、外部クラウドAPIの従量課金やレート制限（利用制限）を受けることなく、24時間365日自社占有で高スループット推論を回し続けられる点が最大の利点です。電気代も各ノード400〜600W程度に収まり、データセンター向け超大型ラックに比べてオフィスの一般電源環境でも運用しやすい利点があります。

未確認事項とトポロジの留意点

本構成を検討する上で留意すべき技術的前提も存在します。

• ​リングトポロジの帯域ボトルネック​: スイッチを省略したリング接続は初期コストを大幅に抑えられる反面、対向ノードへの通信でホップが発生します。リクエストの同時並行数がさらに増大した場合や、オール・トゥ・オールの通信頻度が高い学習ワークロードでは、NVIDIA推奨の200GbEスイッチ環境と比べて帯域の遅延影響が出る可能性があります。
• ​モデル構造への依存度​: 494 tok/sという極めて高い出力は、DeepSeek V4.1-Flashが採用するCED（Causal Encoder-Decoder）やCSA2（Compressed Sparse Attention 2）、FP4量子化、SWA Bounded Replayといった最適化により、KVキャッシュが1トークンあたり890バイトに圧縮されているアーキテクチャ特性に依存しています。他の密結合型500B級モデルで同等のスループットが得られるかは未確認です。

分析と展望：プライベートAIファクトリーの現実的な選択肢

本ベンチマークは、データセンター規模の巨大インフラを専有せずとも、エッジ向けAIスーパーコンピュータ数台のクラスタリングによって超大規模モデルを実務水準の速度で稼働させられることを実証しました。

特に金融データやソースコード、医療情報など、外部クラウドAPIへ送信できない機密資産を扱う企業や研究機関にとって、総額数万ドル規模で構築できる「オフィスクラスタ」はプライベート推論インフラの有力な選択肢となります。大規模モデルのオープンウェイト化と高効率化、そして小型クラスタハードウェアの進化が連動することで、エンタープライズのAI主権確保に向けたローカル運用のハードルは一段と下がるとみられます。

引用元：Wccftech