DeepSeek-V4技術報告書が公開

中国のAI研究機関DeepSeekは、100万トークンのコンテキスト窓を持つMoE（Mixture of Experts）モデル「DeepSeek-V4」の設計および評価結果をまとめた技術報告書をarXivに公開しました。独自のハイブリッド圧縮注意機構の導入により、長文脈処理時の推論コストとメモリ負担を大幅に削減し、オープンウェイトモデルの新たな運用標準を提示しています。

1. 100万トークン処理のアプローチ

コンテキスト窓の拡張はTransformerの構造上、注意機構のFLOPsおよびKVキャッシュメモリの爆発をもたらし、高額なコストや高レイテンシがボトルネックとなっていました。DeepSeek-V4はこの実用化の壁に対し、Compressed Sparse Attention (CSA) と Heavily Compressed Attention (HCA) を融合させた注意機構を採用し、運用コストを極限まで押し下げる手法を提唱しています。

2. ProとFlashによるモデル構成

総パラメータ1.6兆・活性化パラメータ49Bのハイエンドモデル「DeepSeek-V4-Pro」と、総パラメータ284B・活性化パラメータ13Bの軽量高速モデル「DeepSeek-V4-Flash」の2系統で構成されています。重みは無償公開されており、推論努力量を調整できる「Non-think / Think / Think Max」の3つの推論モードが組み込まれています。100万トークン処理において、V4-Proは前世代V3.2比で単一トークンの推論FLOPsを27%に削減、KVキャッシュのメモリ占有量を10%に抑え、LongBench-V2で高いスコアを記録しました。

DeepSeek-V4の技術報告書は、AI業界に対し「100万トークンの実用化は、窓の長さではなく運用の経済合理性の問題である」という問いかけを行っています。CSAやHCAといったアテンション圧縮技術とオープンウェイトでの配布は、企業が大規模な社内データベース全体を低コストでオンプレミス推論する選択肢を提供し、エージェントシステムにおけるデータチャンク要約処理やメモリ設計に大きな変革をもたらします。