d-Matrix、NVIDIA NVLink Fusionに参加

AI推論アクセラレータを手がける米スタートアップのd-Matrixは、米NVIDIAとの複数年にわたる協業契約を締結し、NVIDIAのインターコネクト技術「NVLink Fusion」エコシステムに参画したことを発表しました。同社の「Raptor」推論プロセッサがNVIDIA MGXモジュラーサーバーラックに統合され、大規模言語モデル（LLM）の推論処理においてGPUと協調動作する構成が実現します。

3D-DRAMアーキテクチャによるデコード処理の高速化

d-Matrixの推論チップは、3D積層DRAMを採用したメモリ中心型アーキテクチャを特徴としており、LLM推論における「デコード（逐次生成）フェーズ」で極めて高いメモリスループットと電力効率を発揮します。

今回の提携により、コンテキスト全体の事前計算（プレフィルフェーズ）を強力な計算能力を持つNVIDIA GPUが担当し、後続のトークン逐次生成をd-MatrixのRaptorプロセッサがNVLink経由の低遅延で引き継ぐというハイブリッドパイプラインの構築が可能になります。

対Groq対抗とNVIDIAエコシステムの防衛

調査会社Futurumの分析によると、今回の提携にはSRAMベースの超高速推論チップで台頭するGroqに対抗するNVIDIAの戦略的意図が含まれていると指摘されています。

NVIDIAは自社GPUの圧倒的な優位性を維持しつつ、推論特化型プロセッサの台頭に対して自社の独自高速バス規格（NVLink）でこれらを囲い込み、データセンター内の基幹インフラとしての地位を盤石にする狙いがあります。

今後の展望とデータセンターへの影響

AIワークロードにおいて学習から推論への投資シフトが進むなか、GPU単体での推論処理から異種アクセラレータを協調させるヘテロジニアス構成への移行が現実味を帯びてきました。d-MatrixとNVIDIAの協業は、データセンターにおける次世代AI推論インフラの標準構成を大きく左右する動きとなります。

引用元：Futurum