Meta、100万GPU規模向け「MetaRoCE」を公開

米 Meta（FacebookやInstagramを運営する米テクノロジー大手） は2026年8月24日、100万個規模のGPUを汎用Ethernet（イーサネット）上で相互接続することを想定した新しいRDMA通信プロトコル「MetaRoCE（Metaが策定した大規模AIクラスタ向けの次世代RDMA通信トランスポートプロトコル）」を発表しました。従来のRoCEv2（RDMA over Converged Ethernet）が前提としていた「パケットの厳密な順序配送」と「Priority Flow Control（PFC（イーサネット上でパケット損失を防ぐために一時停止信号を送るフロー制御技術））によるロスレスネットワーク」への依存を解消し、パケットロスが発生する一般的なイーサネット環境でも極めて高いスループットと低遅延通信を実現します。仕様、リファレンス実装、コンプライアンススイートはOpen Compute Project（OCP）を通じてオープンソースとして公開されます。

大規模AIクラスタが直面する通信の課題とMetaRoCEのアプローチ

大規模モデルの分散学習では、数千から数十万基のGPU間で「All-Reduce」や「All-to-All」といった集合通信（集団通信処理）を頻繁に実行します。最も遅い1台の転送遅延がジョブ全体の進行を制限するため、ネットワークの末尾遅延（テールレイテンシ）を抑えることが計算資源の有効活用に直結します。

従来のRoCEv2はスイッチ側にインテリジェンスを持たせ、PFCを用いてパケット損失を防ぎつつパケットの順序配送を強制していました。しかしネットワーク規模が拡大すると、PFCのデッドロックやマルチパス時の順不同到着による性能劣化が深刻化します。

MetaRoCEは「ネットワークファブリックはパケットを見るが、NICは意図を理解する」という原則に基づき、インテリジェンスを末端のNIC側に集約。ネットワークを多数のきめ細かな論理パスに分解し、パスごとの往復時間（RTT）やECN（明示的混雑通知）状態をリアルタイムに把握します。

MetaRoCEの主な技術的特徴

MetaRoCEの基本アーキテクチャは以下の要素によって構成されています。

機能要素	仕組みと従来のRoCEv2との違い
ネイティブ順不同配送	各パケット自体に書き込み先メモリ位置の情報を持たせることで、順不同での到着を通常動作として処理。並べ替えバッファや先頭ブロック待ち（HOLブロッキング）を排除
マルチパス対応（Native Multipathing）	1つの接続内でUDP送信元ポートをECMPエントロピーとして使い、パケット単位で動的に経路を分散。混雑した経路から健全な経路へ即座に迂回
パケットロス許容（Loss Tolerance by Design）	PFCやポーズフレームを使用せず、パケット損失を前提に設計。256ビットの選択的確認応答（SACK）ビットベクトルにより欠落したパケットのみを即座に再送
双方向混雑制御（Two-sided Congestion Control）	送信側主導のECNベースAIMD制御と、受信側からの利用可能帯域通知（レートヒント）を融合。インキャスト（通信集中）を1〜2往復で解消
トポロジー非依存性	スイッチに要求するのはECNマーキングとECMPのみ。Fat-Tree、マルチプレーン、深型/浅型バッファなど多様なファブリックで動作可能
スケーラブルな接続統合	1つの接続上に複数の論理ストリームと複数の物理パスを統合。並列度が増加してもNIC上の接続状態（QP）が肥大化しない

AMD Pensando NICによる実証実験と性能検証

MetaはAMDと協力し、AMD PensandoのプログラマブルNIC上にMetaRoCEを実装。64ノードのAMD GPUクラスタ（RCCL集合通信ライブラリ使用）上でRoCEv2との比較検証を行いました。

• ​スループット向上と完了時間短縮​: All-ReduceおよびAll-to-Allにおいて、RoCEv2と比較して優れたスループットとフロー完了時間の短縮を実証。
• ​高パケットロス環境での耐性​: 1%のパケットロス発生下でも約86%のスループットを維持。RoCEv2が破綻する10%の極端なパケットロス下でも通信を継続し、急激な性能崩壊を防ぐ優雅な縮退（グレイスフル・デグラデーション）を確認。
• ​マルチプレーンと自律復旧​: 4面および8面のマルチプレーン構成（最大4,000接続）においてプレーン数に応じた線形なスケーリングを達成。プレーン障害発生時も管理者やアプリケーションの介入なしに通信が自動再配分されました。

OCPでのオープン標準化と今後の展開

Metaは2026年10月に開催される「2026 OCP Global Summit」において、MetaRoCEの仕様書、DPDK（Data Plane Development Kit）向けに最適化したソフトウェアリファレンス実装（libsoftmetaroce）、およびハードウェア検証用のコンプライアンススイートを公開する予定です。

今後のロードマップとして、ラック内の短距離高速シグナリング（Scale-up）、データセンター間をまたぐ長距離通信（Scale-across）、および分散ストレージやKVキャッシュ向けインキャスト制御への最適化を進める方針です。

インフラ投資とオープンイーサネット標準化の意義

編集部注: 生成AIクラスタの巨大化に伴い、独自のInfiniBandから標準規格であるEthernetへの移行が急速に進んでいます。MetaがPFCの制約を打破するMetaRoCEを策定し、OCPを通じて仕様を公開したことは、特定の半導体ベンダーに依存しないオープンなAIデータセンター基盤の普及を大きく加速させるマイルストーンとなります。

引用元：Engineering at Meta | GIGAZINE