NVIDIA、GPUクラスタ検証OSS「NVCRE」を公開

米NVIDIAは2026年9月24日、大規模AI学習基盤の稼働前にハードウェア障害やネットワーク性能劣化を自動検知するKubernetesコントローラー「NVIDIA Cluster Readiness Engine（NVCRE（GPUクラスタの稼働準備状態を自動検証するオープンソースコントローラー））」をApache 2.0ライセンスでオープンソース公開しました。本番ジョブ投入前に実際の分散ワークロードを実行することで、各ノード単体のヘルスチェックでは見逃されがちな通信ボトルネックや低速GPUを即座に特定できます。

実ワークロードで「隠れた不具合ノード」を絞り込む仕組み

大規模なGPUクラスタでは、すべてのノードやポッドが正常ステータスを示していても、数百基規模の分散学習ジョブを実行すると一部の低速GPUや帯域低下リンクによって全体の学習スループットが大幅に低下する問題が頻発します。従来の運用では手動スクリプトやバイセクション（二分探索）によって原因ノードを特定しており、長時間のクラスタ停止を招いていました。 NVCREはこの課題を解決するため、Kubernetesのカスタムリソース定義（CRD）を通じて実負荷試験を自動オーケストレーションします。 主な構成と特徴は以下の通りです：

階層 / 機能	役割と動作内容
Certification	検証対象のノード群（nodeSelector）と実行する試験カテゴリを定義
Workflow	カテゴリごとの試験管理、プラットフォーム固有の上書きや反復回数を設定
Job	実際のテストワークロードを実行し、障害やメトリクス未達ノードを記録
WorkloadRun API	MPI（NCCL）やPyTorch（torchrun）の分散ジョブを単体CRDで直接実行可能
​適応的障害切り分け​	複数ノード群でエラーが出た際、グループを自動分割して再試験し原因ノードを孤立化
標準カタログとして、5種類のNCCL通信試験（all-reduce、all-gather、all-to-all、loopback、NVSwitch跨ぎ）、DCGM（Data Center GPU Manager）診断スイート、およびNemotron 5モデル（8B/56B）によるNeMo事前学習試験が組み込まれています。合否基準はCommon Expression Language（CEL）を用いた柔軟な閾値式で設定可能です。

アクティブ検証とパッシブ監視の役割分担と制約

NVIDIAのデータセンターOS基盤「NVIDIA DSX OS」において、NVCREは能動的（アクティブ）な事前検証レイヤーとして位置づけられています。テレメトリを継続監視する「NVSentinel」との差分や運用制約は次の通りです。

• NVSentinelとの連携​: NVCREは負荷をかけて性能未達を炙り出す「能動型」ツールであり、ノードの隔離（cordonやtaint）は自身では行いません。障害情報はNVSentinelのモニター機能経由で受け渡され、NVSentinel側のポリシーに基づいて自動ドレインや保守隔離が実行されます。
• ​動作要件と前提条件​: Kubernetes 1.29以上、Helm 3.x、NVIDIA GPU Operatorが必要です。また、NVIDIA GB200 NVL72やGB300 NVL72クラスタでの利用にはNVIDIA DRA Driver for GPUsが必須となります。
• ​未確認事項と制約​: ポッド配置のデッドロックを防ぐためKAI Schedulerなどのギャングスケジューラ（同時一括配置スケジューラ）の併用が推奨されていますが、デフォルトのKubernetesスケジューラのみでは混雑環境でジョブが停止する可能性があります。

AIインフラ運用への分析と展望

HPC分野で広く使われてきたSlurm環境では1行のコマンドでノード検証が可能だった一方、Kubernetes上で同等の分散ベンチマークを実施するには共有メモリ設定やRDMA環境変数の調整など複雑な手作業が必要でした。NVCREがオープンソース化されたことで、クラウドネイティブなAIプラットフォームの運用自動化（GitOps）が大幅に前進します。 編集部注: 大規模AI基盤の調達・増設ラッシュが続く中、納品後の受け入れ試験（バーンイン）や定期メンテナンス後の復旧確認にかかるエンジニアの工数を劇的に圧縮し、数億円規模のクラスタ資産のアイドル時間を最小化する中核ツールとして普及が進むとみられます。 引用元：NVIDIA Technical Blog