NVIDIA、cuFile APIをオープンソース化

NVIDIAは、GPUと高速ストレージ（NVMe SSDなど）間におけるCPUを介さないダイレクトなデータ転送を実現する技術「GPUDirect Storage（GDS）」のコアライブラリである「cuFile API」および関連するストレージスタックを、オープンソースプロジェクトとして公開することを決定した。併せて、Google、Intel、Metaの3社が共同メンテナーとして本プロジェクトに参画することも発表された。AIモデルの大規模化に伴い深刻化するストレージI/Oボトルネックの解消に向け、業界標準の構築が加速する。

cuFile APIオープンソース化の背景と確認された技術仕様

近年、マルチモーダルモデルや自律型エージェントAIの学習・推論において、膨大なデータセットの読み込みやチェックポイントの高速保存が不可欠となっている。従来のようにCPUメモリを経由するデータ転送ではI/O待ちが発生し、GPUの計算リソースが浪費される課題が存在していた。

今回オープンソース化された cuFile API（NVIDIA GPUとストレージ間のダイレクトアクセスを制御するC/C++ライブラリ） は、GPUメモリとNVMeストレージ間のデータパスを最適化するGDSの基幹ソフトウェアである。オープンソース化によって、クラウド事業者やストレージ機器ベンダーは自社のシステムやドライバにcuFileを直接組み込み、カスタマイズすることが可能となる。

Google・Intel・Metaとの共同開発と「Storage-Next」

本プロジェクトの立ち上げに伴い、Google、Intel、Metaの3社が主要メンテナーとして参加した。各社はNVIDIAとともに、小規模なデータパケット（512バイト単位）の高頻度アクセスに最適化した次世代ストレージ標準「Storage-Next」スタックの開発を進める。

これにより、クラウド環境や大規模AIファクトリーにおいて、不均一なストレージ構成や異種ハードウェア環境であっても、統一されたハイパフォーマンスなGPUストレージI/Oを実現するエコシステムが整う。

日本のデータセンター・インフラ事業者への影響

日本国内でAIインフラやGPUクラウドを構築するデータセンター事業者・クラウドプロバイダーにとっても、このオープンソース化は大きなメリットをもたらす。ベンダロックインを回避しながら、各社の自社ストレージ製品や独自のLinuxカーネル環境にGPUDirect Storage機能を最適化して組み込むことが可能となるためである。

未確認事項として、オープンソース版cuFileのライセンス形態（Apache 2.0等）の詳細な適用範囲や、既存のプロプライエタリ版CUDA Toolkitとのバイナリ互換性の移行スケジュールについては、GitHubリポジトリの正式公開を待つ必要がある。

編集部の分析と技術的展望

編集部注: NVIDIAが自社の強みであったストレージアクセス技術を開放した背景には、AIインフラのボトルネックが「GPU単体の演算能力」から「データセンター全体のストレージ・ネットワークI/O」へシフトした現実がある。GoogleやMetaといったハイパースカラーを取り込むことで、自社主導の標準技術を業界デファクトスタンダードとして定着させる狙いが見て取れる。

分散学習におけるチェックポイント書き込み時間の短縮や、大規模推論時のコンテキストロードの高速化は、すべてのAI開発企業にとって直接的なコスト削減につながるため、今後のコミュニティ主導の機能拡張が期待される。

引用元：NVIDIA Blog