AI関連の最新ニュースをピックアップ
非営利のAI研究機関であるAllen Institute for AI（Ai2）とAIコミュニティプラットフォームのHugging Faceは、インフラ連携の拡大を発表し、完全オープンなAIモデルおよび大規模な事前学習データセット向けに2ペタバイト（2PB＝2000テラバイト）の専用高速ストレージハブを Hugging Face Hub（AIモデルやデータセットをホスト・共有するグローバルなプラットフォーム） 上に割り当てることを公表した。営利企業によるデータや重みの閉鎖化に対抗し、研究コミュニティへのオープンなアクセスを確保する。
この共同イニシアチブは、オープンソースの基礎モデル、事前学習コーパス、評価ベンチマークに対して、ペイウォール（有償化）やプロプライエタリなAPI制限なしに誰もが民主的にアクセスできる環境を維持することを目的としている。
提携拡大に伴い、Ai2が手掛けるオープン言語モデルファミリー「 OLMo（Ai2が開発・公開している完全オープンソースの大規模言語モデルシリーズ） （Open Language Model）」や関連するマルチモーダル成果物が、Hugging Faceのグローバルな内容配信ネットワーク（CDN）を通じて最優先でホスト・配信される。また、Hugging Faceはリポジトリ上にカスタム評価ツールやデータセット検証ユーティリティを直接統合する。
今回の2PBに及ぶストレージ基盤の開放は、学術機関や独立系研究者、個人開発者にとって極めて大きなサポートとなる。テラバイト・ペタバイト級に達する大規模なデータセットのホスティングやダウンロードにかかるインフラコストは、小規模な研究機関にとって巨大な壁となっていたためである。
モデル重みだけでなく、訓練用コーパスやデータクレンジングのスクリプト、中間チェックポイントまでが包括的にホストされることで、AIモデルの安全性監査や再現性検証、ファインチューニングの研究が容易になる。
日本国内で独自モデルの開発や透明性の高いAI研究を促進する学術機関（大学や国立研究機関）にとっても、この大容量オープンストレージ基盤の恩恵は大きい。高品質なオープンデータセットや透明なOLMoモデルを活用した日本語ファインチューニング研究の加速が期待される。
未確認事項として、この2PBストレージハブへ外部の研究者が独自のオープンデータセットを追加申請するための選定基準や審査プロセスの詳細は、今後の追加リリースで明らかにされる見込みである。
編集部注: 大手AI企業がモデルや学習データの「ブラックボックス化」を進める中、Ai2とHugging Faceが巨大なパブリックインフラを提供する意義は極めて大きい。「誰でも検証・改良できるオープンなAI」の基盤を維持するためには、モデルアーキテクチャだけでなく、物理的なストレージと配信環境のサポートが不可欠だからだ。
この2PBハブが、透明性の高い次世代AIモデル研究の世界的拠点として機能し、エコシステム全体の健全な発展に貢献することが大いに期待される。
引用元：Hugging Face