OpenAI、ARC-AGI-3ツール公開

OpenAIは、AGI（人間と同等以上の汎用的な知能をもつ人工知能）（汎用人工知能）の実現に向けたモデルの抽象推論・汎化能力を正確に評価するオープンソースツールの最新版「ARC-AGI-3 Harness」を公開した。

ARC-AGI-3 Harnessの確認済み事実

本ツール公開に関して確認された内容は以下の通りである。

• ​オープンソースでの公開: 全世界の研究者や評価者が自由に利用できるよう、ベンチマーク実行ツールがオープンソースで提供された。
• ​未知の抽象パターンの評価: 学習データに含まれていないグラフィックパターンや変換規則を、モデルがどれだけ自律的に理解・適応できるかをテストできる。

既存のAIベンチマークとの独自差分整理

• ​暗記型ベンチマーク（MMLU等）: 事前に学習した広範な知識データから回答を検索・生成するため、暗記によって高得点が出やすい。
• ARC-AGI-3: 知識の丸暗記では解くことができず、完全初見の視覚・抽象問題に対する論理一般化能力のみが測定される。

AGI研究の分析と今後の展望

各社が「自社モデルのAGI到達」を主張する中で、客観的で公平な評価基準の確立が求められていた。OpenAIが本ツールをオープンソース化したことで、コミュニティ全体の評価透明性が高まり、真のAGIに向けたモデル開発の客観的比較が加速するとみられる。

引用元：GIGAZINE