ARC財団、OpenAIのAGI宣言に異論を表明

OpenAIのAGI到達宣言と評価団体による異論の構図

米OpenAIが最新モデル「GPT-6 Astra（OpenAIが発表したフロンティアAIモデル）」の発表に伴い「AGI（人間と同等以上の汎用的な知能を持つ人工汎用知能（Artificial General Intelligence））」への到達を宣言したことに対し、評価指標「ARC-AGI-3（未知のパズル環境で汎用的な推論力を測るベンチマーク）」を運用する米ARC Prize財団が異論を表明した。OpenAIは同テストで99.9％のスコアを獲得したことを根拠としていたが、財団側が中立な標準条件で測定したところスコアは62.7％にとどまった。さらに財団は、あらかじめ正解が定められたパズルを解くだけでは、未知の課題に対処する真のAGIの証明にはならないと指摘している。

37ポイントの乖離を生んだテスト条件と測定結果

OpenAIの発表時、グレッグ・ブロックマン（Greg Brockman）社長は「個人的には、もう到達したと思う」と述べ、「AGIの時代へようこそ」と説明会を締めくくった。しかし、ARC Prize財団が公表した検証結果では、テスト環境（ハーネス（AIモデルの実行と評価環境を制御する評価用テスト基盤））の設定により成績に大きな隔たりが生じることが明らかになった。

測定条件によるスコアの比較

財団が検証した2種類のテスト条件における主な相違点は下表のとおりである。

項目	標準テスト条件（標準ハーネス）	個別最適化条件（専用アダプター）
​獲得スコア​	62.7%	99.9%
​記憶保持の仕組み​	操作ごとにリセット（手動メモのみ引き継ぎ）	思考プロセス全体を次回操作へ継続保持
​思考時間との関係​	最も深く考えさせた設定で62.7%	ほとんど考えさせない設定でも96.7%
​測定対象​	全モデル共通の土俵での実力値	専用ツールを組み合わせたシステム上限値

標準テスト条件では、AIが一手操作するごとにやりとりが区切られ、次回へ持ち越せる記憶はAI自身が残したメモデータに限定される。一方、OpenAIの専用条件では、モデル内部の思考プロセスを途切れることなく引き継ぐことができる。同一モデルでありながら、思考記憶を保持できるツールの有無によって37ポイントもの差が生じた形だ。

単一パズルの満点と現実世界の課題解決の乖離

ARC Prize財団は、Astraが一般被験者約500人の平均データより少ない操作回数で96％の課題をクリアした点など、試行錯誤の効率性における画期的な進歩自体は高く評価している。また、一切の補助ツールを用いない素の状態でも62.7％を達成した能力は極めて優れていると認めている。

しかし、同財団の共同創設者マイク・クヌープ（Mike Knoop）氏は「誰も答えを知らない問題を自力で切り開く力は、まだ実現していない」と指摘する。あらかじめルールと正解が用意されたパズル環境での高得点と、正解のない現実社会の複雑な課題を自律的に解決する能力とは質的に異なるためである。

次世代テスト「ARC-AGI-4」への移行と真の汎用性の展望

専門家の間でも、99.9％の達成はモデル単体の知能ではなく周辺ツールを統合したシステム全体の成果と見る向きが強い。一方で、人間の受験者が記憶を維持して挑むのと同様、記憶保持ツールの利用こそが実質的な思考能力を反映しているという反論もある。

ARC Prize財団は今後、成績表に標準条件と専用条件の両数値を併記する方針を示している。さらに、あらかじめ正解が存在しない課題を扱う次世代テスト「ARC-AGI-4」を2027年初頭に公開する予定だ。AI評価の主戦場は、単一ベンチマークのスコア競争から、解法が未知の現実課題にどこまで適応できるかを問う真の汎用性評価へと移行しつつある。

引用元：ITmedia ビジネスオンライン