OpenAI、SWE-Bench Proのバグ監査結果を公開

OpenAI（オープンAI）は、自律的なコーディング（プログラミング）能力を測定する著名なベンチマーク「SWE-Bench Pro」のデータを精査した監査レポートを公開しました。調査の結果、収録されているテスト全体の約30%に欠陥や不適切な設計が存在し、モデルの正しい実力を測定できない「破損状態」にあると判断しました。これを受けて、OpenAIは以前発表していた同ベンチマークの採用推奨を撤回しました。

1. タスクの破損をもたらす4つの主要なバグ

OpenAIのソフトウェアエンジニアと調査用AIエージェントの監査により、問題点が以下の4つに分類されました。

• ​過度に厳格なテスト：​ プロンプト（指示文）に書かれていない細かい実装方法まで要求するため、機能的に正しい回答も不合格になる。
• ​記述不足のプロンプト：​ 隠された評価テストで要求される条件がプロンプトに記載されておらず、推測がほぼ不可能な状態になっている。
• ​テストの網羅性不足：​ 評価カバレッジが低く、不完全なプログラムであってもテストを通過してしまう。
• ​誤解を招く指示：​ プロンプト自体が誤った実装を促したり、実際のテストコードの要件と矛盾している。

2. 人間とAIエージェントを併用した監査プロセス

OpenAIは、まず自動データパイプラインを用いて不具合が疑われるタスクを抽出しました。その後、Codexベースの調査エージェントによる精査と、5人の熟練ソフトウェアエンジニアによる独立したダブルチェック（二重確認）を実行し、エラーの再現性と判定の正確性を担保した結果、全体の約34.1%に不適切な項目が確認されました。

3. 現実世界リポジトリからの自動抽出の限界

SWE-Bench系列は、GitHub上の実際のオープンソースプロジェクトの課題やプルリクエスト（修正依頼）から自動的にタスクを作成しています。しかし、人間同士の曖昧なやり取りを含んだ開発履歴を単純に自動抽出するだけでは、AIモデルを客観的に評価するための厳密かつ、実装方法に依存しないテスト項目を用意することは難しいことが浮き彫りになりました。

安全性の高いAIデプロイ（リリース判断）を行う上で、評価用ベンチマークの信頼性は重要です。今回のOpenAIによる詳細な監査と推奨の撤回は、現在の自動生成されたコーディング評価ツールに限界が来ていることを示しています。今後は、人間が監修し、初めからAI評価用に設計されたよりクリーンなベンチマークの構築が業界全体で求められることになりそうです。

引用元：OpenAI