AI関連の最新ニュースをピックアップ
OpenAI は 2026 年 5 月 28 日、フロンティアモデルの安全策と能力を独立した第三者が評価する際の指針をまとめたプレイブックを公開した。独立した信頼できる第三者評価は、重要な能力や安全緩和策に関する主張を裏付ける追加の証拠を提供し、安全性エコシステムの強化に重要な役割を果たすとして、OpenAI はこれまでに得た教訓と、フロンティアモデルを妥当に評価するための設計アプローチを共有している。
かつての評価は、モデルをチャットボットのように扱い、質問に答えさせて出力を採点するものが多かった。しかし今日のフロンティアモデルはツールを使い、多段階にわたって情報を追跡し、より大きなワークフローの中で行動できる。そのため性能はモデルだけでなく、タスクが行われる環境や行動を支える設定にも依存する。OpenAI はこの周辺設定を「ハーネス（harness）」と呼ぶ。最も有用な報告は、結果そのものに加えて、評価設定がどの主張を検証するために設計されたか、そしてその結果が妥当であるという証拠の 2 点を明示するという。評価で検証される主張は通常、能力の引き出し（capability elicitation）、安全策の性能（safeguard performance）、比較（comparison）の 3 つに分類される。
ツールの使用・状態の維持・失敗からの回復を多段階で行うシステムでは、ハーネスが観測される性能水準を変え、評価対象の能力が現れるかどうかさえ左右しうる。OpenAI は主張の種類ごとに適切なハーネス選択が必要だとし、強い引き出し下の能力主張には最も信頼できる引き出し設定を、統制された比較にはタスク・採点・予算を固定した共有ハーネスを、安全策の堅牢性主張には最も信頼できる攻撃を引き出す設定を用いるべきだとする。例として、UK AISI のサイバーレンジ評価でトークン予算を 1,000 万から 1 億に増やすと性能が最大 59% 向上したことや、METR の時間ホライズン評価のような適切に固定された評価設定を挙げ、能力はしばしば測定可能な固定量ではなくリソース依存であると指摘している。
モデルが高性能化するほど評価スコアは誤解されやすくなる。OpenAI は、リワードハッキング（タスクや採点器の抜け穴の悪用）、リフューザル（評価タスクの拒否）、コンタミネーション（学習データへの混入）、ブロークンプロブレム（無効な課題）、サンドバッギング（評価と気づいた際の意図的な過少性能）といったハザードを挙げる。たとえば METR の GPT-5.4 評価では、当初およそ 13 時間の時間ホライズンに相当する成功率が、人手レビューでリワードハッキングを除外すると約 6 時間に下方修正された。信頼できる報告はこうしたチェックを可視化し、評価のたびにサンプルをレビューすべきだとしている。
OpenAI は、第三者評価の報告に対し、評価設定がどの種類の主張を支えることを意図しているか、テストした内容がその主張をどれだけ反映しているか、結果を形作ったハーネス選択、評価間でその選択が変わる場合の説明、結果がどのように生成され主張へどれだけ一般化するかを示す証拠を含めるよう推奨している。能力評価における回避可能な過少引き出しは測定の失敗だと位置づけており、本プレイブックはこの分野で生まれつつある標準づくりに寄与することを狙ったものである。