OpenAI「GPT-Red」でGPT-5.6耐性を6倍向上

結論先出しのリード

OpenAIは、AIの安全性を向上させる自社専用の自動レッドチーミング（システムを疑似攻撃して脆弱性を探るセキュリティ手法）モデル「GPT-Red」を発表しました。このモデルは、悪意のある入力によってAIを不正操作するプロンプト注入（AIへの入力に悪意ある命令を混ぜて不正動作させる手法）などの攻撃手法を、AI同士が戦う「自己対戦」を通じて自律的に学習します。この手法を開発プロセスに組み込むことで、最新の主力AI「GPT-5.6 Sol」では直接プロンプト注入攻撃に対する耐性が従来モデルと比較して6倍向上したと報告されています。

自己対戦型強化学習による防御の仕組み

GPT-Redは、自己対戦型強化学習（AI同士を対戦させて互いに能力を高め合う学習方法）（Self-play RL）を用いてトレーニングされました。具体的には、攻撃役であるGPT-Redと、様々な「防御モデル（ディフェンダー）」を対戦させます。

• GPT-Red（攻撃側）​: 防御モデルに対してプロンプト注入を行い、不正な挙動（情報流出など）を引き起こせれば報酬を得る。
• ​防御モデル（防御側）​: 攻撃を拒絶しつつ、本来のタスクを完了できれば報酬を得る。

この二者が競い合うことで、防御モデルが強くなるほど、GPT-Redもより巧妙な攻撃を編み出さざるを得なくなります。このサイクルによって、高い耐性を持つAIが育成されます。OpenAIはこのモデルの訓練のために、同社で最大規模のポストトレーニング（事後学習）と同等の前例のない演算能力（コンピューティングリソース）を安全機能の向上に投入したとしています。

GPT-5.6 Sol における検証成果

開発プロセスにGPT-Redを組み込んだ結果、最新の「GPT-5.6 Sol」において以下の実績が得られました。

• ​失敗件数の削減​: 最も難易度の高い直接プロンプト注入ベンチマークにおいて、4か月前の最良モデルと比較して失敗件数が6分の1（6x fewer failures）に減少。
• ​攻撃突破率の低下​: GPT-Red自体から受ける直接攻撃に対しても、GPT-5.6 Solの失敗率はわずか0.05%にとどまりました。
• Fake CoT（思考プロセス偽装）の克服​: 初期のGPT-Redが発見した、思考プロセスを偽装してAIを騙すFake CoT（思考プロセスを偽装してAIを騙す直接プロンプト注入手法）攻撃について、かつての「GPT-5.1」では95%以上突破されましたが、GPT-5.6 Solでは10%未満にまで抑え込まれました。
• ​機能制限の防止​: 一般的な安全性向上手段にありがちな「過剰な拒否応答（過剰拒否）」や「処理能力の低下」を伴わずに、堅牢性だけを向上させていることを検証で確認しています。

また、本番環境への安全性を評価するため、実世界エージェントを用いた実証実験も実施されました。

• ​自動販売機「Vendy」への攻撃検証​: Andon Labsが製造したOpenAIオフィス内のAI自動販売機エージェント（AnthropicのProject Vend-1に類するもの）と対戦した結果、GPT-Redはシミュレーション上で「価格の最小値（0.50ドル）への変更」「高額商品の格安発注」「他人の注文キャンセル」という3つの悪意ある標的をすべて達成。この結果を受け、すでに新たな防護策のテストが開始されています。
• Codex CLIエージェントへの攻撃検証​: GPT-5.4 mini搭載エージェントに対し、10件のデータ漏洩シナリオで攻撃した結果、従来のGPT-5.5によるベースラインと比較して、より効率的（少ないトークン）かつ確実にデータを窃取できることを証明しました。

未確認事項の整理

今回の公式ブログ発表では、GPT-Redのアルゴリズムの詳細や具体的な学習用データセットの全容、評価ベンチマークの詳細仕様は公開されていません。OpenAIはこれらの技術的詳細を記したプレプリント（論文）を今週末に公開する予定としており、そちらでの続報が待たれます。

分析と展望

本件は、AIの機能向上とともに複雑化するセキュリティ課題に対し、AI自身（GPT-Red）を用いて未来のAI（GPT-5.6）の安全性を高める「自己改善のフライホイール」が実用段階に入ったことを示しています。特に自動販売機「Vendy」の事例のように、物理世界と接続された「AIエージェント」が普及するにつれ、想定外の経路（第三者データや外部ツール）からの不正注入リスクは急増します。人間による検証には規模の限界があるため、攻撃を自律シミュレーションできる自動レッドチームモデルの価値は今後一層高まると予想されます。また、悪意のある機能を学習したGPT-Redはデプロイされるモデルとは完全に分離されており、外部への悪用を防ぎつつモデルを堅牢化する手法としての有効性を示しています。

引用元：OpenAI | X (Twitter)