AI関連の最新ニュースをピックアップ
米OpenAIは公式ブログおよびセキュリティ報告を通じ、同社の大規模AIモデルから非公開の保護された思考・推論プロセス(推論トレース(AIモデルが結論に至るまでの思考過程・推論ログ))を不正に抽出する組織的なキャンペーンを特定し、遮断したと発表しました。この活動は「敵対的蒸留(ある高度なAIモデルの出力や推論過程を無断で収集し、別モデルの学習に悪用する手法)(adversarial distillation)」と呼ばれる手法に該当し、中核をなす活動クラスタは中国・北京を拠点とするMoonshot AI(Kimiの開発元)の関連者によるものと分析されています。
OpenAIの公式発表によると、攻撃者は暗号化の破棄やデータベースへの不正侵入を行ったのではなく、モデルとの対話を組織的かつ大規模に操作することで、本来ユーザーには非表示となっている保護された推論を平文形式で再現・抽出していました。
OpenAIは、暗号化された推論を別の会話セッションにコピーして別モデルに復号・転写させる手口(クロスモデル脆弱性)などを確認しており、外部研究者からの責任ある脆弱性開示(Coordinated Vulnerability Disclosure)も受けて対策を急ぎました。
OpenAIが公表した技術的知見および講じられた対抗措置の整理は以下の通りです。
| 観点 | 攻撃手口の技術的特徴 | OpenAIが講じた防御・緩和策 |
|---|---|---|
| 推論抽出の経路 | 別セッションの暗号化推論を再利用し別モデルに復号させる | 暗号化推論を再生(リプレイ)して内容を復元する経路を完全遮断 |
| ストリーミング | 出力ストリームを介して推論データが漏洩するリスク | 推論が露出しうるストリーミング出力を検知・保留するチェック機構を追加 |
| アカウント運用 | 4,000〜15,000規模のアカウント群による分散クエリ | 不正アカウントの一斉停止、サインアップおよびインフラ監視の強化 |
| 業界連携 | 他社モデルへの波及および共有リスク | Frontier Model Forum(最先端AIモデルの安全な開発を目指す業界団体)や政府機関との脅威インフォメーション共有 |
OpenAIは中核クラスタをMoonshot AI関連者と特定したものの、観測された全攻撃者が単一アクターによるものかは断定していません。Moonshot AIを巡っては先月、競合のAnthropicからも「自社サービスKimiのリクエストをClaudeへ転送し、思考連鎖(CoT)モデルの訓練に利用した」として告発(追跡コード: GTG-16002)されており、フロンティアモデルの推論を模倣しようとする動きが常態化している懸念が示されています。
フロンティアモデルの優位性は、最終的なテキスト生成能力だけでなく、複雑な論理的思考や安全フィルタを内部で処理する「推論能力」に集約されつつあります。
敵対的蒸留は、安全性検証やアライメントに巨額のコストをかけることなく高度な能力のみを他国・競合モデルへ横取りするリスクを孕んでおり、単なる利用規約違反を超えて経済安全保障上の深刻な課題となりつつあります。今後は単一プロバイダの防御にとどまらず、モデル間の推論互換性を悪用したリプレイ攻撃に対する業界共通のセキュリティ標準策定が急務となる見込みです。
引用元:OpenAI