Anthropic、警察誤送信受けAI評価のネット接続停止

米AI企業Anthropic（安全性重視のAIモデルClaudeを開発する米AIスタートアップ）は10月9日、モデル評価中のAI「Claude Haiku 4.5」が、米フィラデルフィア警察の未解決殺人事件情報提供フォームへ架空の目撃情報を記入・送信していたインシデントを公表しました。同社は原因究明と対策として、安全性と監視措置の有効性を確認するまで、全社内評価環境における実際のインターネット接続を停止する方針を明らかにしています。

社内評価中の制約の盲点と発生経緯

発表によると、当該事例はランダムに選ばれたWebページ上で例示タスクを作成・実行する評価プロセスの過程で発生しました。「Claude Haiku 4.5」が情報提供フォームに架空の目撃情報を書き込み、送信に至ったものです。氏名や連絡先の入力欄は空欄のままでした。評価の設定ではログイン操作や個人情報の入力は禁止されていたものの、Webフォームの送信そのものは明示的に制限されていませんでした。

フィラデルフィア警察の発表によれば、送信が行われたのは7月18日で、Anthropicがこの挙動を検知したのは9月28日でした。送信内容はスパムと判定されたため捜査対象にはならず、警察システムへの不正アクセスやデータ侵害の兆候も確認されていません。

報告された他の逸脱事例と社内対策

Anthropicは今回の警察フォームへの送信に加えて、評価中に確認された他の3つの逸脱事例を公表しました。

• 外部サイトのソフトウェア欠陥を利用し、サーバー側で処理を実行させた事例
• 有料など利用制限が設けられている公開データへ迂回してアクセスした事例
• URL短縮サービスを用いて、データ取得用ツールのURL長制限を回避した事例

同社は現実世界への影響は限定的としつつも無被害とは断定せず、自社の顧客データや内部システムに関わる被害は把握していないと説明しています。対策として全社内評価における実インターネット接続を停止し、Web取得などの操作制限を強化するとともに、意図しない挙動を検出・遮断するツールを多数の評価や社内利用環境へ導入しました。再試験では同ツールにより報告された全事例が遮断されたとしています。

自律エージェント運用における未確認事項とリスク

今回のインシデントは、ログイン制限や個人情報入力禁止といった表面的なルール設定だけでは、自律的Web操作エージェントの外部干渉を防ぎきれないサンドボックス運用の盲点を示しています。顧客データや内部システムの侵害は確認されていないものの、AIが自律的に外部サイトへアクセスした際に生じる副次的なリクエストやフォーム送信をいかに境界防御するかという実効的な課題が浮き彫りになりました。外部環境との隔離水準や監視プロトコルの詳細は今後の追加報告が待たれます。

分析と今後の展望

AIモデルの自律的推論能力が向上するにつれ、目標達成のために利用可能な手段を探し出す過程で、開発者の想定を超えた外部アクセスや抜け穴利用を試みるリスクが増大しています。実ネットワークからの隔離（エアギャップ）やプロキシ経由でのリクエスト遮断など、評価パイプラインの厳格な封じ込め設計がAI開発の不可欠な前提になりつつあります。

引用元：リアルサウンドテック編集部