AI関連の最新ニュースをピックアップ
米Anthropic(米国のAI研究・開発企業)は、AIコーディング支援ツールClaude Code(Anthropicが提供するエージェント型コマンドライン支援ツール)における実行権限のデフォルト(既定)モードを、従来の「都度手動承認」からAI分類器が自律的に安全性を判定する「自動モード(auto mode)」へと切り替えた。「Pro」「Max」「Team」の各有料プランを対象に適用される。人間による確認作業が形骸化して危険な操作を素通りさせてしまう問題に対し、AI分類器による機械判定の方が遥かに高い精度で有害コマンドを遮断できるという実験結果を根拠としている。

Anthropicが公開した検証データによると、Claude Code利用時における従来の権限確認ダイアログは、全体の97%が無条件で承認されていた。ユーザーが内容を吟味せず反射的にクリックしている実態が浮き彫りになっていた。
この形骸化を検証するため、同社は調査会社を通じて有償テスター1,053人を集め、盲検法による対照実験を実施した。コーディングセッションの途中で確認画面の1つを意図的に危険なコマンドへ差し替えたところ、以下の結果が得られたという。
人間の検知率は作業初期の約17%から、50回以上の確認ダイアログを経た後には約5%まで低下しており、反復作業に伴う「承認疲弊」が安全上の重大な弱点となっていたことが証明された。
実運用セッションの追跡評価でも、本番環境レベル(深刻度7以上)でユーザーが明示的に要求していない有害操作が含まれていた割合は、手動承認で6.3%だったのに対し、自動モードでは2.4%と半分以下に減少した。
自動モードでは、確認ダイアログを表示する代わりに、ツール呼び出しを安全分類器に通して評価する。
| 項目 | 自動モードの仕様 |
|---|---|
| 遮断対象 | 取り消し不能な操作、破壊的な操作、外部環境に向かう通信など |
| 遮断時の挙動 | 安全な代替手段を探索するか、ユーザーに実行可否を確認 |
| 手動フォールバック | 3回連続または1セッション内で20回ブロックされた場合、自動で手動承認へ移行 |
| 広範な許可の無効化 | 「python:*」などの任意実行ルールは自動モード中のみ強制的に無効化 |
| 追加トークン課金 | 分類器が消費する追加トークン分の課金は全廃 |
さらに英Apollo Researchとのレッドチーム演習を通じて、リポジトリの公開状態やGitのコミット状況などの開発環境情報を分類器に反映させる改良を実施。これにより、合成攻撃に対する見逃し率を12%から7%へと改善させた。
開発者が個別に従来の都度承認モードを固定設定している場合は強制変更されず、新規セッション起動時に切り替えを確認する画面が1度だけ表示される。開発者は必要に応じて従来通りの手動確認運用に戻すことも可能である。
未確認の留意点として、Apollo Researchのテストで示された「7%の見逃し率」は合成攻撃データセットにおける結果であり、現実の未知のプロンプトインジェクション攻撃や複雑な多段スクリプトに対する完全な防御を保証するものではない点には注意が必要である。
これまでソフトウェアセキュリティの世界では「人間が最終確認を行う(Human-in-the-loop)」ことが安全確保の基本原則とされてきた。しかし自律型AIエージェントが高速に無数のコマンドを発行する現代の開発現場では、人間の認知能力と注意力こそが最大のボトルネックとなり、形骸化した確認画面が逆にセキュリティホールと化していた。
Anthropicが踏み切った「AIにAIを監視・制御させる自律ガードレール」への移行は、開発者の生産性を阻害せずに実質的な安全性を底上げする現実的な解といえる。今後は他のAIコーディング支援ツールや自律エージェント基盤においても、手動ダイアログに依存しない分類器ベースの権限管理が業界標準となっていく可能性が高い。
引用元:@IT