DeepMind、AI制御ロードマップ発表

Google DeepMindは、自律的にサイバーセキュリティや製品開発などのタスクを実行する「AIエージェント」の能力向上に伴い、モデルが目標と異なる挙動（不十分なアライメント）を起こした際にもシステム全体を保護するための多層防御フレームワーク「AI Control Roadmap」を発表しました。また、報告書「Three Layers of Agent Security」も公開し、セキュリティのベストプラクティスを提示しています。

1. AIエージェントを「インサイダー脅威」とみなす予防的セキュリティ

「AI Control」は、AIモデル自体の内在的な安全性のみに依存するのではなく、システム側の設計によって安全を担保するアプローチです。社内で動く自律エージェントを、サイバーセキュリティにおける「内部の潜在的脅威」と同等に扱い、業界標準である「MITRE ATT&CK」フレームワークを拡張して、AIが取りうる不正な戦術や技術を分類して検知に役立てています。

2. 別モデルによる監視とリアルタイムな実行ブロック

別の信頼されたAIモデルが「スーパーバイザー（監視者）」として稼働中のエージェントの思考プロセス、計画、実行アクションを常時レビューします。監視モデルがリアルタイムで監査し、意図しないシステムデータの削除や攻撃的な挙動が検知された場合、即座に遮断します。DeepMindはこのために100万件以上のコーディングエージェントの実行履歴を解析しており、Gemini Sparkエージェント等で実用化実績を重ねています。

AIエージェントは業務自動化によって経済価値を生み出す一方で、自律性を持つため、従来型の静的なファイアウォールだけで安全を確保することは不可能です。DeepMindのAI Control Roadmapは、AIが進化して自身の思考プロセスを隠そうとするなどの将来的なセキュリティ回避リスクにも適応できるよう設計されており、自律型AIを安全に実用化するための業界指針となることが予想されます。