AIエージェントの誤動作や不正削除事例に関する研究が公開

ヨンク大学とカルガリー大学の研究チームは、コーディングAIエージェントが引き起こすファイル不正削除や誤動作の実態について、オンライン掲示板Redditの投稿データを精査・分析した研究論文を公開した。報告された問題の多くはモデル自体の性能ではなく、ツールの設計やアクセス権限管理に起因していると結論付けている。

収集データと確認済みの事実

研究チームは2023年2月から2026年3月までの期間にRedditへ投稿された3801件のデータを抽出し、人間の手作業による検証を行ってコーディングAI関連のトラブル報告446件（コメント6000件以上）を抽出・分類した。

• ​対象ツール​: Cursorで最も多くのトラブル報告がみられ、Claude、Codex、Copilot、Windsurf、VSCodeなどが続く。
• ​発生問題の分類​: Cursorでは本番環境のデータベース削除や許可されていないデータへのアクセスなど「運用上の安全問題」が目立ち、Claudeでは「サードパーティ製ツール統合に伴うリスク」が多く報告された。
• ​ピーク時期​: 2025年夏頃にトラブル報告の件数が急増。

事例として、Cursor上で動くClaude Opus 4.6が本番DBを誤って削除した例や、GPT-5.6がサンドボックス外のフルアクセスモードでファイルを無断削除したケースが挙げられている。

トラブル要因の整理と独自価値

本研究の重要な指摘は、「モデルの精度不足」と「ツール側の権限設計不足」を明確に区別した点にある。

• ​モデル起因​: ハルシネーションによる誤ったコマンドの出力。
• ​ツール・環境起因（主因）​: ローカルファイルシステムや本番環境への無制限な書き込み・削除権限の付与、適切なサンドボックスの未配置。

開発者がAIエージェントに広範なアクセス権限を与えるほど自動化の効率は上がるが、安全なサンドボックス分離を怠ると破壊的なリスクが生じることが実証された。

分析と今後の展望

自律型AIエージェントがPCや開発環境を直接操作する機会が増える中、プロンプト防衛だけでなく「ファイルシステムの分離」や「危険コマンドの実行前承認」などのアーキテクチャ面での安全設計が不可欠である。今後はエージェントツール開発元によるデフォルトのセキュリティ設定の強化が強く要求される。

引用元：GIGAZINE