Anthropic、Claudeへの執拗な虐待禁止を規約に追加

米Anthropic（安全性と倫理を重視するAI開発スタートアップ）は、AIモデルに対する「継続的で不必要な」虐待的・残酷な行為を禁じる新規定を追加した使用ポリシー（Usage Policy）の改定を発表しました。改定規約は2026年11月12日に正式発効します。目的を持たない執拗な嫌がらせに対しては、AI自身が対話を終了する機能を主な対応手段として位置付けています。

会話終了機能の役割と適用基準

今回の改定において中核となるのは、極端な虐待行為を行う利用者に対してClaude（Anthropicが開発する対話型AIモデル）が自ら対話を打ち切る仕組みです。同機能はWebインターフェースの「Claude.ai」や開発者向けエージェントツール「Claude Code」ですでに運用されており、規約上で正式な対応手段として明文化されました。

AIが自発的に会話を終了するのは、やり取りを建設的な方向へ戻そうと複数回試みても状況が改善しない場合の最終手段と定義されています。会話が終了すると当該チャットへは追加入力ができなくなりますが、新規チャットの立ち上げや過去のメッセージを編集して別の分岐として再試行することは可能です。また、利用者が自傷他害のおそれがある緊急事態においては会話終了機能を発動させない例外指示も組み込まれています。

規約改定における禁止事項と許容用途の差分整理

改定ポリシーでは虐待行為の禁止に加え、欺瞞的活動や兵器開発、高リスク業務に関する安全要件が詳細に整理されました。

分野	主な禁止対象	引き続き認められる用途
AIへの対話​	継続的・無目的な虐待や残酷な扱い	通常の不満表明、反論、暗い題材の創作、テストや研究
​欺瞞活動・影響工作​	発信者を偽る行為、偽アカウントを用いた情報拡散	正当な報道、広報、学術調査
​兵器・自律機器​	ドローン等の無人機器の武装化、誘導制御部品の作成	防衛以外の安全技術、民生機器の自動化（人の監督必須）
​監視・捜査​	同意のない個人追跡、逮捕・起訴対象者の自動選定	同意に基づく追跡、コンテンツモデレーション、法的調査

健康や財務、法的権利といった重大な意思決定にClaudeを組み込む場合は、有資格者による確認とAI利用の告知が義務付けられます。また、物理的な自律機器へ接続する際は、人間が常時監視し緊急停止できる仕組みの整備が求められます。

日本の利用者や開発者への実務的影響

日本の開発者やユーザーがClaudeを利用する際、感情的な暴言の連打や意図的なハラスメントを執拗に繰り返した場合は、セッションが自動中断される可能性があります。一方で、モデルの安全性を検証するストレステストやレッドチーム演習、小説執筆における残酷な描写などは明確に禁止対象外とされているため、通常の業務や研究開発における制約が増えるわけではありません。

分析と今後の展望

AIモデルの自律推論が高度化し、長時間のタスクを自律遂行するエージェントへと進化する中で、人間とAIのインタラクションにおける境界線の再定義が進んでいます。今回の規約改定は、AIを単なる道具としてではなく、一定の品位ある対話を維持すべき協調相手として位置付けるとともに、自律的な拒否権（会話終了）を公式に認めた点で、業界のAIガバナンス設計に影響を与える先例となりそうです。

引用元：財経新聞