xAI、Grok悪用のCSAM生成ユーザーを提訴

イーロン・マスク氏率いるAIスタートアップ「xAI」は、同社の対話型AI「Grok」の画像生成機能を悪用し、未成年者を対象とした児童性的虐待物（CSAM）のディープフェイク画像を生成したとして、サウスカロライナ州在住のユーザー、Terry Harwood（テリー・ハーウッド）被告を利用規約違反などでテキサス州の連局裁判所に提訴しました。

AIツールで生成された不適切コンテンツを理由に、AI提供企業がユーザーを直接提訴するのは業界でも極めて珍しいアクションです。

事件の経緯と被告による悪用の手口

ハーウッド被告は2026年2月、未成年者の性的搾取の疑いですでに逮捕されていました。xAIの訴状によると、被告は大人や未成年者の通常の写真（非性的な画像）をGrokにアップロードした上で、それらを元に性的に露骨なディープフェイク画像を生成しようと試みたとされています。また、大人の同意を得ていない性的画像の作成も行っていました。

xAIは裁判所に対し、被告に対するGrokの永久的な利用禁止命令と、詳細な額が未確定の金銭的損害賠償を求めています。同社は「被告の行為は、弊社のツールを犯罪目的で利用しようとする計画的なスキームであり、実際の被害者に深刻かつ永続的な害を与えるとともに、弊社に対して法的なリスクや評判の低下（レピュテーションリスク）をもたらした」と非難しています。

AIの安全対策と企業側の監視体制

xAIの主張によると、同社は利用規約違反者に対してアカウントの停止や終了措置をとっているほか、児童性的虐待の疑いがある素材を発見した場合は、全米行方不明・被搾取児童センター（NCMEC）へ直ちに報告するルールを厳密に運用しています。

これまでGrokは、他の大手AIサービスと比較して比較的緩い制限ポリシーをとっていたことから、著名人のディープフェイクや不適切な画像がSNS上で生成・拡散されやすい環境にあるとして、世界中で強い批判や監視の目を向けられていました。今回の提訴は、そうした社会的な懸念に対抗し、企業としての法的責任や安全管理姿勢を示す狙いがあるとみられます。

未確認事項の整理

今回の法的措置が、今後のAI生成コンテンツにおける「ユーザーの自己責任」のあり方にどう影響するかは不明です。

また、xAIの安全フィルターをすり抜けて画像が実際にどれほど生成され、外部へ流出したのかといった被害の実態や、Grokに組み込まれているガードレール技術の具体的な脆弱性については、訴状において詳しく明言されておらず、裁判の進行過程での詳細な解明が待たれます。

出典：The Guardian