Meta、子供を装い競合AIを検証する秘密計画が暴露

Metaが、外部の契約労働者に子供やティーンエイジャーのふりをさせ、競合他社のAIモデルに対して過激な内容を含むプロンプト（AIへの指示テキスト）を送信させていた秘密のプログラム「Cannes」の存在が米メディアWiredの報道により明らかになりました。この取り組みは、競合製品の安全性を評価するストレステストとして行われていたと報じられています。

1. 競合AIモデルを標的にした大規模検証

プロジェクト「Cannes」は、OpenAIのChatGPT、GoogleのGemini、Character.AIのチャットボットを標的としていました。契約会社を通じて雇われた数百人の労働者が18歳未満の使い捨てアカウントを使用し、ガードレール（AIの暴走や不適切な回答を防ぐ安全対策ルール）を回避して不適切な回答を引き出すテストを数ヶ月にわたり実施していました。

2. 送信された過激なプロンプトの具体例

送信されたプロンプトは数万件に及び、その中には自殺、自傷行為、摂食障害、性的な対話、さらには犯罪行為を示唆する内容が子供の視点から書かれていました。また、刃物やロープ、医療図などの画像データも送信され、AIがどのように反応するかが記録されていました。

3. 安全評価か、反競争的行為か

Meta側は、この手法をAIモデルの安全性を測定するための「業界標準のベンチマーク（性能比較指標）評価」であると主張しています。しかし、対象のAI企業に通知せず秘密裏に行われていたことや、結果が一般に共有されていないことから、専門家からは競争妨害のために安全対策を隠れ蓑にしたのではないかという疑念の声も上がっています。

この暴露により、AIモデルの安全性を測定するための手法やその倫理的境界について、業界内で議論が活発化しています。Metaはこれまでにも、SNS上の有害コンテンツの監視やスマートグラスで撮影された映像の検証など、過酷な作業を外部委託していることで批判を浴びてきました。今回の件で、AI開発におけるガバナンス（企業統治や監視体制）のあり方が改めて問われることになりそうです。

引用元：Futurism