AI関連の最新ニュースをピックアップ
Anthropicは、米商務省の輸出規制解除を受けてグローバルに再展開された「Claude Fable 5」の安全性に関して、2つの重要なサイバーセキュリティ対策を公表しました。1つ目は、悪意ある使用を検知・ブロックする「安全分類器(safety classifiers)」の具体的な境界線定義です。2つ目は、AIの安全性規制を突破する「ジェイルブレイク(脱獄行為)」の深刻度を評価する業界標準フレームワークの初期草案(ドラフト)です。これらを公開することで、AI開発者や政府、研究者の間で共通の安全基準に関する議論を活性化させる狙いがあります。
サイバーセキュリティ分野の能力は、攻撃と防御の双方に使える「二重用途(dual-use)」の特性を持ちます。Anthropicは、Fable 5に搭載された安全分類器のブロック・監視基準を以下の4つのカテゴリに定義しています。
特に, Fable 5では悪意あるプロンプト(指示文)を通さないよう、従来のモデルよりも「安全マージン(safety margin)」を広く設定し、境界線上のグレーな要求も慎重にブロックする仕様にしています。

ジェイルブレイクが成功した際の深刻度を判定するため、Anthropicは「Cyber Jailbreak Severity (CJS) Scale」と呼ばれる5段階(CJS-0~CJS-4)の評価基準を提案しました。このレーティングは以下の4軸に基づいて算出されます。
これらを総合して深刻度をスコアリングし、最も重大な「CJS-4 (Critical)」では、攻撃防止機能が完全に無効化され、甚大な被害を引き起こす能力が誰もが利用可能な状態に陥ることを指します。
Anthropicは、これらのセキュリティ基準を標準化するため、業界パートナーのGlasswingらと連携してフレームワークの構築を進めています。また、Fable 5に潜むサイバー脱獄の脆弱性を発見・修正するため、セキュリティ研究者向けのバグバウンティプログラム「HackerOne program」を新たに開始しました。同社は、攻撃的な悪用を未然に防ぎつつ、防衛側のサイバーセキュリティ能力を高めるために、業界と政府が足ないし揃えて共通の「安全指標」を持つことが不可欠であると訴えています。
引用元:Anthropic