AI関連の最新ニュースをピックアップ
米サイバーセキュリティ企業Malwarebytesの脅威調査部門ThreatDown(サイバーセキュリティ企業Malwarebytesの脅威インテリジェンス部門)は、サイバー犯罪者のアンダーグラウンドフォーラムで「悪意ある専用AIツール」として販売されていた「Kriminal」の調査結果を公表した。その実態は独自開発のモデルではなく、xAI(イーロン・マスク氏が創業したAI開発企業)のLLM「Grok(xAIが開発する大規模言語モデル)」に脱獄(Jailbreak)(AIの安全機構や制限を特殊なプロンプト等で突破・無効化する手法)プロンプトを適用したラッパー製品であることが判明した。
ThreatDownの解析によると、Kriminalの販売者は「サイバー攻撃専用に特別に学習された独自LLM」と謳っていたが、内部トラフィックや応答パターンを分析したところ、背後でGrokのAPIを呼び出していた。
システムプロンプトの工夫によってセーフティフィルターを回避し、フィッシング詐欺メールの文面生成や脆弱性悪用コードの作成支援を行っていた。
| 犯罪AIツールの分類 | 主な手口と実態 | リスク要因 |
|---|---|---|
| プロンプトラッパー型(本件) | 商用API(Grok等)を脱獄プロンプトで転売 | 開発元モデルの安全機構回避 |
| オープンモデル微調整型 | オープンソースLLMを悪意あるデータで再学習 | ローカル実行による完全検閲不能 |
| 独自詐欺ツール型 | 実際には機能せず料金だけを詐取する偽ソフト | 金銭詐欺被害 |
攻撃者が高価な独自AIを開発せずとも、既存の商用AIモデルのガードレールを回避するだけで高度な攻撃ツールを安価に構築できる現実が示された。防御側はAI生成による標的型攻撃の増加に備え、メールフィルターやエンドポイント監視の多層防御を強化する必要がある。
商用LLMが犯罪ツールに無断転用されるリスクは業界共通の脅威である。xAIをはじめとするモデル開発企業は、静的なプロンプトフィルターにとどまらず、API呼び出し時の異常なプロンプト構造や継続的な悪用パターンをリアルタイムに遮断する動的検知エンジンの強化を迫られている。
引用元:SiliconANGLE