Anthropic等のAI思考プロセス解読手法が開発

チューリッヒ工科大学（ETH Zurich）と研究機関の共同チームが、AnthropicのClaudeやOpenAIのo1/o3シリーズといった最新AIモデルにおいて、非公開で出力される内部思考プロセス（Reasoning Chain（AIが回答を導き出すために内部で生成する論理ステップ））を外部から解読・盗み見る攻撃手法「Reasoning Decryption」を発表した。

隠された思考トークンの復元メカニズム

最新の推論特化型AIモデル（Reasoning Models）は、ユーザーへの回答を出力する前に、内部で思考トークンを生成して複雑な推論を行う。セキュリティや知的財産の観点から、AIベンダーはこの内部思考ステップを難読化・遮断して非公開にしている。

しかし研究チームは、最終的に出力される公開テキストの確率分布と活性化パターンを多層的に統計分析するサイドチャネル解析を用いることで、遮断された内部思考プロセスを高精度で復元することに成功した。

ユーザーのプロンプト入力から、ベンダー側で遮断された思考トークン生成プロセスを経由し、Reasoning Decryption攻撃による統計分析を経て、最終回答に至る前のAIの内部試行錯誤が高精度で解読される。

研究で浮き彫りになった知的財産と安全性の懸念

この研究により、以下の重大な事実が確認された。

1. ​他社モデルの蒸留・模倣​: 中国系AIモデルが米国トップモデルの思考プロセスを模倣・蒸留して開発されていた痕跡が解読によって特定された。
2. ​ベンチマーク回答の暗記判定​: AIモデルが問題の本質を理解して解いているのか、単にテストの答えを事前学習で丸暗記しているかの内部判断が暴露された。
3. ​安全ガードレールのバイパス​: 拒否反応を示す前の「有害な計画の考案段階」が外部から読み取れてしまうリスク。

未確認事項と対策の動き

AnthropicやOpenAIはこの論文発表を受け、思考プロセスのノイズ付加や暗号化強化などの防御策を検討しているとされるが、完全な遮断が可能かについての確定的な結論は出ていない。

編集部注: AIモデルの「思考の透明性」と「知的財産の保護・安全性の保持」は表裏一体のジレンマである。内部思考が解読可能となったことで、モデルの著作権侵害の立証が容易になる一方、悪用リスクも高まるため、今後のセキュリティ設計に大きな影響を与えることは必至だ。

引用元：GIGAZINE