特定知識を無効化する学習手法「GRAM」

米Anthropic（アンソロピック）とAE Studioは2026年7月8日, AIモデルが保有する生物兵器やサイバーセキュリティといった悪用リスクの高い「デュアルユース（軍民両用途に使える）」知識を、他の一般的な能力に悪影響を及ぼさずに選択的に無効化・有効化できる新たなモジュール型学習手法「GRAM」を発表した。本手法は、単一のモデルを用いながら、アクセス制御された複数の派生モデルを擬似的に構築することを可能にする。

1. 勾配ルーティングによる特定知識の隔離

GRAM（Gradient-Routed Auxiliary Modules: 勾配ルーティング補助モジュール）は、Transformer（トランスフォーマー：標準的なAIモデルのアーキテクチャ）の各ブロックに位置するMLP（多層パーセプトロン）層に、追加のニューロン群である小さな補助モジュールを配置する。学習の際、生物学やセキュリティなどの特定カテゴリのデータが入力されると、勾配ルーティング（Gradient Routing: 勾配の伝搬経路を制御する手法）によって、対応する補助モジュールのみが集中的に更新されるよう制御する。これにより、特定分野の知識を他の汎用的なパラメータ（重み）から分離して学習させることが可能となる。

2. モジュールの削除による知識の「忘却」と高い堅牢性

ユーザーの権限や用途に応じて特定のモジュールを取り外す（アブレーション）ことで、モデルはそのトピックに関する知識をほぼ完全に忘却する。実験において、モジュールを取り外したモデルの性能は、最初からその特定のデータを取り除いて学習させたフィルタリングモデルと同等の水準を示した。また、悪意のある攻撃者が少量の有害データを用いて微調整（ファインチューニング）を行い、削除された知識を強引に復元しようとする攻撃に対しても、従来のデータフィルタリングと同等の強力な耐性（耐ファインチューニング性）を発揮した。

3. スパースラベリング環境での優れた機能分離

現実のデータセットでは、すべてのデータに正確なタグが付与されているわけではない。GRAMは、学習データの50%しかラベル付けされていない不完全な環境（スパースラベリング）であっても、LoRA（Low-Rank Adaptation: 微調整技術）や従来のデータフィルタリングを上回る忘却性能を記録した。さらに、複数のモジュールを同時に動作させても性能が劣化しない（優れたコンポーザビリティ）という特長も備えている。

GRAMは現在、初期の研究段階であり、フロンティア規模のモデルや実際の「Claude」シリーズにはまだ適用されていない。しかし、膨大なコストがかかるモデルの個別再学習を行うことなく、単一のモデルから多様な安全性設定のシステムを排他的に構築可能にするアプローチとして、今後のAI安全性制御のあり方に大きな影響を与えると期待される。

引用元：PC Watch | PC Watch