Anthropicが自己改善のリスクを警告

米AIスタートアップのAnthropicは6月4日（現地時間）、AIが自律的に後継モデルの開発を担う「再帰的自己改善（さいきてきじこかいぜん：AIが自律的に後継モデルを設計・改良すること）」に関する考察と社内データをまとめたブログ記事を公開しました。同社によると、2026年5月時点で社内コードベースにマージされるプログラムコードの80％以上を自社AI「Claude」が執筆しているとのことです。AI開発の自動化が急速に進む一方で、AIが人間を介さず自律的に進化し続けた場合、人間の意図とAIの挙動が乖離する「ミスアラインメント（意図とのズレ）」が複利的に増幅して制御不能になるリスクを警告。他社の開発状況を検証できる仕組みを前提に、国際的に協調して開発速度を一時停止・減速できる選択肢（開発減速の選択肢）を構築すべきだと提唱しています。

1. Claudeによる自律開発の実態と生産性の急上昇

Anthropicが開示したデータでは、AIの支援によりエンジニア1人当たりのコード生産量が2024年比で約8倍に達しています。2026年4月には、Claudeが自律的にAPIエラー解消のためのコード修正を800件以上行い、エラー発生率を1000分の1に削減しました。 さらに、AI自身が小型モデルの訓練プログラムを高速化する実験では、2026年4月リリースの「Claude Mythos Preview」が約52倍の高速化を達成しました。熟練した人間の研究者が数時間を費やして約4倍に高速化する成果と比較して、限定的なタスクにおいてはAIが人間の生産性を大きく上回りつつあります。

2. 今後の発展を見据える3つの未来シナリオ

同社はAIの将来像として、以下の3つのシナリオを提示しています。

• ​シナリオ1（進歩の停滞）​: スケーリング（モデルの巨大化）の限界や、半導体・電力供給の物理的制約によって発展が滞る。同社はこの可能性は極めて低いとしています。
• ​シナリオ2（人間が主導する自動化拡大）​: AIが開発作業の大部分を自動でこなすものの、研究の方向性や最終成果の良し悪しは人間が判断する。最も可能性が高いシナリオとされる一方、国家による世論操作やインフラ監視などの悪用リスクが懸念されます。
• ​シナリオ3（完全な自己改善）​: 人間を介さずにAI自身が後継モデルを自律的に設計・改良する。開発のスピードが計算資源の量のみで決定される状態を指し、この段階においてミスアラインメントのリスクが最大化すると警告されています。

Anthropicが最も警鐘を鳴らすのは、AIが自律的に進化を重ねることで人間がコントロールを失うシナリオ3の現実化です。これを防ぐ手段として、同社は他社が同様に開発を減速していると検証できる国際的な合意体制を条件に、自社の最先端モデル開発を一時停止または減速する用意があるという姿勢を明らかにしました。 しかしながら、AIのトレーニング（学習）は軍事活動などと異なり外部から隠蔽しやすく、国際協調によるルール策定や監査体制の構築には極めて高いハードルが存在します。自律的な進化の閾値（限界点）に達する前に、国際的な合意形成をどのように進められるかが今後の大きな焦点になると見られます。