AI関連の最新ニュースをピックアップ
AI開発のSkyfall AIは、エピソードのリセットを伴わない、持続的な企業運用シミュレーション環境で 強化学習（AIが試行錯誤を通じて最適な行動を学習する手法）（RL）エージェントの適応性能を測定する新しいベンチマーク「MORPHEUS」を公開しました。従来のRLベンチマークが試行ごとに環境を初期化するのに対し、MORPHEUSは初期化を排除した永続的な世界を提供し、現実のビジネス環境で発生する予測困難な状況変化（非定常環境（時間とともに規則やデータ分布が変化する環境））に対するエージェントの持続的な適応力や忘却、回復力をテストすることを可能にします。
MORPHEUSは、環境の複雑さがエージェントの表現能力を上回るため環境が常に非定常に見えるという「Big World Hypothesis（ビッグワールド仮説）」に基づいて設計されています。本プラットフォームでは、主に以下の2つの独立したエンジンを通じて環境の非定常性を生み出しています。
missing_data）や外部依存関係のエラー（dependency_failure）、レート制限（rate_limit）などを含む11種類の障害を動的に挿入します。障害の頻度は「軽度（5%）」「現実的（8%）」「中程度（15%）」「高頻度（30%）」の4段階から選択できます。MORPHEUSの行動空間は非常に広いため、ゼロからの強化学習は困難です。そのため、本ベンチマークでは独自の2段階初期化パイプラインが採用されています。まず、フロンティアモデルであるGemini 3.1 Proを用いてReActフレームワークで収集した行動軌跡をもとに、Qwen3-14Bを SFT（教師ありデータを用いてモデルを微調整する手法）（教師あり微調整）した共通の初期チェックポイントを作成します。すべての強化学習の実験はこのSFTチェックポイントから開始することで、基本的な業務遂行能力ではなく、環境変化に対する継続的学習能力そのものを評価できるように設計されています。
また、報酬設計には、障害の深刻度、財務予算の達成度、リソース処理能力の3つを統合した複合報酬が採用されています。理論上の最大報酬（障害ゼロ、最小コスト、最大処理効率）の上限値は 0.50 に設定されています。
# 複合報酬の定義（デフォルトの重み：w_f=0.5、w_l=w_p=0.25）
def composite_reward(tickets, actual_cost, planned_cost, units, capacity,
w_f=0.5, w_l=0.25, w_p=0.25):
r_f = -sum(t["severity"] for t in tickets) # 障害イベントシグナル
r_l = clip(1 - actual_cost / planned_cost, -1, 1) # 財務元帳
r_p = clip(units / capacity, 0, 1) # スループット
return w_f * r_f + w_l * r_l + w_p * r_p
MORPHEUS上で、代表的な4つの強化学習アルゴリズム（PPO（強化学習における代表的な方策勾配アルゴリズム）、HER、EWC、LCM）を走らせたベンチマーク結果が公開されています。テストは「構造的な設定変化があるタスク1（dynamic resource allocation）」と「遅延効果を伴うタスク2（scheduling）」で行われました。
| アルゴリズム家族 | 特徴・メカニズム | タスク1の性能 | タスク2の性能 |
|---|---|---|---|
| PPO | 継続的学習メカニズムなし | 基準となる報酬、初期段階でのみ適応 | 基準報酬、初期段階でのみ適応 |
| HER | Hindsight Replayによる体験再生 | 中レベルの報酬 | 最も高い報酬を獲得 |
| EWC | 重みコンソリデーション（制約付更新） | 最も高い報酬を獲得 | 最も速い適応力を示すが、一部で低報酬 |
| LCM | 潜在コンテキストモデル（環境のモデル化） | 最も速い適応力 | 遅延報酬下では優位性を発揮せず |
評価実験では、いずれのアルゴリズムも理論上のパフォーマンス上限（0.50）を大きく下回る結果となりました。また、特定のタスクで適応が最も早かったLCMが遅延効果のある別のタスクでは優位性を失うなど、あらゆる指標で他を圧倒する単一の手法は存在しないことが判明しています。特にPPOやHERは最初の環境変化には適応したものの、その後の環境変化には追従できないといった課題が浮き彫りになりました。
日本の開発者への影響：
MORPHEUSの評価用コードはオープンソース（Skyfall-Research/morpheus-evals）として公開されています。各環境はTypeScriptのワールドプラグイン形式で実装されているため、Web系技術に馴染みのある国内のエンジニアにとっても、独自の障害条件や独自の業務フローを追加するなどのカスタマイズが比較的容易です。これにより、独自のERPや業務自動化エージェントの実用に向けた評価環境として日本国内でも活用が進む可能性があります。
未確認事項と本ベンチマークの制約：
現時点でMORPHEUSが提供する5つのシミュレーション環境のうち、実際に評価が完了して公開されているのは process-outbound と process-inbound の2環境のみです。残り3つの環境における各アルゴリズムの性能特性は未検証です。また、シミュレーションのパラメータや報酬設計の重み（デフォルト値 $w_f=0.5$ など）は学術的な研究変数であり、現実の特定の産業用目標と完全に合致しているかどうかは検証されていません。
MORPHEUSのベンチマーク結果が示す最も重要な知見は、従来の代表的なRLアルゴリズムが、実社会の「リセットされない連続的な業務運用」においては致命的な限界を抱えているという点です。タスク環境が変化した際に、過去の知識を急速に失う「破滅的忘却」や、新たな環境への適応に時間がかかりすぎる「適応の遅れ」が顕著に現れています。 今後は、エージェントが変化を能動的に検知する機構や、事前のメタ学習などを組み込んだ、より動的な継続的強化学習（CRL）手法の開発が必要とされるでしょう。MORPHEUSの提供する永続的なテスト環境は、こうした「現場で使えるエージェント」の開発を加速させる重要なインフラになり得ます。
引用元：MarkTechPost