マイクロソフト、強化学習基盤Agent Lightning公開

米Microsoftの研究部門Microsoft Research Asia（MSRA）は、本番運用で使用しているエージェント構造（ハーネス）を改変せずにそのまま強化学習へ接続できる軽量訓練基盤「Agent Lightning v1.0（実運用ハーネスを直接強化学習に接続する軽量エージェント訓練基盤）」をオープンソースで公開しました。従来の強化学習フレームワークのように訓練専用にエージェント内部のループ処理を再実装する負担を解消し、実環境と同じ振る舞いを維持したまま継続学習を行える新パラダイム「Harnessed Agentic RL」を提唱しています。

実運用ハーネスをそのまま訓練する「Harnessed Agentic RL」と3,500行の構成

従来のエージェント向け強化学習（verl、AReaL、slimeなど）では、環境とのやり取りループ全体を訓練システム側が管理する前提となっていました。しかし、mini-SWE-agent、OpenHands、Claude Code、Codexといった実践的なコーディングエージェントは、固有のコンテキスト管理やツール呼び出し規約、実行論理を備えており、訓練枠組みに合わせて再実装すると挙動の乖離や多大な開発コストが発生していました。

Agent Lightning v1.0は、エージェントと基盤モデルの間にOpenAI互換のLLMプロキシを配置する設計を採用しました。既存のエージェント側ではモデルの呼び出し先エンドポイントを本基盤に向けるだけで接続が完了します。コード全体は約3,500行と極めて簡潔に抑えられており、主に以下の3つのコンポーネントで構成されます。

• API Gateway: ロールアウト（試行履歴）、モデル、イベントを記録し、OpenAI互換のLLMプロキシとして機能。プロンプト、応答、学習用ログ確率を保持。
• Rollout Controller: エージェントの実行を制御。ローカルプロセスまたは標準Kubernetesジョブとして管理し、訓練系と実行系を疎結合化。
• Customized Trainer: verlを基盤とし、ロールアウトの完了を待機してサンプルアダプタ経由で学習データを集約・最適化。

外部の有償商用サンドボックス（Modal SandboxやE2Bなど）に依存せず、標準のKubernetesクラスタ上でエージェントを自律実行できるため、自社インフラやオンプレミス環境でも低コストに大規模ロールアウトを実施できます。

Collocated Async RLによるGPU共有とSWE-benchでの検証

エージェントごとの実行時間は大きくばらつくため、全エージェントの完了を待つ同期型強化学習ではGPUに長い待機時間が発生します。一方で完全な非同期型はロールアウト用と更新用で別個のGPUプールを必要とする課題がありました。

Agent Lightning v1.0では、ロールアウトとモデル更新で同一のGPU群を共有する「Collocated Async RL」を導入しました。規定数のロールアウトが集まった段階でゲートウェイが一時的に新規受け付けを停止し、実行中リクエストの終了を待って更新フェーズへ移行します。実験では、同期型強化学習と比較して約2倍のエンドツーエンド高速化を達成しました。

研究チームは検証実験として、SWE-smith、mini-SWE-agent、Qwen3.5-9Bを用いたエンドツーエンドのコーディングエージェント訓練パイプラインを構築しました。公開データセットに基づく約6,000件の訓練サンプルのみを用いた強化学習により、SWE-bench VerifiedのPass@1スコアは41.8%から56.4%へと14.6ポイント向上しました。

独自価値の整理（従来方式との比較と日本の開発者への影響）

エージェント強化学習の導入障壁について、従来のアプローチとAgent Lightning v1.0の違いを整理します。

比較項目	従来の強化学習基盤（verl / AReaLなど）	Agent Lightning v1.0
ハーネスの扱い	訓練フレームワーク内に再実装が必要	実運用の既存コードを改変せずそのまま流用
実行環境	商用サンドボックスAPIへの依存が多い	標準Kubernetesジョブとして自社インフラで完結
コード規模	数万行規模の複雑なフレームワーク構成	約3,500行の理解・改変が容易な軽量コードベース
GPU利用効率	同期待機によるアイドル、または別GPUプール必須	Collocated Asyncにより単一GPUプールで2倍高速化
評価実績	単純なReActループ中心の検証	Qwen3.5-9BでSWE-benchスコアを14.6ポイント改善

日本のエンタープライズや研究開発組織にとっても、自社開発の社内エージェントや業務ワークフロー（Slack・社内API連携など）を訓練フレームワーク向けに書き直すことなく、自社のオンプレミスKubernetesクラスタ上で手軽に継続強化できる利点があります。

分析・展望

編集部注: LLMアプリケーションの主戦場が「単体モデルの推論」から「外部ツールやコンテキストを束ねるエージェントハーネス」へと移行する中、本番環境のハーネスをブラックボックスのまま強化学習ループに組み込める枠組みが登場した意義は大きいです。約3,500行というコードの透明性とKubernetesネイティブな構成は、特定ベンダーのクラウドサービスに縛られずに自社製エージェントを継続改善したい開発者にとって標準的な選択肢の一つになるとみられます。

引用元：Microsoft Research