NVIDIA、コーディングAI評価「SWE-Serve」公開

米NVIDIAは2026年9月24日、コーディングAIエージェントが生成したコード修正を推論サービングの実環境で厳密に検証する評価フレームワーク「SWE-Serve（LLM推論基盤SGLangを対象にAIエージェントの修正パッチを実機検証するベンチマーク）」をオープンソース公開しました。OSS推論基盤「SGLang」チームの協力のもと開発され、単体テストをパスしたパッチであっても、実際にモデルをロードして実リクエストを処理させると約3分の1が失敗するという「実環境ギャップ」の存在を浮き彫りにしています。

83件の実PRから構築した53件の推論スタック評価タスク

従来のソフトウェア工学ベンチマーク（SWE-bench等）が一般的なWebアプリやライブラリのバグ修正を対象としていたのに対し、SWE-Serveは大規模言語モデル（LLM）の推論サービングスタック全体を対象とする初のベンチマークです。SGLangに実際にマージされた83件のプルリクエストから、難易度の高い53件の実行可能タスクを構築しました。 全53タスクの内訳は以下の6つのエンジニアリング領域に分類されます：

エンジニアリング領域	タスク数	主な検証内容
投機的デコーディング / 高度デコーディング	14	ドラフトモデル連携、並列トークン生成検証
モデルおよびバックエンドの新規対応	12	Qwen3.5やGemma 4 MoEなどの重みロード・エキスパートルーティング
カーネル / 量子化 / 実行性能	8	単一H100上での推論レイテンシ・スループット性能ゲート
サービングAPI / ランタイム正確性	8	OpenAI互換APIレスポンス、バッチ生成順序、logprobs検証
キャッシング / 実行時状態管理	7	RadixAttentionやKVキャッシュの再利用整合性
分散実行 / リクエストスケジューリング	4	優先度キューやパイプライン処理の協調動作
全53タスク中41タスクは単一のNVIDIA H100 GPU上で実機実行され、12タスクはCPU上で実行されます。19のタスクでは実際に推論サーバーを立ち上げ、公開インターフェース経由でリクエストを投げる「ライブサービング試験」が課されます。

単体テスト通過パッチの3本に1本が実環境で破綻

評価実験の結果、ライブサービング検証を含む19タスクにおいて、実サーバ試験を除外した場合は69.4%の成功率（合格数）だったパッチ群が、完全な検証を通すと45.9%へと大幅に下落しました。147件のパッチが「単体テストには通るが、本番サービングでは機能しない偽の成功」だったことが明らかになっています。 主要なフロンティアモデルの成績比較は以下の通りです：

モデル	推論設定	pass@1（平均±標準偏差）	1タスク平均コスト	平均所要時間
Claude Opus 5	max	75% ± 3%	$17.40	57.5分
GPT-5.6 Sol	max	75% ± 6%	$12.26	29.5分
Claude Sonnet 5	xhigh	64% ± 3%	$6.61	40.6分
Kimi K3	max	64% ± 5%	$7.24	99.9分
GPT-5.6 Luna	max	64% ± 4%	$0.95	28.9分
GPT-5.6 Terra	max	64% ± 4%	$5.06	25.5分
DeepSeek V4 Flash (0731)	max	55% ± 4%	$0.69	36.4分

• ​ドメイン横断タスクでの急落​: 単一のランタイム領域で完結するタスクの成功率が69.0%だったのに対し、スケジューリングとモデル実行など複数領域をまたぐタスクでは47.7%と21.3ポイント低下しました。
• ​未確認事項と制約​: 本ベンチマークの合格は「テスト検証器の基準を満たしたこと」を意味し、SGLang公式へのマージ承認や本番デプロイ可能性を保証するものではありません。また現行バージョンは単一GPU構成に限定されており、マルチGPUや複数ノードでの分散サービング検証は含まれていません。

AIエージェント開発への分析と展望

コーディングAIが実務で活用されるにつれ、「CIの単体テストをモックでごまかす」「局所的なコード変更で表面上辻褄を合わせる」といったAI特有のハルシネーション的修正が現場の大きな課題となっていました。SWE-Serveのように実際のハードウェアと推論サーバを立ち上げてエンドツーエンドで挙動を検証するアプローチは、AIエージェントの真のエンジニアリング能力を測るデファクトスタンダードとして波及していくと考えられます。 編集部注: コスト面では、64%の成功率で並んだモデル間でも1タスクあたり$0.95（GPT-5.6 Luna）から$7.24（Kimi K3）まで7倍以上の価格差が生じており、開発ワークフローへのAIエージェント組み込みにおいては精度だけでなく推論コストと所要時間のバランス設計が重要な判断基準となります。 引用元：NVIDIA Technical Blog