Google、開発AI評価「Android Bench 2.0」公開

Googleは2026年9月17日、AI開発エージェントの実践的なソフトウェア開発能力を測定するための最新評価ベンチマーク「Android Bench 2.0」を公開した。初版（バージョン1.0）が対象としていた既存リポジトリへのバグ修正や軽微な機能追加といった小規模タスクから刷新され、人間のエンジニアが数日から1週間を費やす「長期タスク（long-horizon tasks）」やゼロからのアプリ構築、クロスプラットフォームアプリのAndroid移植など、高度で複合的な開発作業を対象としている。

単純合否から連続評価へ：多角的なスコアリング

タスクの難易度と範囲が大幅に拡大したことに伴い、Android Bench 2.0では従来の単純な合否判定（Pass/Fail）を廃止し、より精密な連続スコアリング方式へと移行した。

評価指標（完了率：completion rate）は以下の要素を複合的に計算して算出される。

• ​機能性（Functionality）​: 実装された機能が仕様通りに正常動作するか
• ​視覚的忠実度（Visual Fidelity）​: 画面レイアウトやUIコンポーネントが正しくレンダリングされているか
• ​リグレッション（機能退行）の回避​: 新規追加や修正によって既存機能が損なわれていないか
• ​構造的制約の順守​: 指示されたアーキテクチャや制約からの逸脱に対する客観的ペナルティ

最新モデルの評価結果と開発AIの課題

Googleは主要なフロンティアモデルを対象に評価を実施した。評価対象にはGemini 3.7/3.8 Flash、OpenAI GPT-6、Anthropic Fable 5.1、Kimi K3、Qwen 3.8 Maxなどが含まれる。

ベンチマークの首位となったのはOpenAIのGPT-6 Astraであったが、その合格率は​**28%**​にとどまった。従来の小規模タスク主体のベンチマークでは各社モデルが90%台の高スコアを記録していたのに対し、長期タスクにおける難易度の高さが如実に示された結果となった。

評価から得られた主な知見は以下の通りである。

• ​新規作成とリファクタリングの格差​: AIはコードをゼロから新規作成する作業には長けているが、既存コードのリファクタリングや大規模移行では苦戦する傾向がある。成否はコード量ではなくアーキテクチャの複雑性に左右されるためである。
• ​定型変換での強み​: JavaからKotlinへの変換、RetrofitからKtorへの置き換え、ViewModel層の導入といった、決定論的で確立されたパターン変換では高い能力を発揮した。
• ​実行時検証の障壁​: 依存性注入（DI）グラフの欠落など実行時検証を要する問題や、フレームワークの破壊的変更、未公開ライブラリの知識ギャップが生じる領域では大きく性能が低下する。
• ​クロスプラットフォーム移植の壁​: 他プラットフォームからAndroidへの移植を完遂できたモデルは皆無（合格率0%）であり、フロンティアモデルでも完了率は最大80%にとどまる。

バージョン1.0との比較とエージェントハーネス

Android Bench 1.0と2.0の主要な違いは下表の通りである。

評価項目	Android Bench 1.0	Android Bench 2.0
​対象タスク規模​	単一のバグ修正・小規模な機能改善	数日〜1週間の長期タスク（新規アプリ構築・移植）
​採点方式​	合格 / 不合格の二値判定	機能性・UI再現性・非退行を含む連続完了率
​最上位モデル通過率​	90%台（性能飽和）	28%（GPT-6 Astra）
​評価対象システム​	単体のLLM推論	ハーネスと連携した自律エージェント

また今回の検証では、Google Antigravity上のGemini 3.8 Flashや、Codex上のGPT-5.6 Solのように、各社が提供するエージェントハーネス（実行環境・ツール連携機構）上で評価が実施された。Googleは「ハーネス設計そのものが開発者の成果に大きな好影響を与える」と指摘しており、今後は異なるモデルとハーネスの組み合わせによるクロス評価も進める予定としている。

モバイル開発におけるAIエージェント実用化への示唆

従来のコーディングベンチマークが飽和しつつある中、Android Bench 2.0はモバイル開発特有のUI描画、ライフサイクル管理、複雑な依存関係を含む現実的な開発課題を提示した。

AIを真の「開発パートナー」として自律稼働させるためには、単なるコード補完精度の向上だけでなく、実行時エラーの自律修正やアーキテクチャ整合性を維持できる高度なエージェントハーネスの整備が不可欠であることを示す指標となっている。

引用元：9to5Google