Google、AI評価「Android Bench 2.0」公開

米Googleは、大規模言語モデル（LLM）や自律型AIエージェントのAndroidアプリケーション開発能力を測定する最新ベンチマーク「Android Bench 2.0」を公開しました。従来の単一関数のバグ修正や小規模なコード変更を中心とした評価から、人間のエンジニアが数日から1週間程度を要する複雑な長期タスク（Long-Horizon Tasks：LHT）を課す実践的な仕様へと大幅に刷新されています。この難易度引き上げに伴い、従来タスクで約91％に達していた最高通過率は、今回の長期タスク群では約28％へと急落しました。

0か1かの合否判定を廃止し「完了率」による連続評価へ

新ベンチマークでは、従来の二者択一によるバイナリスコアリング（合否判定）を廃止し、機能性、UIの忠実度、リグレッション防止などを総合評価して連続的な達成度を測る「完了率（Completion Rate）」が導入されました。たとえば、宣言型UIツールキット「Jetpack Compose」へのリファクタリングやDBテーブル設計で要求の90％を満たしていれば、軽微なエッジケースの検証に失敗しても部分点が与えられる設計です。

評価結果からは、AIモデルの明確な特性が浮き彫りとなりました。モデルの規模を問わず、AIは新規コードのスクラッチ作成や、手法が確立された確定的な変換処理（JavaからKotlinへの変換、RetrofitからKtorへのHTTPクライアント置換など）では8000行超のコードベースでも安定した能力を示しました。一方で、既存の複雑なアーキテクチャのリファクタリングや、未公開ライブラリなどの「知識の空白」に直面するタスクでは性能が大幅に低下し、クロスプラットフォームアプリのAndroid移植は最先端モデルでも完了率80％にとどまりました。

また、本バージョンからは開発環境と組み合わせた「エージェント評価」も組み込まれ、長期タスクにおいてOpenAIの「GPT-6 Astra」が最高通過率28％を記録して首位となりました。

独自価値の整理（旧世代ベンチマークとの設計思想比較）

評価項目	従来のAndroid Bench	Android Bench 2.0
​想定作業規模​	数分〜数時間の局所的バグ修正・小規模改修	数日〜1週間の長期タスク（LHT）
​主なタスク内容​	単一ファイルや関数の修正、限定的テスト	依存関係更新、40画面規模のリファクタリング、Android移植
​評価採点方式​	バイナリ合否判定（全通過で合格・それ以外は0点）	機能性・UI再現度・リグレッションを考慮した連続完了率
​評価対象形態​	単体LLMのプロンプト応答中心	IDEやツールを操作するAIエージェント環境（Antigravity、Codex等）
​最高通過率水準​	約91%（フロンティアモデル）	約28%（GPT-6 Astraが首位）

分析・展望

編集部注: 従来のコーディングベンチマークは、単純なコード補完や競合プログラミングの正答率を競うものが多く、現場のエンジニアが日々直面する「大規模レガシーコードの保守やフレームワーク移行」の実態を反映できていませんでした。Googleが連続スコアリングとエージェント環境を導入したことは、AIベンチマークが「実用的な開発力測定」へと成熟し始めたことを示しています。通過率28％という急落は、AIコーディング支援が依然として「人間の設計判断とレビュー」を不可欠としている現実を裏付けています。

引用元：＠IT