Mercor、AIベンチマークの労働網羅率1割未満と発表

米国のAI研究機関Mercor（メルコール）は、既存の主要なAIベンチマークテストが米国の全労働のうち労働時間換算で1割未満しか検証できていないとする分析レポートを公表した。ソフトウェア開発や法律など一部の高賃金・デジタル業務にテストが偏重しており、実際の経済活動におけるAIの労働代替能力が過大評価されている可能性を指摘している。

29種類のベンチマークとO*NETの1万8797タスクを照合

Mercorは、米国労働省が公開する職業情報ネットワークO*NET（米国労働省が整備する職業分類・職務要件データベース）のデータを活用し、全米923職種・1万8797タスクと、代表的な29種類のAIベンチマークテストの測定項目を照合した。あるタスクに対して5件以上のテスト項目が対応付けられている場合を「十分なカバー」と定義して網羅性を測定している。

調査の結果、923職種のうちタスクの一部でも十分な検証項目が存在した職種は208職種（約22.5%）にとどまった。弁護士やプログラマー、会計士といったデジタル上で完結しやすい知的労働では手厚くテストが整備されている一方、裁判所書記官や法律秘書といった関連職種では検証の割合が急減していた。さらに、トラック運転やプラント操業といった物理世界を伴う職種はほとんど測定対象に含まれていなかった。

項目	調査結果・数値	備考
対象職種数（O*NET分類）	923職種	米国労働市場の全職種
カバーされた職種数	208職種（約22.5%）	5件以上のテスト項目が紐付く職種
在宅勤務可能な業務割合	37%	残り63%は物理環境が関与
労働時間換算の未カバー率	90%以上	既存ベンチマークが未測定の労働時間

Mercorの試算によると、米国で行われる仕事のうち完全に在宅で完結するものは37%にすぎず、残り63%には物理的な環境との相互作用が伴う。労働時間ベースで換算すると、90%以上の実労働が既存のベンチマークではほとんどカバーされていない実態が浮き彫りとなった。

評価バイアスと日本市場における課題

本調査が提起した課題は、ベンチマークスコアの進歩がそのまま実社会でのAI導入効果を保証するわけではないという点にある。AI研究者がテストを設計しやすい領域や、経済規模が大きく高単価な特定職種に開発リソースが集中した結果、現場業務への実効性を測る指標が著しく不足している。

日本の事業者や開発者にとっても、グローバルなベンチマーク結果を鵜呑みにしてAI導入を計画することにはリスクが伴う。特に日本の現場業務では、文書作成だけでなく暗黙知の共有や物理的な対人調整、現場機器の操作が密接に組み合わさっているケースが多い。既存の公開ベンチマークで高得点を記録するモデルであっても、実際の国内業務フローに適用した際には想定通りの効率化が得られない可能性がある。

物理世界タスクの評価と今後の展望

今回の分析結果は、AIモデルの性能比較が「画面内で完結するタスク」から「物理環境と協調するタスク」へと評価軸を広げる転換点を示している。ロボティクスやエージェントAIの発展に伴い、現場作業や複合業務を正しく評価する新たな評価枠組みの構築が急務となる。

編集部注: 既存ベンチマークの偏りは、AIベンダーが特定市場での優位性をアピールしやすい指標を優先してきた開発力学の反映とも捉えられる。今後は単一タスクの正答率ではなく、実環境での複合タスク遂行能力を測る包括的な指標への移行が進むとみられる。

引用元：GIGAZINE