アリババ、GUI操作基盤モデル「Qwen-UI-Agent」を公開

Alibaba（中国の大手テクノロジー企業）は、スマートフォンやPCなどの画面を認識して自律操作するGUI（グラフィカル・ユーザー・インターフェース）エージェント基盤モデル「Qwen-UI-Agent（Alibabaが公開した実機GUI自律操作に特化したマルチモーダルAIモデル）」をオープンソース公開した。シミュレーション環境と実機の性能差を解消し、実世界の複雑なデバイス上で高精度に動作する。

実機100台以上の検証環境とベンチマーク実績

AIbaseの報道によると、Qwen-UI-Agentはモバイル端末、デスクトップ、Webブラウザ、ディープサーチ環境を包括的にカバーするマルチモーダル基盤モデルである。

開発チームはシミュレーション環境での過学習を避けるため、100台以上の実機スマートフォンと150以上の実アプリケーションを用いた実行環境を構築した。400以上のタスクから構成される実機ベンチマーク「MobileWorld-Real」を独自開発し、軌跡収集と強化学習に活用している。

主要ベンチマークにおける検証結果は以下の通りである。

評価領域	ベンチマーク	記録スコア・成果	特徴
モバイル操作	MobileWorld	82.1%	国際的な主要フラグシップモデルを上回る精度
モバイル実機	MobileWorld-Real	92.2%	100台以上の実機テストにおけるタスク成功率
日常操作	Android Daily	ほぼ完全な達成	アプリ間の連携や日常操作を高精度に実行
デスクトップ	OSWorld-Verified	79.5%	ベースラインと比較して実行ステップ数を大幅削減
Web・汎用	WebArena	比較対象モデル中1位	訓練ベースモデルを全面的に凌駕し長尾需要に対応

一括行動出力と安全停止メカニズム

機能面では、通常の画面クリックや入力といったGUI操作だけでなく、コマンドライン（CLI）操作の直接実行にも対応する。1回の推論判断で複数の行動をまとめて出力するバッチアクション機能を備え、実行ステップ数の大幅な短縮と操作の高速化を実現した。

また、安全制御機構として以下の2段階のガードレールが組み込まれている。

• ​不正・高リスク要求の遮断​: 規約違反や危険性の高いタスク要求を検知した場合、即座に拒絶して処理を中断する。
• ​重要操作での人間確認​: 決済処理、データ削除、プライバシー権限の付与など、不可逆または機微な操作を伴うステップでは実行を一時停止し、ユーザーの明示的な承認を待ってから続行する。

さらに、100ステップを超える長期軌跡に対するオンライン強化学習（試行錯誤を通じて最適な行動方針を学習するAI手法）と適応型カリキュラム学習を組み合わせ、複雑な長時間の作業を自律完遂できる。

日本の事業者への影響と未確認事項

Qwen-UI-Agentがオープンソースとして公開されたことで、国内のソフトウェア開発者や自動化ソリューション事業者にとって、実機UI操作エージェントを自社システムに組み込む選択肢が大きく広がった。特にWebブラウザの自動巡回やモバイルアプリのテスト自動化において、シミュレータに頼らない実機検証の効率化が期待される。

一方で、公式リポジトリにおける日本語UI環境での認識精度や特定OSバージョンへの依存関係、商用利用時のライセンス詳細については、今後のコミュニティ検証が必要な未確認事項として残る。

分析と展望：実世界グラウンディングへのパラダイムシフト

従来のGUIエージェントは合成されたシミュレーション環境でのスコア向上に偏りがちであり、実機特有の遅延や描画崩れ、OS差異に対する頑健性が課題となっていた。Alibabaが実機100台以上のデータで学習させたモデルを公開したことは、エージェント技術の評価軸を「シミュレーション」から「実機実用性」へと転換させる契機になるとみられる。

引用元：AIbase