アリババ、GUI操作基盤モデル「Qwen-UI-Agent」公開

Alibaba（中国の大手テクノロジー企業）のQwenチームは2026年8月20日、スマートフォンやデスクトップPC、Webブラウザの画面を認識して自律的に操作するGUI（グラフィカル・ユーザー・インターフェース）エージェント基盤モデル「Qwen-UI-Agent（Alibabaが公開した実機GUI自律操作に特化したマルチモーダルAIモデル）」を公開した。シミュレーション環境に依存せず、実機ハードウェア上で学習された実践的な操作能力を提供する。

100台以上の実機検証と主要ベンチマーク実績

Qwen-UI-Agentの最大の特徴は、合成データやシミュレーションだけでなく、100台以上の物理スマートフォンと150以上の実アプリケーションを用いた専用テスト環境で訓練された点にある。実機の描画遅延やアプリの状態遷移に対応できる頑健性を備えている。

主要なベンチマーク評価における成果は以下の通りである。

評価領域	ベンチマーク	記録スコア・成果	特徴
モバイル操作	MobileWorld	82.1%	従来のマルチモーダルエージェントを上回る実行精度
デスクトップ操作	OSWorld-Verified	79.5%	PC環境でのタスク完遂能力を実証
Webナビゲーション	WebArena	オープンモデル中​​第1位​	ブラウザ上の複雑な探索・フォーム操作に対応
操作効率化	OSWorld-v2	58%削減​	従来ベースラインと比較して実行アクション数を大幅短縮

画面上の高解像度ディスプレイを解析し、タップやクリック、テキスト入力、複数指のジェスチャー、スクロール操作などを人間同様の精度で実行できる。

多層ガードレールと人間参加型安全機構

安全な自律運用のために、Alibabaはモデル内部に多層のセーフティガードレールを実装している。

• ​高リスク要求の自動拒絶​: システム改変や不正アクセスの疑いがある指示を検知し、処理を中断する。
• ​重要操作での確認停止​: モバイル決済や送金、大量ファイルの削除、システム権限の付与など、機微な操作を実行する直前にユーザーへ明示的な承認を要求する。

さらに、Alibabaは本モデルの推論コード、ベンチマークデータセット、技術レポートをオープンソースコミュニティおよび研究者向けに公開している。

日本の事業者への影響と未確認事項

これまで自律エージェントの導入において、シミュレーション環境と実機運用のギャップが大きな障壁となっていた。Qwen-UI-Agentの登場により、モバイルアプリの自動テストやWeb巡回業務の自動化を検討する日本の開発者にとって、実用性の高いオープン基盤モデルの選択肢が加わったといえる。

一方で、日本語UI環境における認識精度や文字入力の安定性、商用利用時のライセンス適用条件については、今後の検証が必要な未確認事項である。

分析と展望：シミュレーションから実世界グラウンディングへ

AIエージェントの研究開発は、仮想環境内のハイスコア追求から、物理デバイスでの実用性重視へとパラダイムシフトが進んでいる。Alibabaが実機100台の検証環境を構築してモデルを最適化したアプローチは、今後のGUIエージェント開発における新たな業界標準となる可能性がある。

引用元：pandaily.com