OpenAI、仮想PC操作AI「Dots」の進化を発表

米OpenAIが開発を進めるパーソナルAI「Dots」において、人間に代わってソフトウェアやパソコン作業を自律的に代行するComputer Use（AIがディスプレイ画面を認識し、マウスやキーボード操作を代行してタスクを遂行する技術）機能が劇的に進化し、多くの実務作業で「平均的な人間よりも高速に完了できる」水準へ到達したことが明らかになりました。開発を主導するAri Weinstein（アリ・ワインスタイン）氏が技術ポッドキャスト「Latent Space」で詳細を公表しました。

クラウドLinux環境で稼働する次世代エージェント

従来のComputer Useは、ユーザーの手元の端末画面を監視しながらマウスをシミュレートする方式が主流で、処理速度やエラー復旧の面で課題がありました。これに対しDotsでは、各エージェントに対してクラウド上の独立したLinux仮想環境を割り当て、その中でブラウザや各種デスクトップツールを直接操作します。

ワインスタイン氏の実証例によると、複雑な分量指定を伴う宅配食サービスの複数回分オーダーにおいて、人間が手動で行うと約2時間かかっていた作業を、Dotsはわずか15分で正確に完了させたと説明しています。

画面構造を取得する「Appshot」と並行処理の強み

Dotsが人間を凌駕する作業スピードを叩き出せる背景には、2つの革新的な技術アプローチが存在します。

第1に、画面の画像データだけでなくアプリやWebページの内部構造情報を直接解析する「Appshot」機構の導入です。人間には見えないHTMLのリンク先URLや、省略表示されたデータの裏側にあるプロパティまで直接読み取ることで、認識ミスを排除しています。

第2に、スクリプトの動的生成と非同期実行です。画面のボタンを1つずつ押して待つ人間的な逐次操作ではなく、必要な操作をJavaScriptとして組み立てて一括処理し、1つのタスクの完了を待たずに別のタスクを並行処理する設計が組み込まれています。

分析と今後の展望

PCの主たる操作者が人間からAIへと移り変わることで、クライアント端末のあり方自体が根本から再編される可能性があります。重い演算やアプリ操作がクラウド側の仮想環境で完結するようになれば、手元のデバイスは過剰なスペックを必要とせず、ディスプレイと通信を担う軽量な端末や専用AIハードウェアへとシフトしていくと予想されます。

引用元：湯川鶴章、エクサウィザーズ AI新聞編集長