GitHub、Copilotでデスクトップ操作機能をプレビュー提供

米GitHubは2026年10月1日（現地時間）、コマンドラインツール「GitHub Copilot CLI（ターミナル上でGitHub Copilotを活用できるコマンドラインインターフェース）」およびmacOS・Windows向けの「GitHub Copilot」デスクトップアプリにおいて、PC上のデスクトップアプリケーションを自動操作できる新機能「Computer Use（AIが画面を認識し、マウス操作やキー入力などを代行するコンピュータ操作技術）」のパブリックプレビューを開始したと発表しました。

GUIアプリのクリック・入力代行とユーザー承認ベースの安全設計

本機能により、GitHub Copilotはユーザーに代わってデスクトップアプリケーションを直接操作できるようになります。

具体的には、アプリケーション内のアクセシブルな要素や画面上の視覚的コンテキストの読み取り、ボタンやコントロールのクリック、テキストの入力・編集、キー入力、画面のスクロールやドラッグ、さらには複数アプリケーションを横断したワークフローの実行に対応します。 これにより、APIやコマンドラインインターフェース（CLI）、あるいは「MCP（AIモデルと外部ツール・データソースを接続する標準プロトコル（Model Context Protocol））」などの連携手段が用意されていないレガシーソフトウェアやGUI専用ツールであっても、Copilotを通じた業務の自動化が可能になります。

自動操作に伴うリスクに対しては、厳格な制御機構が設けられています：

• ​操作前の事前承認​​：Copilotがアプリケーションの操作を開始する前に、必ずユーザーの承認を求める対話フローが組み込まれています。
• ​権限管理とパーミッション​​：常に許可するアプリケーションの設定や見直し、リセットが可能です。macOS環境では、初回利用時に必要となるアクセシビリティ権限および画面収録権限の設定手順が案内されます。
• ​組織ポリシーによる制御​​：企業のGitHub Organization設定により、組織全体で本機能を一括無効化することができます。

利用開始手順は以下の通りです：

• Copilot CLI​：/computer on コマンドで機能を有効化。現在の稼働状態は /computer show で確認でき、/computer off で無効化できます。
• GitHub Copilot アプリ​​：設定（Settings）内の「Computer Use」から「Enable Computer Use」をオンにするか、チャット欄で /computer on を実行します。

具体的な活用シナリオとプレビュー利用時の注意点

GitHubは、望む結果、対象となるアプリケーション、および制約条件を具体的にプロンプトで指示することを推奨しています。 公式アナウンスで示された主なユースケースは以下の通りです：

• ブラウザ上の通知やメッセージの一括要約
• プレゼンテーション資料内の指定コンテンツの更新
• デスクトップアプリ間でデータを転記・移動させる作業（Safariブラウザを用いた経費精算ワークフローの巡回など）

一方で、パブリックプレビュー段階における制約と未確認事項も存在します：

• ​画面解像度や予期せぬダイアログへの耐性​​：予期しないエラーポップアップや動的なUIレイアウト変更が発生した場合のリカバリ能力については検証が必要です。
• ​完全自動化ではなく人間監視が前提​​：重要な操作（削除・送信・購入など）を含む業務では、必ずユーザーが画面遷移と入力を確認しながら承認する必要があります。

分析・展望：コード生成から「OS全体を動かすエージェント」への拡大

GitHub Copilotはエディタ内のコード補完ツールとして始まりましたが、CLI対応、マルチエージェントオーケストレーションを経て、ついに「OS上のGUIアプリケーションを自律操作するエージェント」へと進化しました。

開発者の日々の業務はコーディングだけでなく、ブラウザでのドキュメント確認、チケット管理ツールや社内GUIツールへの入力、デザインツールとの往復など多岐にわたります。Computer Useの導入によって、APIが存在しない社内独自システムや古い開発ツールもAIの自動化パイプラインに組み込めるようになるため、開発者の作業環境全体の自動化に向けた大きな一歩となります。

引用元：GitHub | Tech Insider