H Co、PC自動化操作ツールを公開

AI新興企業のH Companyは、通常のデスクトップ画面をAIエージェントに直接操作させるためのクライアント「HoloDesktop CLI」を発表しました。このツールにより、AIエージェントは画面を視覚的に確認しながら、人間と同じようにマウス操作やキー入力を行えるようになります。アプリ側に専用のAPIが用意されていなくても、任意のソフトの自動操作が可能です。

1. 既存の主要エージェント環境との連携

HoloDesktop CLIは、H Companyが提供するPC操作向けAI「H Agent」をローカル環境で動かすための仕組みです。AIとツールの連携規格であるMCP（Model Context Protocol）、親子関係のエージェントでタスクを委任し合うACP、およびエージェント間連携（A2A）に対応しています。そのため、「Claude Code」や「Cursor」、「Codex」などのAI環境に直接組み込み、協調動作をさせることが可能です。

2. 具体的な開発・テストの自動化とキルスイッチ

例えば、Claude Codeでウェブアプリのコードを変更した後、HoloDesktop CLIにテストを引き渡して実際にログインやフィルター操作を行わせることができます。画面上で見つかったUIバグを再びClaude Codeで修正し、再度HoloDesktop CLIで確認するという連携ループが実現します。推論処理にはH CompanyのAPIを利用するほか、ローカル完結モードも選択できます。安全面を考慮し、Escキーを素早く2回押すだけでエージェントの挙動を即時キャンセルできるキルスイッチが実装されています。

これまでのAIエージェントはテキスト生成やプログラム作成などCUIやAPIベースの処理が中心でしたが、HoloDesktop CLIのような「computer use」機能の登場により、GUIを持つデスクトップアプリケーションの操作全般を自動化できるようになります。これにより、ルーチン作業や品質保証テストの自動化が劇的に進むことが期待されます。