macOS用CodexにPC操作の再現機能が追加された

OpenAIは、コーディングおよびオフィス業務の自動化を支援するAIエージェントアプリ「Codex」のmacOS版において、新たな機能「Record & Replay（記録と再現）」をリリースしました。この機能により、ユーザーがPC上で行う一連の操作を一度AIに見せて実演するだけで、Codexがそのワークフローを学習し、再利用可能な「スキル」として保存。以降は、人間の介入なしにそのタスクを完全に自動で再現・実行することが可能になります。

1. 「Record & Replay」の仕組み

この機能を利用するには、CodexがPC画面を認識して直接操作する「Computer Use」機能が有効になっている必要があります。ユーザーがデモンストレーションを行うと、Codexはマウス操作やキーボード入力を記録するだけでなく、その意図やプロセスを「スキル」として抽象化して保存します。なお、この新機能は、EU、英国、およびスイスでは現時点で未提供となっています。

2. バージョンアップに伴う機能追加

最新バージョン（Ver. 26.616）では、自動化履歴の一括操作機能が追加されました。また、ローカルマシンとリモートの接続先マシンの間で実行中のスレッド（会話やタスクのコンテキスト）を引き継ぐ「ハンドオフ」機能も導入され、デバイスをまたいだタスクの継続実行が容易になりました。実際にこれらの自動化機能を利用するには、有料のChatGPTアカウントが必要です。

OpenAIのCodexに搭載された「Record & Replay」は、プログラミングやRPAの専門知識を持たない一般ユーザーであっても、日常の煩雑なルーチンワークを極めて容易に自動化できる道を開くものです。「一度手本を見せるだけ」という直感的な指示方法は、人間とAIエージェントの協働プロセスを大きく進展させる可能性を秘めています。