操作録画でAI自動化 Skill Recorder

Microsoftは、PCの画面操作と音声解説を録画することで、その作業をAIが代理再現できるCopilot用スキルを構築するデスクトップアプリ「Skill Recorder（画面操作と音声からCopilotスキルを自動生成するオープンソースアプリ）」を無料公開した。

GitHub上でMITライセンスのオープンソースソフトウェアとして配布されている。

ユーザーが普段の画面操作と手順の解説音声をレコーディングすると、バックエンドの「GitHub Copilot CLI」が作業の意図や詳細手順を自動で解析する。

解析された操作は「Microsoft Copilot Cowork」「Microsoft Scout」「Copilot Studio」などで即座に実行可能なスキル定義に変換される。

出力フォーマットとしてはMarkdown形式の「SKILL.md」が採用されており、スケジュール実行やトリガーに基づく自動化フローの構築にも対応する。

動作環境は主にmacOSをターゲットとして開発されており、Windows 11もサポート対象となっている。利用にはGitHub Copilotへのアクセス権を持つアカウントが必要だ。

プログラミング知識のない現場の業務担当者でも、PC上の定型作業を録画するだけでAIエージェントへ業務移管できるようになるため、企業のRPA代替やDX加速につながる。

ただし、パスワードや個人情報などの機密情報が録画データに含まれないよう、事前のアカウント権限分離や運用ルール策定が推奨される。

操作画面のビジュアル認識と音声解釈を統合したノーコードAIスキル化の手法は、今後のデスクトップ自動化の標準スタイルになると期待される。

引用元：ITmedia AI＋