GoogleがGemini 3.5にPC自律操作機能を追加した

米Googleは、同社の主要AIモデルである「Gemini 3.5 Flash」に、画面情報を認識してマウス操作やキーボード入力を自律的に行う「コンピューター使用」機能を内蔵ツールとして追加したと発表しました。開発者や企業は「Gemini API」および「Gemini Enterprise Agent Platform」を通じて、自律型PC操作アシスタントの構築を開始できます。

1. 一つのモデルによる自律アクションの完結

Gemini 3.5 Flashは、ブラウザ、デスクトップ、モバイルなど様々な画面を画像として認識し、そこから次に取るべきクリックや入力といったアクションを考え、実行する一連のサイクルを同一モデル内で処理します。これにより、ソフトウェアの自動回帰テストや複数アプリをまたぐ長時間のデータ転記ワークフローを容易に自動化できます。

2. 敵対的トレーニングと安全対策

動作中のAIアシスタントが悪意あるWebページや文書を開くことで発生する「間接的なプロンプトインジェクション」を防ぐため、モデル自体に標的型の敵対的トレーニングを施しています。また、機密操作やデータの削除を伴う場合に「ユーザーの同意」を必須にするチェック機能や、不審な命令を検知した際にタスクを自動停止する検知機能を導入しています。

「Gemini 3.5 Flash」へのコンピューター使用機能の統合は、これまで一部の限定的なAIモデルでのみ検証されていたPCの自律操作が一般化していく契機となります。セキュリティ対策もしっかりと設計されたことで、企業の業務フロー自動化が一気に加速し、定常的な知的労働におけるAIのアシスタント効果が飛躍的に高まることが見込まれます。