Google、Gemini Liveに視覚支援機能を追加

米Googleは、Android向けAI「Gemini」の自然対話機能「Gemini Live」において、カメラ映像から周囲の状況を把握して音声で支援する新機能「Guided vision（日本語名: Gemini Live シンプルガイド）」の展開を開始しました。2026年9月版「Android Drop」で予告されていた機能で、Android 9.0 Pie以降を搭載する端末を対象に順次提供されます。視覚障害者や弱視者がスマートフォンを通じて日常の行動をより自立して行えるよう設計されています。

カメラ共有による音声案内と位置調整ガイド

「Guided vision」は、「Geminiの設定」から機能を有効化することで利用できます。機能有効時にはGemini Live画面の左上に専用アイコンが表示されます。

ユーザーがスマートフォンのカメラを共有すると、Gemini Liveがリアルタイムに画角内の状況を識別し、音声で解説を行います。

• ​文字やラベルの読み上げ​: 細かい食品ラベルや説明書きの朗読、薄暗いレストランでのメニュー読み取り
• ​家庭内オブジェクトの識別​: 周囲の物品の配置や種類の判別
• ​カメラ位置の誘導ガイド​: 画角が外れている場合、「もう少しカメラを右に向けてください」「対象物を中央に収めてください」など、空間をパン（水平移動）させて最適な位置に調整する音声案内を実施

従来の静止画キャプションとは異なり、利用者がカメラを動かしながら双方向に対話できる点が特徴です。

利用条件と日本国内ユーザーへの影響

日本のユーザーが本機能を利用する際の提供要件および留意点は以下の通りです。

項目	詳細・対応状況
​対応OS要件​	Android 9.0 Pie 以降のデバイス
​提供形態​	Google Play経由のGeminiアプリアップデートによる順次ロールアウト
​利用設定​	Geminiアプリ内「Geminiの設定」から手動でオンにする必要あり
UI表示​	機能動作中はLive画面左上にシンプルガイド専用アイコンが常時表示
​未確認事項​	日本語音声による空間ガイダンスの最適化水準およびPixel以外の他社製Android端末での完全な動作保証

分析・展望

編集部注: これまでのスマートフォン向け視覚支援AIは、撮影した静止画に対してキャプションを付与する静的なアプローチが主流でした。これに対しGemini Liveの「Guided vision」は、カメラを向け続けるだけでリアルタイムに音声対話が行われ、さらに「カメラの位置調整」までAI側から促す双方向性を備えています。これは、AIが単なる質問応答にとどまらず、利用者の「目」として協調動作するエージェント型支援への大きな転換点と言えます。

引用元：Jetstream | Google