Компьютерное зрение в смартфонах долгое время оставалось исключительно пассивным инструментом. Чтобы узнать, что перед вами, требовалось навести объектив, нажать на кнопку спуска затвора и отправить статичный кадр в облачный сервис вроде Google Lens. Если нужный предмет оказывался не в фокусе, закрыт бликом или вовсе обрезан краем кадра, система лишь беспомощно разводила руками. Для незрячих и слабовидящих людей эта пассивность превращалась в непреодолимый барьер: как направить камеру на объект, если ты его физически не видишь? Функция Guided Vision в ассистенте Gemini Live предлагает качественно новое решение.
Разработанная компанией Google совместно с экспертами международного сообщества по невизуальной доступности (a11y), система превращает камеру смартфона в интерактивный навигационный прибор с пространственной голосовой обратной связью.
Пространственная координация: как ассистент управляет движениями
В отличие от классического распознавания статичных фотоснимков, Guided Vision непрерывно анализирует потоковое видео с камеры в реальном времени с ультранизкой задержкой. Модель не просто распознает образы, но строит трехмерную геометрическую модель окружения и активно руководит действиями пользователя в пространстве.
Вместо сухого описания кадра ассистент подает точные пошаговые команды естественным голосом:
- «Наклоните смартфон вниз примерно на 10 градусов»;
- «Отойдите на два шага назад — упаковка слишком близко к объективу»;
- «Поверните камеру правее — флакон с каплями находится у самого правого края стола».
Как только нужный объект оказывается в центре композиции и в резкости, ассистент автоматически зачитывает текст: срок годности на упаковке молока, дозировку на коробке с лекарством или состав бытовой химии. Пользователь может в любой момент перебить голосовую реплику ассистента уточняющим вопросом: «Это синяя коробка или зеленая? Какая дата производства указана мелким шрифтом?».
Прикладные сценарии: от быта до промышленного сервиса
Потенциал Guided Vision выходит далеко за рамки чтения продуктовых этикеток. Технология открывает новые возможности в целом ряде жизненных ситуаций:
- Ориентирование в незнакомых пространствах: подсказки при поиске дверных ручек, выключателей, кнопок лифта или свободных мест в зале ожидания;
- Поиск мелких предметов: обнаружение упавших на ковер ключей, монет или очков;
- Технический сервис и монтаж: наведение камеры сервисными инженерами при осмотре труднодоступных коммуникаций, кабельных разводок и маркировочных табличек станков.
Ограничения технологии и баланс безопасности
Несмотря на очевидный технологический прорыв, разработчики Google четко очерчивают границы применимости. Непрерывная передача видеопотока высокого разрешения в облако создает серьезную нагрузку на аккумулятор смартфона и вызывает нагрев корпуса при длительном использовании. Кроме того, система категорически не предназначена для навигации в зонах повышенного риска (на пешеходных переходах, железнодорожных путях или строительных площадках) и не может служить полноценной заменой белой трости или собаки-поводыря.
Guided Vision знаменует важный шаг в эволюции мультимодального искусственного интеллекта: технологии компьютерного зрения перестают быть пассивными наблюдателями и становятся чуткими проводниками, расширяющими физические возможности человека в реальном мире.