Вспомни свой привычный рабочий процесс, когда ты сталкиваешься с непонятной ошибкой в коде или пытаешься разобраться в незнакомом графическом пакете. Сценарий всегда один и тот же: ты жмешь сочетание клавиш для скриншота, вырезаешь кусок окна, копируешь портянку логов из терминала, переключаешься в браузер на вкладку ChatGPT или Claude, подробно описываешь контекст и ждешь ответа. Затем возвращаешься обратно, пробуешь предложенную команду, ловишь новый варнинг — и круг повторяется.
Этот чудовищный налог на переключение контекста (context switching) незаметно сжигает до трети продуктивного времени разработчика. О том, как экосистема пытается приблизить модели к операционной системе, мы говорили в обзоре локального ИИ на Mac и автономных ассистентов. Но разработчики нативного приложения Vovy (vovy.ai) решили зайти с другой стороны: они создали экранного агента, который живет прямо в вырезе (notch) дисплея Mac и видит все происходящее на твоем мониторе в режиме реального времени.
Архитектура интеграции с macOS: как Vovy считывает экран
В отличие от веб-оберток на Electron, Vovy спроектирован как нативное приложение для macOS с глубокой интеграцией в системные API Apple. Его работа опирается на две фундаментальные технологии операционной системы:
- Screen Recording API и Vision Pipeline: приложение непрерывно захватывает кадры дисплея с минимальной нагрузкой на процессор за счет аппаратного ускорения чипов Apple Silicon (M1–M4). Визуальная мультимодальная модель анализирует геометрию окон, шрифты, пиктограммы и текущее положение курсора мыши.
- Accessibility API (дерево AXUIElement): чтобы не полагаться исключительно на пиксельное зрение, Vovy опрашивает дерево специальных возможностей macOS. Это дает модели точную семантическую структуру интерфейса: где находится текстовое поле, какой заголовок у активной вкладки, какие пункты меню сейчас кликабельны и заблокирована ли кнопка отправки формы.
Вызов ассистента привязан к глобальному сочетанию клавиш Fn + Control. По этому шорткату из верхней панели выпадает аккуратный полупрозрачный интерфейс, который мгновенно накладывается поверх любого активного приложения — будь то Xcode, Terminal, Figma, Blender или почтовый клиент. Тебе больше не нужно объяснять нейросети, где ты находишься: модель уже видит твою проблему в контексте всего экрана.
Две парадигмы взаимодействия: Learn Mode против Auto Mode
Самое интересное инженерное решение в Vovy — четкое разделение сценариев взаимодействия на два режима. Большинство разработчиков автономных агентов совершают ошибку «все или ничего»: модель либо просто выдает сухой текст в чате, либо грубо отбирает мышь у пользователя. О рисках потери контроля над машиной мы предупреждали в разборе того, как Cursor берет управление компьютером. В Vovy подошли к вопросу куда гибче.
Режим наставника (Learn Mode)
В режиме Learn Mode ассистент выступает в роли живого ментора, сидящего рядом с тобой:
- Вместо того чтобы перехватывать курсор, Vovy рисует поверх активного окна аккуратные полупрозрачные оверлеи: подсвечивает нужные кнопки мягким свечением, рисует направляющие стрелки и выводит контекстные подсказки рядом с элементами.
- Если ты осваиваешь сложный интерфейс (например, развертку UV-сетки в Blender или настройку ограничений Auto Layout в Xcode), модель пошагово ведет тебя по цепочке действий: «Нажми вот эту вкладку слева, затем измени значение Radius на 12 и выбери третий пункт в выпадающем списке».
- Такой подход идеален для обучения: ты не просто получаешь готовый результат неизвестно как, а нарабатываешь мышечную память и понимаешь внутреннюю логику программы.
Режим автопилота (Auto Mode)
Если же перед тобой стоит рутинная, механическая задача, тратить время на которую откровенно жалко, ты переключаешь тумблер в положение Auto Mode:
- Ассистент берет управление системным курсором на себя.
- Опираясь на координаты дерева доступности, Vovy генерирует плавные перемещения мыши, нажимает на нужные кнопки, открывает системные настройки и вбивает текст в поля.
- В базу знаний приложения зашито более 250 готовых рецептов автоматизации: от разрешения конфликтов версий в pyenv и nvm до настройки локального веб-сервера Caddy и выпуска самоподписанных SSL-сертификатов.
Реальный полевой сценарий: распутывание конфликта версий Node.js
Представь классическую боль любого веб-разработчика: ты клонируешь чужой проект из репозитория, запускаешь команду сборки и натыкаешься на бесконечную стену красно-белого текста с ошибками несовместимости версий Node.js и нативных бинарных модулей node-gyp.
Вместо того чтобы гуглить обрывки ошибок на Stack Overflow:
- Ты нажимаешь
Fn + Control, не покидая терминал. - Спрашиваешь голосом или текстом: «Почему проект падает при сборке?».
- Vovy за долю секунды считывает трассировку ошибки прямо из окна консоли, определяет, что проект требует Node.js 18, в то время как в системе активна версия 22, а также замечает отсутствие заголовочных файлов компилятора Python.
- В режиме Auto Mode приложение перехватывает ввод, вбивает команды переключения окружения через nvm, при необходимости подтягивает нужный компилятор через Homebrew и повторно запускает сборку.
- Через сорок секунд проект успешно компилируется, а Vovy возвращает управление курсором обратно пользователю.
Подводные камни, безопасность и приватность экрана
Несмотря на футуристичность концепции, использование экранного агента требует от пользователя повышенного внимания к вопросам безопасности:
- Доступ к Screen Recording и Accessibility: чтобы Vovy мог работать, операционная система требует выдать ему максимальные полномочия в разделе «Конфиденциальность и безопасность». Приложение теоретически может видеть абсолютно все, что попадает в кадр: пароли из менеджеров паролей, номера кредитных карт, приватные сообщения в мессенджерах и API-ключи в открытых файлах конфигурации
.env. Разработчикам приходится безоговорочно доверять политике конфиденциальности сервиса. - Слепые зоны кастомных графических движков: если стандартные приложения macOS (на базе AppKit или SwiftUI) отдают безупречное дерево AXUIElement, то софт с собственным графическим конвейером (на базе Canvas, OpenGL, Vulkan или старых версий Java/Swing) для Accessibility API выглядит как сплошной черный ящик. В таких окнах Vovy вынужден полагаться только на пиксельное распознавание, что неизбежно увеличивает риск промаха по кнопкам.
- Нагрузка на батарею: непрерывный видеозахват дисплея с высоким DPI (Retina) и параллельный запуск нейросетевых моделей для анализа кадра создают ощутимую нагрузку на чипы Apple Silicon, заметно сокращая время автономной работы ноутбука без подключения к розетке.
Vovy демонстрирует важный сдвиг в разработке персонального софта: ИИ перестает быть изолированной интернет-страницей, на которую нужно специально заходить. Он превращается в естественный слой самой операционной системы, стирая границу между мыслью пользователя и ее техническим исполнением.