Автоматизация рутины с Codex App: как обучить ИИ-агента действиям на компьютере
Развитие концепции ИИ-агентов — автономных программ на базе нейросетей, способных выполнять цепочки действий, — открывает новые возможности для бизнеса. С выпуском плагина Record & Replay для локального приложения Codex App (платформа для запуска ИИ-агентов на компьютере) автоматизация рутины стала проще: вместо написания кода или сложных промптов пользователь может один раз показать процесс на экране. ИИ-агент запишет эти действия и превратит их в повторяемый навык (reusable skill) для последующего запуска с новыми параметрами.
От промптов к действиям: что такое Computer Use
В основе плагина лежит технология Computer Use (использование компьютера). Этот режим позволяет ИИ взаимодействовать с интерфейсом операционной системы аналогично человеку. Агент делает скриншоты экрана, определяет расположение элементов управления, двигает курсор, совершает клики и вводит текст. Для нетехнического пользователя это означает появление виртуального ассистента, которому не нужны сложные интеграции или открытые API (программные интерфейсы). Если задачу можно выполнить в браузере или приложении кликами мыши, ей можно обучить и ИИ-агента.
Какие задачи можно делегировать ИИ-агенту
Технология ориентирована на рутинные процессы, выполняемые по четкому алгоритму:
- Продажи и CRM: сбор заявок из почты, создание карточек клиентов в CRM, подготовка коммерческих предложений по шаблону, отправка счетов, сверка оплат.
- Маркетинг: ежедневная организация выгрузки отчетов из рекламных кабинетов, сведение KPI в таблицы, мониторинг упоминаний бренда, проверка позиций сайта.
- SMM и контент: публикация видео на YouTube с заполнением тегов, автопостинг Shorts и Reels, модерация комментариев, отправка вебинаров на расшифровку.
- Администрирование: заполнение таблиц Excel, выгрузка заказов с маркетплейсов (например, Wildberries), обновление остатков товаров, сортировка документов по папкам.
Пошаговая настройка и обучение ассистента
Процесс настройки и обучения состоит из пяти ключевых этапов.
1. Подготовка (Prerequisites)
Функция доступна на устройствах под управлением macOS; первичный запуск исключает страны ЕЭЗ, Великобританию и Швейцарию. Перед началом сформулируйте четкий сценарий с измеримым результатом и ознакомьтесь с официальными требованиями Record & Replay. Закройте все лишние окна, мессенджеры и менеджеры паролей. Во время записи запрещено вводить секретные данные (пароли, реквизиты, API-токены — секретные ключи доступа к сервисам), их необходимо держать в тайне.
2. Настройка Computer Use
На локальном компьютере в Codex App откройте Settings, перейдите в Computer Use и нажмите Install для установки плагина согласно инструкции по настройке Computer Use. На macOS выдайте Codex App системные разрешения на Screen Recording (запись экрана) и Accessibility (универсальный доступ) в разделе Privacy & Security. На Windows держите целевое приложение видимым на активном рабочем столе, так как агент работает в фокусном режиме. Для проверки попросите Codex выполнить простое действие, например открыть папку.
3. Подключение Google Chrome
Для задач на сайтах с авторизацией (CRM, почта) подключите Codex к рабочему профилю браузера. В Codex App в разделе Plugins выберите Add Chrome plugin. Установите расширение Codex Chrome extension из магазина Chrome согласно руководству по интеграции с Chrome и убедитесь, что его статус сменился на Connected. При первом переходе на новый сайт подтвердите запрос Codex на доступ к нему (на один чат или навсегда).
4. Запись процесса через Record & Replay
В Codex App в меню Plugins нажмите + и выберите Record a skill. Введите описание задачи, укажите меняющиеся параметры и критерий успеха. Подтвердите начало записи и аккуратно выполните процесс от начала до конца на экране без лишних действий. Закончив, остановите запись через верхнее меню операционной системы. Дождитесь, пока Codex проанализирует видео и сформирует навык (Skill), содержащий шаги и метод проверки.
5. Запуск и верификация
В новом чате Codex App попросите агента выполнить созданный навык, передав новые вводные (например, тему поиска или имя клиента). Во время первого запуска контролируйте действия агента на экране компьютера. После завершения проверьте результат в целевой системе (создан ли файл, ушло ли письмо). При успешном выполнении вы увидите готовый результат в вашей рабочей среде. При необходимости скорректируйте шаги через чат.
Практический кейс: автопоиск контента и отправка в Telegram
Примером работы служит сценарий автосбора информации. Задача — находить на YouTube новые видео по теме и отправлять ссылки в Telegram-бот для обработки.
Во время записи пользователь в браузере Chrome открывает YouTube, вводит запрос (например, «Cloud Code»), выставляет фильтр «За последние 48 часов» и исключает Shorts. Затем он открывает видео, копирует ссылку через кнопку «Поделиться», открывает Telegram, находит бота «Anti-Gravity Cloud» (сервис транскрибации аудио в текст) и отправляет ссылку ему.
После анализа Codex создает навык, запускаемый командой: «Используй навык сбора видео. Найди 3 новых ролика по теме Gemini за 48 часов и отправь их в Anti-Gravity Cloud». В тесте Codex самостоятельно справился с мешающим всплывающим окном, обновил страницу и отправил ссылки. Полученные ботом транскрипты сохраняются в Obsidian — приложение для ведения баз знаний в текстовом формате, где пользователь работает с текстовыми резюме.
Record & Replay против классических скриптов: что выбрать
- Record & Replay эффективнее, если: у программы нет API; процесс требует авторизации в Chrome, которую сложно воспроизвести в коде; интерфейс сайта незначительно меняется (ИИ-агент найдет кнопку по смыслу); автоматизацию нужно настроить быстро и без программирования.
- Классическая интеграция (API, скрипты, MCP) лучше, если: важна абсолютная надежность и скорость (скрипт работает быстрее агента); обрабатываются конфиденциальные данные (API-интеграция исключает передачу скриншотов). Документация OpenAI рекомендует предпочитать структурированные интеграции везде, где они доступны.
Безопасность и контроль: правила работы с локальным агентом
- Конфиденциальность: Не запускайте запись на экранах с личными переписками или паролями. Перед записью переведите приложения в режим скрытия личных данных.
- Подтверждение критических действий: Для отправки писем, проведения платежей или изменения CRM настраивайте подтверждение шагов. Агент должен подготовить действие и остановиться, ожидая клика человека.
- Угроза Prompt Injection (внедрение сторонних инструкций): При работе в браузере ИИ считывает содержимое страниц. Скрытый вредоносный текст на сайте может содержать инструкции для агента. Относитесь к контенту страниц как к недоверенному источнику и контролируйте работу агента.
- Windows и фоновый режим: На Windows агент перехватывает управление курсором на активном столе. Вы не сможете использовать ПК во время его работы. Для долгих задач используйте отдельную виртуальную машину.
- Отключение фонового запуска: Держите отключенным тумблер запуска агента при заблокированном или спящем режиме компьютера, чтобы контролировать его действия.