AI First в Авито: как ИИ-агенты и автоматизация тестирования меняют процесс разработки
Переход к парадигме AI First в IT-индустрии давно вышел за рамки экспериментов. На Летней школе AIRI представитель Авито Андрей Бровко — руководитель тестирования Авито Авто, ИИ-евангелист компании и куратор сообщества AI Agent Dev Community — рассказал о том, как автономные ИИ-агенты и ИИ-скиллы интегрируются в цикл разработки и обеспечения качества (QA). Главный вектор изменений состоит в перестройке процессов: ИИ берут на себя первичный анализ требований и составление черновых сценариев тестирования, а ключевые решения и финальный контроль остаются за людьми.
Организационным ядром трансформации стало внутреннее сообщество AI Agent Dev Community, объединяющее более 3 500 сотрудников компании. Площадка позволяет превратить работу с ИИ из локальных экспериментов в системную инженерную практику, где методы настройки навыков и работы с кодом передаются между командами.
От анализа требований до генерации тест-кейсов
Классический процесс обеспечения качества сталкивается с проблемами на ранних этапах: неполные требования обнаруживаются во время проверок или перед релизом. В рамках подхода AI First эта цепочка меняется с момента формирования задачи.
Механика работы с ИИ-агентами в QA строится по следующей схеме:
- Анализ полноты требований. Поставленная задача поступает ИИ-скиллу. Модель проверяет текстовое описание на предмет нестыковок и неясных критериев приёмки, выявляя логические пробелы до написания кода.
- Черновая генерация сценариев. На основе проверенных требований агент формирует тестовые сценарии и подробные тест-кейсы, включающие как позитивные проверки (happy path), так и негативные сценарии.
- Экспертная верификация. Сгенерированные кейсы не отправляются в исполнение автоматически. Инженер по тестированию изучает предложенные проверки, корректирует формулировки и даёт модели обратную связь.
- Запуск в тестовом контуре. Прошедшие человеческий контроль сценарии добавляются в общий набор проверок и используются при проведении регрессионного или функционального тестирования.
В этой схеме принципиально важно отсутствие полной автономии. Модель не принимает решений о выпуске кода в продакшен. Навык точной постановки задач для ИИ и проверки результата становится базовым требованием к современному инженеру.
Пилот на 100 инженеров и эффекты J-кривой
Внедрение агентской разработки требует оценки её эффективности. В публичных материалах AvitoTech описаны результаты пилотного проекта, в рамках которого 100 инженерам компании дали доступ к ведущим языковым моделям.
Результаты эксперимента оказались весьма показательными:
- Объективные метрики продуктивности (скорость закрытия задач, объём кода) не показали статистически значимого взрывного роста.
- Контрметрики качества (число дефектов, стабильность сервисов) остались на прежнем высоком уровне без просадок.
- Субъективная оценка инженеров зафиксировала ощутимый прирост удобства, снижение рутинной нагрузки и высокую удовлетворенность новыми инструментами.
Отсутствие мгновенного прыжка производительности объясняется эффектом J-кривой. При добавлении нового инструмента команда сначала тратит время на его освоение, написание инструкций и проверку результатов. Издержки на обучение и контроль на первых порах компенсируют экономию времени. Главным позитивным сигналом пилота стало сохранение стабильности системы: качество продуктов не пострадало, пока разработчики адаптировали привычки под агентный подход.
Контролируемая инженерия против «вайб-кодинга»
Развитие ИИ-инструментов породило явление «вайб-кодинга» — ситуацию, когда специалист полностью доверяет генерации кода нейросетью, не погружаясь в детали реализации. В разработке высоконагруженных систем такой подход неприемлем из-за рисков неконтролируемых ошибок.
В качестве альтернативы Авито развивает концепцию контролируемой агентной инженерии:
- Понятные рамки и правила. Агент действует strictly в пределах выделенных ему инструкций и стандартов разработки компании.
- Прозрачность и проверяемость. Любое действие ИИ-агента — от создания чернового pull request до генерации автотестов — оставляет след и подлежит обязательной проверке коллегами (peer review).
- Ограниченная зона ответственности. ИИ привлекается для черновой подготовки простых автотестов, рутинного поиска информации во внутренней документации и подготовки шаблонов. Сложные архитектурные решения и финальные вердикты остаются за экспертами.
Инфраструктурный фундамент: Skills-hub, MCP-hub и AVIDA
Чтобы сделать применение агентов безопасным и масштабируемым, недостаточно выдать сотрудникам доступ к веб-чату. В Авито создаётся платформа, объединяющая три элемента:
- Skills-hub (магазин навыков): репозиторий проверенных инструкций и шаблонов поведения агентов. Кастомный навык содержит доменный контекст команды и проходит проверку перед допуском.
- MCP-hub (хаб контекста): система управления подключениями через открытый протокол Model Context Protocol (MCP). Протокол позволяет ИИ-агентам безопасно запрашивать данные из внутренних систем (база знаний, баг-трекер, репозитории) без передачи секретных ключей.
- AVIDA (автономная среда исполнения): изолированный контур для запуска агентских сценариев на удалённых серверах по расписанию или событию.
Благодаря такой платформе инженер работает с инструментом, погруженным в контекст конкретной кодовой базы и регламентов.
Проверка агентов и модерация навыков
Поскольку качество работы ИИ-агента зависит от написанных для него инструкций, подход к созданию навыков приравнен к разработке ПО. Обычный текстовый промпт, сгенерированный без учета доменных ограничений, не способен давать стабильный результат.
Процесс валидации ИИ-навыков включает несколько этапов:
- Статическая проверка: валидация формата файлов, структуры метаданных и параметров безопасности.
- Динамическое тестирование (evals): запуск проверок на этапе CI/CD. Навык тестируется на стандартных сценариях (happy path) и пограничных кейсах (edge cases).
- Код-ревью: обязательная проверка навыка владельцем домена перед публикацией.
Традиционная роль QA-специалиста расширяется: объектом тестирования становится не только интерфейс или API, но и сами алгоритмы, промпты и агентские цепочки.
Формула развития инженеров 70/20/10
Трансформация инженерных ролей требует новых подходов к обучению специалистов. В компании применяется формула развития 70/20/10:
- 70% времени — работа с реальными задачами. Специалисты осваивают применение ИИ-агентов непосредственно на боевых проектах.
- 20% времени — менторство и обратная связь. Наставники помогают разбирать сложные кейсы, выявлять ошибки в формулировании задач и обучать ревью сгенерированного кода.
- 10% времени — теоретическая подготовка. Изучение документации, архитектурных шаблонов и посещение лекций сообщества.
Такая пропорция гарантирует, что сотрудники формируют устойчивые навыки эффективной совместной работы с искусственным интеллектом.
Пошаговый процесс и рекомендации по внедрению
Сквозная цепочка работы включает четыре ключевых этапа: постановка требования ➔ анализ ИИ-скиллом и выявление пробелов ➔ черновая генерация тест-кейсов агентом ➔ экспертная верификация инженером QA и запуск в тестовый контур.
Чек-лист по интеграции ИИ-агентов в процесс тестирования:
- Определить границу автономии: зафиксировать категории задач, где ИИ готовится лишь как черновик, и задачи, закрытые для генеративных моделей.
- Внедрить человеческий контроль (Human-in-the-loop): исключить автоматический запуск сгенерированного кода в продуктивную среду без подписи инженера.
- Начать с малого: доверить агентам рутинную генерацию стандартных проверок и поиск описаний во внутренней документации.
- Тестировать промпты и навыки: относиться к инструкциям для ИИ как к исходному коду, проводя их через статические проверки, evals и код-ревью.
- Обеспечить инфраструктурную безопасность: использовать изолированные контуры запуска и протоколы типа MCP для управления доступом к внутренним базам знаний.
Документированные ограничения и открытые вопросы
Публично доступная информация очерчивает границы имеющихся данных:
- Отсутствие публичных KPI по экономии времени: компания не раскрывает точный процент автогенерируемых тестов или суммы сэкономленного бюджета.
- Закрытость внутренних моделей и спецификаций: наименования используемых языковых моделей, их параметры и настройки безопасности являются коммерческой тайной.
- Необходимость экспертного контроля: человеческая верификация снижает риск «галлюцинаций» нейросети, но не отменяет необходимость глубокой доменной экспертизы.
Опыт Авито демонстрирует, что успех внедрения ИИ-агентов в разработку определяется не автономией моделей, а зрелостью инженерных процессов, инфраструктурой и культурой контроля качества.