Доверять ли ИИ оценку ИИ? Исследование Parlance Labs о возможностях автоматических эвалов
С ростом популярности ИИ-агентов в коммерческих продуктах перед разработчиками встает острая проблема контроля их качества. Традиционное ручное тестирование силами QA-инженеров (специалистов по обеспечению качества) становится слишком медленным и дорогостоящим: диалоги ИИ с клиентами могут быть нелинейными, длинными и непредсказуемыми. Логичным решением выглядит использование автоматических систем оценки, или эвалов (от английского evaluations — автоматизированные тесты для проверки качества работы языковых моделей). Но можно ли доверять искусственному интеллекту оценку работы другого искусственного интеллекта? Известный эксперт Хамель Хусейн (Hamel Husain) из Parlance Labs опубликовал подробное исследование, сопоставляющее результаты ручной разметки логов человеком с оценками популярных коммерческих платформ: Braintrust Loop, Arize AX Alyx и LangSmith. Результаты эксперимента показывают, что автоматика отлично справляется с грубыми техническими сбоями, но имеет серьезные слепые зоны в оценке бизнес-логики.
Дизайн эксперимента: 100 диалогов и 39 ошибок
Для проведения исследования эксперты Parlance Labs взяли 100 реальных трейсов (traces — подробные записи последовательности шагов, логов и вызовов функций ИИ-помощника) от коммерческого агента Nurture Boss, который занимается арендой жилья.
Сначала эксперт-человек вручную проанализировал всю выборку диалогов и сформировал детальную таксономию (классификацию) ошибок, обнаружив ровно 39 явных сбоев в работе бота. Ошибки варьировались от простых (неработающая ссылка) до сложных (потеря нити разговора, игнорирование прямых вопросов пользователя). Затем эти же 100 диалогов пропустили через шесть различных автоматизированных систем оценки, чтобы выяснить, насколько точно они смогут повторить человеческие выводы. В инструменте тестирования сравнивались:
- Специализированные платформы анализа качества моделей: Braintrust Loop, Arize AX Alyx и LangSmith (с использованием специализированных ИИ-оценщиков).
- Кодинг-агенты общего назначения (Codex, Factory Droid) и агентская среда Claude Code (на базе модели Claude 4.8 Opus), которые использовались как альтернативная группа тестирования.
Сравнительный анализ платформ: Braintrust, Arize, LangSmith и агенты
Для сравнения эффективности работы систем использовались стандартные метрики оценки классификации:
- Полнота (Recall) — доля ошибок, которую система смогла найти из общего числа реально существующих багов (39). Полнота показывает, насколько «внимателен» инструмент и много ли пропусков он делает.
- Точность (Precision) — доля подтвержденных человеческим экспертом ошибок среди всех подозрений, которые высказала автоматическая система. Высокая точность означает, что ИИ редко дает ложные тревоги (false positives).
Результаты тестирования распределились следующим образом:
- Braintrust Loop показал наивысшую полноту (Recall) — 87.2% при точности (Precision) 79.1%. Система нашла 20 уникальных классов ошибок и выдала 9 ложных срабатываний.
- Arize AX Alyx продемонстрировал максимальную точность — 91.0% при полноте 74.4%. Инструмент нашел 19 типов ошибок, совершив всего 3 ложные тревоги. Это наиболее надежный выбор для команд, которые не хотят тратить время на перепроверку ложных отчетов.
- LangSmith (на базе chat agent) показал полноту 79.5% и точность 77.5% (20 находок, 9 ложных тревог).
- Специализированные агенты Codex и Factory Droid продемонстрировали отличные результаты, практически не уступающие коммерческим вендорам: полнота 84.6% у обеих систем при точности 82.8% и 83.3% соответственно.
- Claude Code показал полноту 79.5% при точности 77.4%, но выдал наибольшее количество ложных тревог (14 ложноположительных результатов).
Эти цифры доказывают, что современные эвалы вполне применимы для фильтрации логов, однако ни одна система не смогла достичь 100%-го совпадения с человеческой оценкой.
Слепая зона автоматики: где ИИ бессилен
Главный вывод исследования заключается в том, что автоматические системы отлично ловят технические ошибки (например, сбои форматирования Markdown в SMS-сообщениях или явный бред модели), но систематически пропускают ошибки бизнес-логики. Ключевые слепые зоны ИИ-оценщиков:
- Обработка возражений (Objection handling): Бот может вежливо отвечать на вопросы пользователя, но не отрабатывать его возражения по цене или условиям аренды, уводя диалог в сторону от коммерческой цели. Автоматический оценщик видит грамматически корректный вежливый текст и ставит оценку «пройдено», игнорируя провал бизнес-задачи. Человек же сразу видит, что клиент высказал сомнение, а ИИ-ассистент просто проигнорировал его, не сделав попытки убедить или предложить альтернативу.
- Прерывания и передача оператору (Missed handoffs): Если пользователь перебивает бота или требует переключить его на человека, агент часто продолжает сыпать шаблонными ответами. Оценщики без контекста конкретного бизнеса не классифицируют такое поведение как ошибку. Для них диалог выглядит завершенным, тогда как с точки зрения бизнеса клиент ушел неудовлетворенным из-за жесткости алгоритма.
Таким образом, ИИ-системы оценивают форму диалога, но упускают его продуктовую эффективность.
Новый подход: интерактивное аннотирование и обучение систем
Исследование показывает, что компаниям не следует слепо доверять готовым отчетам ИИ-платформ «из коробки» без предварительной настройки. Эффективный рабочий процесс внедрения эвалов должен строиться по схеме:
- Ручной разбор: Человек изучает первые 50–100 диалогов с клиентами, размечает ошибки и формирует правила.
- Интерактивное обучение: Шаблоны ошибок передаются ИИ-ассистенту. Сначала он ищет похожие случаи в базе логов, а человек подтверждает или отклоняет его гипотезы.
- Фиксация тестов: Только после того как точность работы ИИ-оценщика на тестовой выборке достигнет приемлемого уровня, его можно переводить в режим автоматического мониторинга новых трейсов.