На контроле качества клиентских чат-ботов поначалу обманываются почти все — и разработчики, и владельцы магазинов. Запускаешь нейросетевого консультанта на сайт, смотришь на приборы: сервер стабилен, ответы улетают мгновенно, в поддержку не падает ни одной жалобы. Кажется, автоматизация удалась с первой попытки. Я сам ловил себя на этом спокойствии, пока не открывал сырые логи переписок.
Там вскрывается неприятная правда: покупатели почти никогда не спорят с роботом — они молча закрывают вкладку. Как находить такие тихие ошибки в диалогах ИИ-ассистентов, если дашборды горят зеленым светом, а клиенты уходят без слов? Чтобы вытащить эту слепую зону на свет без ручного чтения чатов, инженеры Google выложили в репозитории Google ADK Recipes бесплатного ревизора AQuA (Ambient Quality Agent).
Иллюзия зеленых дашбордов: почему клиенты уходят без жалоб при вежливых галлюцинациях
Если обычная программа ломается, она выдает ошибку, и мониторинг бьет тревогу. С языковыми моделями срабатывает другая цепочка: если бот не знает точного ответа или путается в правилах, он не зависает, а вежливо сочиняет правдоподобную отсебятину. В инженерии это называют тихим сбоем (Silent Failure) — технически диалог прошел штатно, но клиент получил обман.
В интернет-магазине эта ловушка бьет по выручке. Допустим, бот помогает на распродаже, и клиент спрашивает, действует ли промокод на кофемашину. Вместо сверки со списком исключений ассистент обещает скидку на неакционный товар. Покупатель кладет кофемашину в корзину, вводит промокод на оплате, видит прежнюю цену и молча уходит к конкурентам. Дашборды зеленые, а магазин теряет заказ. О том, как жесткая обвязка пресекает такую самодеятельность, мы писали в разборе детерминированного пайплайна для агентов.
Механизм Google AQuA: как агент-ревизор проверяет логи чужих диалогов
Раз графики доступности не видят смыслового брака, создатели вынесли AQuA во внешний контур (Outer Loop). Если встроить цензора в живой чат, покупателю придется ждать ответа вдвое дольше. Поэтому ревизор работает асинхронно в фоне, разбирая архивы завершенных бесед. Концепцию такого надзора мы затрагивали в обзоре фонового агента-наблюдателя Google AQuA, а разбор канала Julian Goldie SEO раскрывает его пятишаговый цикл:
- Выборка: за прогон агент случайно берет из базы до 1000 недавних диалогов.
- Ревизия: модель-судья оценивает чат по чек-листу из 9 частых ошибок и твоим правилам на обычном языке.
- Кластеризация: однотипные промахи склеиваются в группы, превращая ворох логов в несколько понятных проблем.
- Верификация: второй независимый ИИ перечитывает чаты и отсеивает ложные тревоги первого судьи.
- Привязка к инструкции: сбой получает метку (новый, повторяющийся или решенный), а AQuA указывает на точную строчку системного промпта, вызвавшую галлюцинацию.
В примере с магазином ревизор соберет в кластер обещания несуществующих скидок, перепроверит их вторым судьей и подсветит виновника в инструкции — размытую фразу «По возможности проверяй условия промокодов».
Пошаговая настройка петли качества: от отлова ошибки к исправлению системного промпта
Для человека вежливые слова «постарайся» или «по возможности» звучат как руководство, но для нейросети это сигнал, что правило необязательное. В тестах Google на боте-консьерже из 32 диалогов без сбоев прошли только 5: ревизор выделил 9 кластеров ошибок (3 из них второй судья отсеял, оставив 6 проблем), а в 15 беседах агент забывал предложить выбор места. Замена мягких пожеланий в двух строчках промпта на жесткие «всегда», «никогда» и «обязан» без смены модели снизила пропуски кресла до 2, потерю диетических запросов — с 7 до 0, а число чистых диалогов подняла до 13. В истории с кофемашиной замена «по возможности проверяй» на «Никогда не обещай скидку без сверки с таблицей акций» сразу закрывает лазейку для выдумок.
У автоматического ревизора есть своя цена: из коробки AQuA работает только с агентами на Google Agent Development Kit в Google Cloud, двойная проверка тратит токены двух моделей, а случайная выборка может упустить редкий баг. Зато пощупать решение можно бесплатно на ноутбуке в демо-режиме (на тестовом наборе он находит 16 ошибок при 69% успешных проверок), а для любого виджета на сайте легко раз в неделю выгружать 100 бесед и прогонять их через два окна нейросети по тем же пяти шагам.
Не переживай, если первый аудит покажет, что бот привирает клиентам, и не пытайся за вечер переписать всю инструкцию. Ошибки на стыке живой речи и алгоритмов — обычная рутина даже в Google. Открой промпт ассистента, найди пару мягких слов вроде «желательно» и замени их на твердые запреты — одна исправленная строчка завтра спасет заказы.


