Как Авито внедрила LLM для 100% анализа звонков в кол-центрах
Каждый день операторы контакт-центров Авито Недвижимости совершают около 30 000 звонков. Они общаются с клиентами по трем ключевым бизнес-направлениям: «Комфортная сделка» (помощь собственникам в продаже жилья), «Новостройки» (подбор квартир у застройщиков) и «Ипотека и страхование» (привлечение лидов для банков-партнеров). В каждом из этих направлений критически важен объективный контроль качества диалогов.
Ранее служба контроля качества могла вручную прослушать и проанализировать лишь около 3% от общего объема звонков. Столь малая выборка создавала серьезный информационный вакуум: компания не могла оперативно собирать обратную связь, выявлять мошеннические действия (например, попытки совершения сделок в обход платформы) и оценивать работу каждого оператора.
Для решения этой проблемы DS-инженеры — специалисты по исследованию и анализу данных, проектирующие модели машинного обучения (Data Science) — разработали систему автоматической речевой аналитики на базе современных технологий искусственного интеллекта. Главным фокусом на первом этапе стал автоматический анализ обработки возражений.
От регулярных выражений к языковым моделям
На старте проекта команда рассматривала классические подходы: от простых регулярных выражений до традиционных инструментов NLP (обработки естественного языка), таких как классификаторы tf-idf в связке с логистической регрессией или специализированные BERT-подобные нейросети для классификации текстов и извлечения именованных сущностей (NER).
Однако эти методы не подошли. Процесс анализа звонка — это сложная задача извлечения сильно структурированных данных. Модель должна не просто найти ключевые слова, а выстроить связный JSON-контекст: зафиксировать сам текст возражения, определить его тип, найти реплику оператора с отработкой и сделать вывод о результате диалога.
В итоге разработчики сделали ставку на современные технологии LLM (Large Language Model) — большие языковые модели, способные понимать сложный контекст человеческой речи и генерировать связный текст. Для решения задачи протестировали несколько моделей, включая Mistral, Qwen и собственную разработку Авито под названием A-vibe.
Для адаптации модели под узкие бизнес-задачи без перезаписи миллиардов параметров базовой нейросети применили LoRA-адаптер (Low-Rank Adaptation) — легковесную надстройку, которая дообучает модель на специфическом наборе данных. В экспериментах наилучшие результаты показала модель A-vibe 7B с LoRA-адаптером. Дополнительным преимуществом стало наличие внутренней инфраструктуры инференса для LoRA-адаптеров в Авито, что избавило от необходимости разворачивать отдельный дорогостоящий GPU-сервис.
Пайплайн подготовки данных и разметка с экспертами
Важнейшим условием успеха модели стало качество обучающей выборки. Поскольку вручную разметить десятки тысяч звонков силами DS-команды физически невозможно, была реализована трехэтапная схема разметки с привлечением руководителей кол-центров в качестве асессоров — специалистов по оценке качества данных:
- Согласование формата выдачи: на базе нескольких десятков звонков определили точную структуру JSON-ответа модели. Решили копировать реплики полностью, разделяя абзацы символом переноса строки.
- Оценка и корректировка авторазметки: с помощью базовой LLM была проведена авторазметка сотен звонков. Вместо написания аннотаций с нуля руководители кол-центров лишь корректировали ошибки ИИ. Это позволило сэкономить колоссальное количество времени и повысить качество данных. В спорных случаях асессоры нередко признавали, что модель разметила диалог точнее и объективнее, чем человек.
- Оценка итоговой модели: после обучения LoRA-адаптера эксперты провели финальный аудит результатов.
Для оценки качества извлечения типов возражений (всего было выделено 8 ключевых типов, включая «не готов к договору», «хочу продавать сам», «дорого» и «надо подумать») использовались классические метрики. Взвешенная точность (precision) составила 0,75, полнота (recall) — 0,68, а комплексный показатель F1-меры достиг 0,70. Точность выделения конкретных реплик по мере Жаккара составила 0,75 для возражений и 0,66 для ответов операторов. Небольшие ошибки, связанные с путаницей между рекламой дополнительных услуг и отработкой возражений, были успешно устранены перед внедрением.
Архитектура и интеграция сервиса
Параллельно с моделью был развернут высокопроизводительный сервис автоматического скоринга звонков. Он работает в рамках следующего пайплайна:
- Интеграция с хранилищем: сервис запускается автоматически по расписанию (cron) и обращается к DWH (Data Warehouse) — централизованному хранилищу данных компании, откуда забирает транскрипции звонков.
- Гибкая конфигурация: для каждого продукта создается отдельный файл настроек в формате YAML, определяющий источник данных и нужный LoRA-адаптер.
- Защита от повторной обработки: при каждом запуске система анализирует звонки за последние двое суток. Чтобы исключить дублирование скоринга, идентификаторы уже обработанных диалогов кэшируются в Redis — быстрой нереляционной базе данных в оперативной памяти. Устаревшие записи из кэша удаляются автоматически для экономии ресурсов.
- Трехэтапная обработка: пайплайн включает предобработку текста диалога, асинхронный скоринг с помощью LoRA-адаптеров модели A-vibe 7B и постобработку (приведение ответов к единому JSON-формату).
- Визуализация результатов: скоринговые данные возвращаются в DWH, после чего визуализируются в Redash — платформе визуализации данных для мониторинга бизнес-метрик. Оперативные дашборды показывают статистику возражений, рейтинги операторов и динамику показателей по регионам.
Главные инсайты аналитики: сила стопроцентной отработки
Внедрение речевой аналитики на 100% звонков позволило DS-команде выявить критически важные закономерности, которые ранее оставались незамеченными:
1. Бинарный эффект отработки возражений. Анализ показал прямую зависимость конверсии CR (Conversion Rate) — показателя, отражающего долю успешных звонков — от полноты обработки сомнений клиента. Оказалось, что реакция клиентов носит практически бинарный характер. Если оператор закрывает абсолютно все возражения клиента (100% отработка), конверсия в согласие взлетает до 27,1%. Но если хотя бы одно сомнение остается без ответа (например, отработано 75% возражений), конверсия падает до 6–7% — то есть практически до уровня полного игнорирования возражений (6,5%). Разница между полной и «почти полной» отработкой составляет более 13 процентных пунктов.
2. Бесполезность абстрактного коучинга при плохих скриптах. Компания провела эксперимент: руководители провели индивидуальные беседы и обучение с операторами, демонстрирующими слабые результаты по отработке возражений. Последующий замер метрик показал, что такое обучение не привело к системным изменениям — результаты части сотрудников выросли, а показатели других снизились. Это доказало, что корень проблемы кроется не в личной квалификации операторов, а в самих сценариях (скриптах) разговоров. Благодаря речевой аналитике менеджеры получили детальные данные для переработки неэффективных скриптов под реальные возражения клиентов.
Что дальше
Создание модели поиска и анализа возражений — это лишь первая веха. Сейчас команда Авито Недвижимости работает над расширением возможностей сервиса. В ближайших планах — запуск автоматической проверки соблюдения операторами обязательных чек-листов, интеллектуальный поиск причин появления нецелевых лидов и суммаризация диалогов. Также прорабатывается интеграция речевой аналитики непосредственно во внутренний интерфейс операторов (re-arm), что позволит давать подсказки в режиме реального времени. Главное достижение проекта уже очевидно: звонки перестали быть черным ящиком, превратившись в прозрачный и измеримый источник качественных продуктовых данных.