ChatGPT и Claude в исследовании B2B-клиентов: 12 критериев ТЗ для ИИ-агента, защита от галлюцинаций и поиск скрытого спроса на GEO
Маркетинговые исследования силами языковых моделей выходят из фазы простых запросов в чате. Попытка выявить боли клиентов общей командой («опиши проблемы B2B-заказчиков») дает банальные штампы о цене и сроках. В прикладной аналитике промпт становится техническим заданием (ТЗ) для автономного агента — с ограничениями по ролям, проверкой фактов и регламентом отчета.
Однако разные архитектуры показывают разную надежность. Стресс-тест в канале Гусаров маркетинг 🧨 вскрыл разрыв между версиями ChatGPT и Claude при составлении ТЗ для изучения B2B-клиентов. Claude с памятью аккаунта размыл сегментацию и выдумал несуществующие риски компании. В то же время ChatGPT сформировал зрелый промпт с 16 проверяемыми гипотезами, но совершил контекстный сдвиг, предложив e-commerce вместо сложных B2B-услуг.
Разбор кейса позволяет выделить 12 критериев ТЗ для агента, разобрать четыре системные ошибки и сформулировать подход к проверке гипотезы о скрытом спросе на генеративную поисковую оптимизацию (GEO).
Поиск микроболей заказчиков в сложных B2B-продажах
Предметом теста стала разработка ТЗ для выявления болей и микроболей клиентов, выбирающих подрядчика по продвижению в узкой B2B-нише. Под микроболями понимаются конкретные операционные барьеры:
- Опасение утраты контроля над подрядчиком в ходе многомесячных работ;
- Отсутствие промежуточных метрик до окупаемости проекта;
- Непонимание специализированной терминологии в отчетах;
- Сомнения в способности агентства разобраться в отраслевой специфике.
В B2B с длинным циклом сделки отработка микроболей определяет конверсию. Задача агента — собрать доказательную базу сомнений и перевести ее в аргументы для КП и скриптов продаж.
12 критериев надежности исследовательского ТЗ
Чтобы анализ не генерировал домыслы, ТЗ должно нормировать процесс:
- Бизнес-цель: привязка к действию (доработка КП, темы контента).
- Сегментация ЦА: фиксация роли ЛПР, специфики ниши и чека сделки.
- Понятийный аппарат: закрепление определений терминов (микроболи, CJM).
- Путь клиента (CJM): охват этапов от проблемы до продления контракта.
- Источники данных: разделение открытых и закрытых каналов.
- Защита от выдумок: запрет на приписывание клиентам фальшивых цитат.
- Разделение слоев: сепарация факта, оценки и рекомендации.
- Проверяемость гипотез: формулирование выводов как проверяемых тезисов.
- Учет перекосов: поправка на естественный перевес негативных отзывов.
- Точность инструкций: пошаговый алгоритм сбора информации.
- Дисциплина диалога: запрет на лишние переспросы для экономии токенов.
- Правила остановки: условия завершения работы или эскалации пробелов.
Сравнительный анализ: почему память Claude дала сбой
Результаты генерации спецификации показали контраст между двумя системами:
| Критерий | ChatGPT | Claude | Вывод для ТЗ |
|---|---|---|---|
| Целеполагание | Зафиксировал бизнес-цель | Размыл задачу до обзора | Нужна явная коммерческая цель |
| Сегментация | Выделил роли, но ушел в e-commerce | Смешал роли ЛПР | Требуется ручная калибровка ниши |
| Разделение слоев | Разграничил факты и гипотезы | Смешал домыслы с фактами | Запретить объединение цитат с оценкой |
| Гипотезы | Сформулировал 16 гипотез | Выдал общие тезисы | Требовать формат проверки гипотез |
| Защита от выдумок | Удержал ограничения данных | Выдумал риски агентства | Память не страхует от фантазий |
| Коннекторы | Обозначил границы поиска | Проигнорировал плагин vidIQ | Проверять доступ к утилитам |
Провал Claude произошел несмотря на память аккаунта: модель внесла в ТЗ несуществующие риски агентства, размыла сегментацию и потеряла связь между шагами CJM.
ChatGPT показал зрелую структуру: выстроил ТЗ по блокам, сформулировал 16 гипотез и разделил факты и рекомендации. Однако модель ошиблась в нише: спроектировала опросную базу под e-commerce и предложила российские базы в белорусском кейсе.
Четыре системные дыры в маркетинговых отчетах
Анализ ошибок моделей позволил выделить четыре уязвимости автоматизации:
- Отсутствие привязки к решению. Когда ТЗ ставит задачу общими словами («изучи боли»), модель выдает трактат с банальностями. ТЗ обязано исходить из действия: если цель — усилить КП, агент ищет критерии отбора подрядчика, а не общие жалобы.
- Смешивание доказательств и домыслов. Ловушка — графа «что клиент имел в виду». Интерпретируя сжатую реплику («сложно согласовать бюджет»), модель приписывает человеку вымышленные психологические барьеры.
- Иллюзия доступа к закрытым данным. Агент не способен читать закрытые чаты или видео без внешних транскрипторов. Без предварительного экспорта модель генерирует сфабрикованные диалоги.
- Избыточные диалоговые итерации. Без запрета на переспросы модель задает десятки встречных вопросов на линейных шагах, сжигая токены. Агент обязан действовать по регламенту, эскалируя проблемы лишь при дефиците данных.
Официальные стандарты верификации
Проблема галлюцинаций подробно описана разработчиками языковых моделей.
В справке OpenAI: Does ChatGPT tell the truth? подчеркивается: уверенный тон ответов не равен их достоверности. Модель способна генерировать неверные факты, выдумывать цитаты и ссылки. Выводы ИИ следует воспринимать как черновик, требующий верификации человеком перед принятием решений.
Команда Anthropic в руководстве Claude Platform Docs: Prompting best practices рекомендует:
- Использовать однозначные инструкции с фиксацией формата вывода (таблицы, списки);
- Задавать прямые ограничения на запрещенные действия модели;
- Применять двухэтапную обработку: сначала извлечь цитаты из источника, и лишь затем проводить их анализ.
Поиск скрытого спроса: гипотеза перехода от SEO к GEO
Один из прикладных выводов стресс-теста — потенциал выявления невысказанного спроса клиентов через анализ карты болей.
В поисковом маркетинге наметился сдвиг. Заказчики по привычке запрашивают классическое SEO, однако все чаще ищут подрядчиков через диалоговые нейросети и генеративные ассистенты (ChatGPT, Perplexity, поисковые ИИ-сводки).
В ответ формируется концепция Generative Engine Optimization (GEO) — оптимизации присутствия компании в ответах нейросетей. Гипотеза состоит в том, что клиенты, запрашивающие SEO, подсознательно хотят видимости в ответах ИИ, но пока не формулируют этот запрос технически.
Однако важно соблюдать фактологическую строгость. Потенциал GEO остается гипотезой, а не проверенным рыночным фактом:
- В материалах отсутствуют замеры спроса на GEO и статистика конверсии;
- Нет данных о готовности заказчиков платить премию за генеративную оптимизацию;
- Направление находится на стадии формирования методологии и первых тестов.
Схема монетизации из кейса — это пайплайн для проверки гипотезы:
- Перевод болей в контент: разбор отличий поиска от ответов ИИ в роликах и статьях;
- Обновление КП: аудит присутствия в GEO как опция к договору;
- Квалификация в продажах: вопросы на пресейле о роли ИИ-поиска;
- Оценка отклика: замер готовности к сотрудничеству на переговорах без гарантий трафика.
Чек-лист калибровки ТЗ перед запуском агента
Перед отправкой ТЗ в работу аналитическому агенту стоит проверить структуру запроса:
- Зафиксировано бизнес-решение, ради которого проводится исследование;
- Описан профиль лица, принимающего решения, с указанием бюджета и длины сделки;
- Заданы определения терминов (CJM, микроболи, квалификация);
- Установлен запрет на приписывание клиентам вымышленных фраз и оценок;
- Предусмотрены раздельные поля для наблюдаемых фактов, гипотез и рекомендаций;
- Сформулирован проверяемый формат гипотез с критериями их опровержения;
- Исключены недоступные закрытые каналы и неподключенные утилиты;
- Запрещены лишние промежуточные диалоги на линейных этапах сбора данных;
- Задано правило обязательной эскалации нехватки сведений человеку.
Методологические границы и выводы
Эксперимент нельзя трактовать как доказательство превосходства ChatGPT над Claude или как рейтинг нейросетей. Тестирование проводилось на единичной задаче одного агентства, полные оценочные протоколы не публиковались, а версии моделей непрерывно обновляются.
Главный вывод исследования методологический: надежность аналитического агента определяется не брендом модели или памятью аккаунта, а качеством инженерного ТЗ. Автоматизация исследований требует строгой дисциплины: только четкие ограничения, сепарация фактов от гипотез и ручная верификация данных позволяют превратить генеративную модель в надежный инструмент.