Представь привычную картину: маркетолог отправляет СМС с промокодом на скидку 10% по базе постоянных покупателей, а на следующее утро приносит победный отчет: «Мы разослали 50 000 сообщений, получили тысячу заказов и принесли три миллиона рублей выручки!»
Собственник доволен, но в конце месяца на расчетном счете компании денег не прибавляется. Специалист по CRM-маркетингу Александр Сильченко напоминает о болезни директ-коммуникаций — ловушке атрибуции последнего клика (Last-Click). Разберем, как контрольные группы (Holdout Groups) помогают отделить реальный эффект рассылки от естественного спроса.
Ловушка ложной атрибуции: за что на самом деле платит бизнес
Главная ошибка рассылок по собственной базе — приписывание сообщению всех заказов, совершенных клиентами в ближайшие дни.
Постоянные покупатели регулярно заказывают товар по собственному графику: у кого-то закончился кофе, у кого-то корм питомцу. Человек купил бы и без напоминания. Мы разбирали эту проблему в материале о скрытых резервах CRM-маркетинга, а при слепой отправке скидок бизнес несет двойные потери:
- Оплачивает операторам дорогую доставку СМС.
- Раздает скидки лояльным клиентам, готовым платить полную цену (каннибализация выручки).
Математика контрольной группы: истинный инкрементальный прирост
Единственный способ объективно проверить пользу рассылки — вычисление инкрементального эффекта (Incremental Lift) через контрольную группу (Holdout Group):
- Тестовая группа (Treatment Group) — получает СМС с промокодом (85–90% сегмента).
- Контрольная группа (Holdout Group) — 10–15% аудитории, которым не отправляется ничего.
Наглядный расчет на цифрах:
- В тестовой группе на 10 000 человек зафиксировано 1 000 покупок (конверсия 10%). Маркетолог записывает себе всю тысячу заказов.
- В контрольной группе на те же 10 000 человек без единого сообщения покупки совершили 950 пользователей (естественная конверсия 9,5%).
- Истинный вклад рассылки — не 1 000 заказов, а разница между группами: ровно 50 дополнительных покупок (1 000 – 950).
Сведем экономику: маржа с этих 50 заказов обязана полностью перекрыть стоимость отправки 10 000 СМС операторам плюс сумму скидки 10%, предоставленной всем 1 000 покупателям тестовой группы. Если маржа с 50 заказов меньше этих издержек, кампания убыточна: бизнес заплатил за то, чтобы заработать меньше.
Для защиты бюджета практики применяют глобальные контрольные группы (5–10% базы не получают промо месяцами для замера фонового спроса) и каскадную доставку: сначала бесплатный push в приложении, затем мессенджеры, и лишь в крайнем случае — дорогое СМС для горячих триггеров.