Рассылка привела гостей или они пришли бы сами: как проверить одну кампанию

После рассылки гости пришли в ресторан. В отчёте появились покупки, и хочется повторить удачную кампанию. Но часть этих гостей могла прийти и без приглашения. Если отнести все покупки на счёт сообщения, вы рискуете снова оплатить рассылку, не понимая, что она меняет.

Чтобы проверить следующую кампанию, заранее выделите случайную группу без проверяемого сообщения внутри той же подходящей аудитории. Затем сравните доли гостей, которые пришли за один и тот же период, среди всех изначально распределённых в каждую группу. Такое сравнение поможет оценить дополнительные визиты, если данных достаточно и условия проверки соблюдены.

Начните с короткой договорённости с маркетологом: что именно проверяете, за какой период и откуда возьмёте сведения о визитах. Ниже - что записать до отправки, чтобы после неё решить, стоит ли повторять кампанию.

Что считать результатом рассылки

Открытое сообщение, покупка по промокоду и дополнительный визит отвечают на разные вопросы. Открытие помогает оценить реакцию на коммуникацию. Промокод связывает покупку с предложением по выбранному правилу учёта. Но сам по себе он не показывает, отказался бы человек от визита без приглашения.

Представьте условную ситуацию: вы напоминаете гостям об обеденном меню. Часть получателей и так собиралась зайти на обед. Вам нужно выяснить, чаще ли пришли гости из группы отправки, чем из группы без сообщения. Для этого обе группы готовят к сравнению ещё до рассылки.

Оставьте одно различие между группами

До отправки договоритесь, оцениваете ли вы само напоминание или предложение вместе с ним.

В условном примере с обедами меню и условия покупки одинаково доступны обеим группам. Различается только отправка напоминания. Если же одной группе вы ещё и даёте особую выгоду, сравнение относится ко всему пакету: сообщение плюс выгода. Отделить пользу текста от пользы предложения по такому результату не получится.

Выберите обычное маркетинговое приглашение, для которого ответственный уже проверил допустимость выбранного канала. Подтверждения брони и другие необходимые сервисные сообщения продолжают получать все, кому они нужны. Уже обещанные гостю условия тоже сохраняются.

Попросите ответственного заранее проверить, удастся ли доступными средствами разделить аудиторию и одинаково учесть покупки. Ему также предстоит проследить, чтобы группа без проверяемого приглашения не получила его же через другой канал. Иначе выбранное различие между группами исчезнет.

Разделите одну исходную аудиторию

Группа без проверяемого сообщения называется контрольной. Её выделяют до отправки случайным способом внутри той же аудитории, которой подходит предложение. Постоянные гости и те, кто давно не приходил, изначально ведут себя по-разному. Сравнение этих двух сегментов не позволит уверенно отделить эффект приглашения от различий между ними.

Согласуйте с маркетологом или аналитиком способ случайного распределения и зафиксируйте состав групп. Затем проверьте их исходную активность: нет ли заметного перекоса по частоте и давности визитов. На небольшой базе даже случайное разделение не гарантирует близкого состава.

Концептуальная иллюстрация метода, не экран Loona.ai. Значки гостей условные: они не задают размер групп или долю контроля.

Размер групп и срок наблюдения обсудите до запуска. Они зависят от размера аудитории, обычной частоты визитов и разницы, которую вы хотите заметить. Универсального процента контроля и срока проверки нет: выбранной кампании может не хватить наблюдений для уверенного вывода.

Зафиксируйте период и одинаковый счёт

Для первой проверки удобно выбрать понятный показатель: долю гостей, которые совершили хотя бы один состоявшийся визит за оговорённый период. В каждой группе её считают одинаково - число таких гостей делят на всех, кто был изначально распределён в эту группу.

Так вы сравниваете доли, даже если группы разные по размеру. Несколько покупок одного человека не превращаются в нескольких гостей. А повторные визиты и сумму покупок при необходимости разбирают отдельно, не меняя по ходу главный вопрос проверки.

До отправки уточните, как покупка связывается с конкретным гостем. Если часть визитов проходит без такой связи, важно понимать полноту учёта в обеих группах. Единый профиль гостя помогает разобраться с этой задачей, но само наличие профилей ещё не означает, что ресторан видит каждый визит.

Согласуйте начало и конец наблюдения, источник операций, порядок учёта отмен и возвратов, а также момент, когда данные будут достаточно полными для сверки. Окно выбирают до результата: иначе легко закончить сравнение на первой приятной цифре.

Недоставленные сообщения отмечайте отдельно. В основном сравнении сохраняйте первоначальный состав групп: если после отправки убрать из одной группы тех, до кого сообщение не дошло, вы будете сравнивать уже иначе отобранных людей. Доставку полезно разобрать как отдельный результат работы канала.

Концептуальная иллюстрация рабочей заметки, не экран Loona.ai. Разница долей сама по себе ещё не доказывает эффект.

Что записать перед ближайшей рассылкой

Соберите договорённости в короткую карточку проверки - обычный рабочий документ без контактов гостей:

• Какую кампанию проверяете: только сообщение или сообщение вместе с новой выгодой.
• Кто входит в исходную аудиторию, как её случайно разделят и кто сверит активность групп до отправки.
• Что получает каждая группа и как проверяемое приглашение не попадёт в контроль через другой канал. Если акция публичная и доступна обеим группам, укажите это.
• За какой период считаете гостей с хотя бы одним состоявшимся визитом. Знаменатель доли в каждой группе - все изначально распределённые в неё гости, включая тех, кому сообщение не доставлено.
• Откуда берёте сведения о визитах, как связываете покупки с гостем, учитываете отмены и возвраты; кто проверит полноту данных и когда они будут готовы к сверке.
• Какие ещё акции и сообщения идут в это время и как команда учтёт их влияние на сравнение.
• Кто соберёт результат и когда вы его обсудите. Заранее договоритесь, что будет основанием повторить кампанию, пересмотреть её или признать данные недостаточными.

Так вы сможете проверить, выполнила ли команда задуманный план, прежде чем обсуждать цифры. В аналитике Loona.ai описаны визиты, покупки и частота, но состав отчётов зависит от подключённых данных. Доступный способ разделения аудитории, источники визитов и методику сравнения согласуйте с командой. Карточка помогает подготовить эту работу, а не описывает поля или встроенную настройку контроля в кабинете.

Как принять решение после проверки

Сначала вернитесь к плану. Получили ли группы именно то, что вы предусмотрели? Полны ли данные о визитах? Не оказалось ли, что часть гостей получила другое приглашение или только одна группа попала под дополнительную акцию? Если условия разошлись, разберите, как это ограничивает вывод.

Затем сравните доли гостей с визитом. Наблюдаемая разница ещё не равна доказанному приросту. Попросите аналитика оценить, достаточно ли наблюдений и насколько надёжен вывод. При небольшом числе визитов, заметном исходном перекосе или пропусках данных разумный итог - «пока недостаточно данных». Он полезнее уверенного решения увеличить рассылку по случайному колебанию.

Отсутствие убедительной разницы тоже не доказывает, что сообщения бесполезны. Сохраните условия и результат проверки, обсудите, какие данные нужно накопить или что изменить в следующем плане. Новая метрика, выбранная только потому, что первоначальная не показала желаемого эффекта, не ответит на исходный вопрос.

Даже подтверждённый прирост визитов - ещё не рост прибыли. Для экономического решения нужны расходы на отправку, стоимость предложенной выгоды и себестоимость. Кроме того, короткое наблюдение может показать более ранний визит вместо будущего, а не устойчивый рост посещений.

Перед следующей кампанией выберите вместе с ответственным один вопрос, источник визитов и период сравнения. Если выяснится, что часть покупок пока не удаётся связать с гостями, начните с проверки этих данных. Тогда следующая рассылка даст вам больше оснований для решения, стоит ли её повторять.