Краткий обзор: Запуск эксперимента инкрементальности, чтобы понять реальное воздействие ваших ремаркетинговых кампаний.
Об этом эксперименте
Тестирование инкрементальности измеряет реальное воздействие ваших кампаний с помощью A/B-тестирования, которое точно измеряет «инкрементальный прирост» — разницу между конверсиями, произошедшими благодаря вашим кампаниям ремаркетинга, и теми, которые произошли бы в любом случае.
Результаты имеют ключевое значение для понимания реальной ценности, созданной вашими маркетинговыми инвестициями. С помощью тестирования инкрементальности у вас есть возможность объективно оценить воздействие конкретных каналов и кампаний, а также принимать более обоснованные решения о распределении бюджета и оптимизации кампаний.
AppsFlyer облегчает тестирование инкрементальности благодаря автоматизированному процессу, который начинается с создания аудитории. Новая аудитория автоматически распределяется между подключенными медиа партнерами и контрольной группой при помощи включенной функции «Измерить инкрементальное воздействие». Контрольная группа является частью аудитории, которая не передается партнерам и является важной частью тестирования. После сохранения аудитории автоматически создается эксперимент инкрементальности. После запуска кампаний у партнеров и привязки необходимых кампаний вы сможете увидеть результаты эксперимента в дэшборде инкрементальности.
Начать
Следуйте этим шагам, чтобы начать тестирование инкрементальности. Подробности каждого шага вы найдете в разделе ниже: Настройка эксперимента.
| Шаги | |
|---|---|
| 1 |
Максимально увеличьте полезность результатов вашего эксперимента, четко определив цели теста и гипотезу относительно ожидаемого результата. |
| 2 |
Создайте целевую аудиторию и разделите группы В разделе Аудитории:
|
| 3 |
Запустите кампанию и эксперимент
Члены тестовой группы видят рекламу. Контрольная группа не видит. |
| 4 |
Полученная информация из хорошо проведенных экспериментов инкрементальности позволяет вам оптимизировать маркетинговые кампании для достижения максимального положительного воздействия. Например, это может помогать вам найти лучшее сообщение для целевой аудитории, лучший креатив или акцию, наиболее эффективный медиа-источник и многое другое. |
Настройте эксперимент
Определите цели вашего теста
Как и в любом эксперименте, важно точно определить, что именно вы тестируете (переменные) и какой результат ожидаете (гипотеза). В следующей таблице представлены рекомендации и лучшие практики для проектирования вашего эксперимента:
| Переменные/Гипотеза | Рекомендации и лучшие практики |
|---|---|
| Аудитория | Опишите аудиторию, которую вы тестируете. Выберите аудиторию, которую вы уже создали в AppsFlyer Audiences, или создайте новую, соответствующую вашим критериям теста. |
| Размер аудитории |
Выберите аудиторию с большой пользовательской базой и событием с высоким уровнем конверсии. Большая выборка скорее всего даст статистически значимые результаты.
Лучшая практика: Аудитория не менее 50 000 пользователей, разделенная между 1-3 рекламными сетями и контрольной группой. |
| Кампания | Опишите кампанию (рассылка, поощрения и т. п.). |
| Процент контрольной группы | Контрольная группа автоматически устанавливается на 15% от размера аудитории (рекомендуется от 15% до 25%). |
| Тестовая группа |
Определите рекламные сети, которые вы хотите протестировать. Процент распределения будет равномерно распределен между ними (но вы можете настроить процент аудитории, направленный в каждую).
Лучшая практика: 1-3 рекламные сети |
| Гипотеза |
Определите ожидаемый результат эксперимента. Хотя может показаться нелогичным предсказывать результат до начала, выдвижение гипотезы — важный элемент экспериментального дизайна. Именно гипотеза помогает интерпретировать результаты. Лучшая практика: Сформулируйте легко проверяемую гипотезу, используя конкретные проценты вместо неопределенных оценок. Например:
|
Пример
Следуя вышеуказанным рекомендациям, вы можете определить эксперимент, который будет выглядеть следующим образом.
| Переменные/Гипотеза | Пример |
|---|---|
| Аудитория | Пользователи, завершившие регистрацию, но не совершившие покупку |
| Размер аудитории | 100,000 |
| Кампания | Кампания, предоставляющая купон на скидку пользователям, совершившим покупку в течение определенного периода |
| Процент контрольной группы | 15% от размера аудитории |
| Тестовая группа |
Оставшихся участников аудитории отправьте по адресу:
|
| Гипотеза | Число пользователей тестовой группы, которые взаимодействуют с кампанией ремаркетинга и совершают покупки, будет на 10% выше, чем у пользователей контрольной группы. |
Создайте целевую аудиторию и разделите группы
После того как вы определили свои цели, следующим шагом будет настройка аудитории для тестирования:
- В AppsFlyer Audiences создайте аудиторию (или разделите существующую аудиторию, соответствующую требованиям вашего экспериментального дизайна).
- На вкладке Подключение для выбранной аудитории:
- Подключите аудиторию к 1–3 партнерам по рекламной сети.
-
Убедитесь, что переключатель, который разделяет аудиторию, включён (он автоматически включается для подписчиков Incrementality в аудиториях, созданных после 11 января 2023 года). Если нет, нажмите на переключатель, чтобы включить его.
- Контрольная группа автоматически устанавливается на уровне 15% (рекомендуется).
- Оставшаяся аудитория автоматически делится поровну между выбранными вами партнерами по рекламной сети.
- Общий процент разделения должен быть равен 100% (включая контрольную группу).
После сохранения аудитории с включённым разделением, эксперимент Incrementality автоматически запускается (только для подписчиков Incrementality). Эти эксперименты можно просмотреть на дэшборде "Инкрементность" с префиксом "[Авто]" перед названием.
Важные примечания:
- Во время работы эксперимента не вносите изменения в настройки аудитории. Изменение Партнеров, названия аудитории или других параметров приведет к неточности статистического анализа.
Лучшая практика: После завершения эксперимента, если нужно изменить параметры ранее протестированной аудитории, сначала создайте её копию и изменяйте копию. Это сохранит сохранность исторических данных на дэшборде Incrementality. - Изменение конфигурации разделения и Партнеров текущей аудитории завершит текущий эксперимент инкрементности и начнет новый.
-
Проверьте наличие функций расширения аудитории:
Как Meta реклама, так и Google реклама имеют опциональную функцию, позволяющую кампаниям выходить за пределы настройкок аудитории для увеличения охвата. Если оставить эту функцию включенной, это исказит эксперименты по инкрементности и вызовет неточные результаты. Убедитесь, что эта функция отключена.
В Meta реклама эта функция называется «Преимущество пользовательской аудитории». Она находится на уровне рекламного набора и по умолчанию включена.
В Google реклама это называется «Расширение аудитории».
Запустите кампанию и проведите эксперимент
Выполните следующие действия:
1. Настройте кампании в рекламных сетях
Первый ШАГ — создать кампанию, ориентированную на пользователей вашей аудитории, и запустить её на стороне рекламной сети (для каждой рекламной сети, куда загружается аудитория).
- Важно! Чтобы получить точные результаты тестирования, настройте кампанию так, чтобы она была нацелена только на пользователей тестируемой аудитории; не включайте пользователей из других источников.
- Если тестируемая аудитория является недавно созданной, может потребоваться до 24 часов, прежде чем она станет доступной на платформе рекламной сети.
2. Убедитесь, что с экспериментом связана подходящая кампания.
Новый эксперимент по инкрементальности автоматически запускается при создании новой аудитории с включенным переключателем «Измерение инкрементального воздействия» (или если он включён у уже существующей аудитории). Самая релевантная кампания автоматически связывается с экспериментом, однако при желании вы можете изменить кампанию.
Чтобы связать\/изменить кампанию:
1. На странице Инкрементный дэшборд > выберите конкретный эксперимент > нажмите Изменить эксперимент.
Или
В разделе Аудитории найдите нужную аудиторию > клик + Связать кампанию в столбце Инкрементность.
Откроется окно, позволяющее связать кампании.
2. Выберите соответствующие кампании для каждой рекламной сети.
Примечание: В раскрывающемся меню будут показаны кампании, полученные от ваших медиа партнеров. Когда данные будут доступны, кампании в раскрывающемся списке будут отсортированы по вероятности их использования для маркетинга определённой аудитории. Лучший вариант будет автоматически выбран для вас.
3. Нажмите Сохранить.
Теперь кампания связана с экспериментом.
Создать эксперимент вручную
Если вы являетесь подписчиком Incrementality и создали свою аудиторию после 11 января 2023 года, вам не нужно вручную создавать эксперимент. Эксперименты автоматически создаются для вашей аудитории (и отображаются на дэшборде «Инкрементность» с меткой «[Авто]» перед названием). Если вы хотите создать эксперимент вручную для более старой аудитории или по иной причине, следуйте этим шагам.
Чтобы вручную создать новый эксперимент по инкрементальности:
- В AppsFlyer выберите в боковом меню Оптимизировать > Инкрементность.
- На странице Инкрементные эксперименты нажмите кнопку Новый эксперимент.
-
Следуйте ШАГам в мастере, чтобы создать эксперимент. Подробные инструкции предоставляются по мере прохождения каждого ШАГА.
Примечания
ШАГ 2 мастера – Настройка аудиторий
На втором ШАГЕ мастера вам предлагается выбрать дату, с которой члены аудитории должны быть включены в эксперимент.
По умолчанию - это дата, когда аудитория была первоначально разделена с Контрольной группой. Чтобы обеспечить точность результатов эксперимента, измените эту дату, если актуально следующее:
- Если вы внесли изменения в определение выбранной аудитории (наборы правил сегментации аудиторий, идентификатор пользователя и т. д.) → измените эту дату так, чтобы она соответствовала последней дате внесения изменений.
- Если вы тестируете новую кампанию на уже существующей аудитории → измените дату на день запуска новой кампании.
ШАГ 3 мастера — Установка целей
Здесь можно выбрать целевое Приложение и ключевые показатели эффективности.
Примечание: Все остальные KPI будут доступны по окончании эксперимента, даже если они не были выбраны.
ШАГ 4 мастера – Обзор
На ШАГЕ 4 мастера вам будет предложено установить период эксперимента.
- По умолчанию эксперимент запускается на 30 дней с момента создания. Это минимальный рекомендуемый период для запуска эксперимента.
- Выберите опцию Продолжить эксперимент бесконечно, если вы хотите, чтобы эксперимент продолжался до момента, когда вы решите его завершить.
Проанализируйте результаты
Начальные результаты эксперимента доступны на дэшборде приращения примерно через 48 часов после запуска связанных кампаний в рекламных сетях (обновляется ежедневно). На странице эксперимента могут отображаться уведомления, которые помогают вам выявить проблемы, способные повлиять на точность результатов, и предлагающие действия для их устранения.
Отчеты о необработанных данных приращения доступны через Data Locker.