Проведение эксперимента инкрементальности

Премиум

Краткий обзор. Проведите эксперимент инкрементальности, чтобы понять истинную эффективность ваших кампаний ремаркетинга.

KB_toggle_final.jpg

Обзор

Тестирование инкрементальности измеряет реальные показатели ваших кампаний с помощью A/B тестирования, которое точно измеряет «инкрементальный прирост», то есть разницу между конверсиями, которые произошли в результате ваших кампаний ремаркетинга, и теми, которые произошли бы в любом случае.

Результаты имеют решающее значение для понимания фактической ценности от инвестиций в маркетинг. С помощью тестирования инкрементальности вы можете объективно увидеть эффективность определенных каналов и кампаний и принять более обоснованные решения по оптимизации.

AppsFlyer упрощает тестирование инкрементальности благодаря автоматизированному процессу, который начинается с создания аудитории. Новая аудитория автоматически распределяется между подключенными медиапартнерами и контрольной группой с помощью включенного переключателя «Измерять показатели инкрементальности». Контрольная группа — это та часть аудитории, которую удерживают от партнеров и которая является неотъемлемой частью тестирования. После сохранения аудитории автоматически создается эксперимент инкрементальности. После запуска кампаний на стороне партнера и проверки, что подключены нужные кампании, вы сможете просмотреть результаты эксперимента на дэшборде инкрементальности.

Начать

Выполните следующие шаги для начала работы с тестированием инкрементальности. Более подробную информацию о каждом шаге см. ниже в разделе Настройка эксперимента.

  Шаги
1

Определите цели тестирования

Максимально повысьте практичность результатов эксперимента, определив четкие цели тестирования и гипотезу о его результатах.

2

Создайте целевую аудиторию и разделите на группы

В Аудиториях:

  • Настройте аудиторию.
  • Подключите ее к рекламным сетям.
  • Разделение аудитории на тестовую и контрольную группы происходит автоматически, с помощью включенного переключателя (для подписчиков на инкрементальность, в аудиториях, созданных после 11 января 2023 года).

    Аудитории AppsFlyer загружают членов тестовой группы в рекламные сети и удерживают членов контрольной группы. 

3

Запустите кампанию и эксперимент

  • В рекламных сетях создайте и запустите кампанию, нацеленную на пользователей в аудитории.
  • Эксперимент инкрементальности создается автоматически (для подписчиков на инкрементальность). 

Тестовой группе показывают рекламу, а контрольной группе — нет.

4

Проанализируйте результаты

Выводы, полученные в результате хорошо проведенных экспериментов инкрементальности, позволяют оптимизировать маркетинговые кампании для получения максимальной эффективности. Например, результаты помогут вам сделать лучшую рассылку сообщений для каждой целевой аудитории, лучший креатив или продвижение, узнать самый эффективный медиа-источник и многое другое. 

Настройка эксперимента

Определите цели тестирования

Как и в любом эксперименте, важно точно определить, что именно вы проверяете (переменные) и каков ожидаемый результат (гипотеза). В следующей таблице приведены рекомендации для разработки эксперимента: 

Переменные/гипотеза Рекомендации и передовой опыт
Аудитория Опишите аудиторию, которую вы тестируете. Выберите аудиторию, которую вы уже настроили в Аудиториях AppsFlyer, или создайте новую, отвечающую вашим критериям тестирования.
Размер аудитории

Выберите аудиторию с большой пользовательской базой и событие с высокими показателями конверсии. Большой размер выборки с большей вероятностью даст статистически значимые результаты.

 

Рекомендация. Аудитория из не менее 50 000 пользователей, распределенная между 1-3 рекламными сетями + контрольная группа.

Кампания Опишите кампанию (сообщения, стимулы и т.д.).
Контрольная группа % Контрольная группа автоматически устанавливается на 15% от размера аудитории (рекомендуется от 15% до 25%). 
Тестовая группа

Определите рекламные сети, которые вы хотите протестировать. Процент разделения будет делиться между ними поровну (но вы можете настроить процент аудитории, который будет направлен каждой сети).

 

Рекомендация. 1-3 рекламные сети

Гипотеза

Определите ожидаемый результат эксперимента.

Хотя предсказывать результат до начала работы может показаться несколько нелогичным, выдвижение гипотезы является важным элементом эксперимента; именно гипотеза поможет вам интерпретировать результаты.

Рекомендация. Изложите гипотезу, которую легко проверить, используя реальные проценты, а не расплывчатые оценки. Например:

  • На 15% больше пользователей приобретут обновление — это легко проверяемая гипотеза.
  • Значительно больше пользователей приобретут обновление сложнее тестировать.

 Пример

Используя описанные выше рекомендации, вы можете провести эксперимент, который будет выглядеть примерно следующим образом.

Переменные/гипотеза Пример
Аудитория Пользователи, которые завершили регистрацию, но не совершили покупку
Размер аудитории 100 000
Кампания Кампания, которая предоставляет ваучер на скидку пользователям, совершившим покупку в течение определенного периода
Контрольная группа % 15% от размера аудитории
Тестовая группа

Отправьте оставшихся членов аудитории в:

  • Сеть А (42% аудитории)
  • Сеть B (43% аудитории)
Гипотеза Доля пользователей из тестовой группы, которые вовлекутся в кампанию ремаркетинга и совершат покупку, будет на 10% выше, чем доля пользователей из контрольной группы. 

Создайте целевую аудиторию и разделите на группы 

После того, как вы определили цели, следующим шагом будет настройка аудитории, которую вы будете тестировать:

  1. В Аудиториях AppsFlyer создайте аудиторию (или вы можете разделить уже созданную аудиторию, которая отвечает требованиям вашего эксперимента).
  2. На вкладке Подключить для выбранной аудитории:
    • Подключите аудиторию к 1-3 партнерам –рекламным сетям.
    • Убедитесь, что переключатель, который разделяет аудитории, включен (он автоматически включается для подписчиков на инкрементальность, для аудиторий, созданных после 11 января 2023 года). Если нет, нажмите на переключатель, чтобы включить его.

      Measure_inc_impact_toggle.jpg

    • Контрольная группа автоматически устанавливается на 15% от размера аудитории (рекомендуется). 
    • Остальная часть аудитории автоматически распределяется поровну между выбранными вами партнерами — рекламными сетями.
      • Общий процент разделения должен быть равен 100% (включая контрольную группу).

После сохранения аудитории с включенным разделением автоматически запускается эксперимент инкрементальности (только для подписчиков на инкрементальность). Эти эксперименты можно просмотреть на дэшборде инкрементальности с префиксом [Auto] перед названием.

Auto_before_title.jpg

Важно!

  • Пока эксперимент запущен, не вносите никаких изменений в конфигурацию аудитории. Изменение партнеров, названия аудитории или других настроек приведет к неточному статистическому анализу.
    Рекомендация. Даже после окончания эксперимента, если вам необходимо внести изменения в определение ранее протестированной аудитории, сначала продублируйте аудиторию и внесите изменения в новую копию. Это обеспечит постоянную целостность исторических данных на дэшборде инкрементальности.
  • Изменение конфигурации разделения и партнеров существующей аудитории приведет к завершению текущего эксперимента инкрементальности и созданию нового.
  • Проверьте наличие функций расширения аудитории:

И Meta Ads, и Google Реклама имеют дополнительную функцию, которая позволяет таргетировать кампании за пределами настроенного списка аудитории, чтобы расширить охват кампании. Эта функция, если ее оставить включенной, будет мешать экспериментам инкрементальности и приводить к неточным результатам. Убедитесь, что эта функция выключена.

В Meta Ads эта функция называется «Advantage custom audience». Она отображается на уровне группы объявлений и включена по умолчанию. 

image__4_.png
В Google Ads это называется «Audience expansion» (Расширение аудитории).

Google_Ads_Incrementality_limitation_cropped.jpg

Запустите кампанию и эксперимент

Выполните следующие действия:

1. Настройте кампании в рекламных сетях

Первый шаг — создать кампанию, нацеленную на пользователей вашей аудитории, и запустить ее на стороне рекламной сети (для каждой рекламной сети, в которую загружается аудитория).

  • Важно! Для получения точных результатов тестирования настройте кампанию таким образом, чтобы она была нацелена только на пользователей из тестируемой аудитории; не включайте пользователей из других источников.
  • Если тестируемая аудитория является вновь созданной аудиторией, может потребоваться до 24 часов, чтобы аудитория стала доступна на платформе рекламной сети. 

2. Убедитесь, что к эксперименту подключена нужная кампания 

Новый эксперимент инкрементальности запускается автоматически, когда создается новая аудитория с включенным переключателем «Измерять показатели инкрементальности» (или если переключатель вновь включен для уже созданной аудитории). К эксперименту автоматически подключается наиболее релевантная кампания, но при желании вы можете изменить кампанию.

Чтобы подключить/изменить кампанию:

1. На дэшборде инкрементальности > выберите конкретный эксперимент > нажмите Редактировать эксперимент.

Edit_experiment.jpg

 

Или

В разделе Аудитории найдите конкретную аудиторию > нажмите + Подключить кампанию в столбце Инкрементальность.

Link_campaign__audiences_status_.jpg

Появится окно, позволяющее подключить кампании.

Link_campaign_to_experiment_window.jpg

2. Выберите соответствующую кампанию (кампании) для каждой рекламной сети.

Примечание. Выпадающее меню будет содержать кампании, полученные от ваших медиапартнеров. Когда данные будут доступны, кампании в выпадающем меню будут упорядочены по вероятности их использования для маркетинга конкретной аудитории. Лучшие предложения будут предварительно выбраны для вас.

3. Нажмите Сохранить.

Кампания теперь подключена к эксперименту.

 

Создание эксперимента вручную

Если вы являетесь подписчиком на инкрементальность и создали свою аудиторию после 11 января 2023 года, нет необходимости вручную создавать эксперимент. Эксперименты автоматически создаются для ваших аудиторий (и появляются на дэшборде инкрементальности с префиксом [Auto] перед названием). Если вы хотите создать эксперимент вручную на более старой аудитории или по какой-то другой причине, выполните следующие шаги.

Чтобы создать эксперимент инкрементальности вручную:

  • В AppsFlyer перейдите в раздел Дэшборды > Инкрементальность.
  • На странице Эксперименты инкрементальности нажмите кнопку Новый эксперимент.
  • Выполните шаги мастера для создания эксперимента. По ходу выполнения каждого шага даются подробные инструкции.

     Примечания.

    Мастер, шаг 2 Настройка аудитории

    На шаге 2 мастера вам предлагается выбрать дату, с которой члены аудитории должны быть включены в эксперимент.

    По умолчанию это дата, когда аудитория была первоначально разделена с выделением контрольной группы. Для обеспечения точных результатов эксперимента следует изменить эту дату, если имеет место одна из следующих ситуаций:

    Мастер, шаг 3 — Задайте целевые значения

    Step_3_Set_targets.jpg

    Здесь нужно выбрать целевое приложение и KPI.

    Примечание. Все остальные KPI будут доступны в конце эксперимента, даже если они не выбраны.

     

    Мастер, шаг 4 Обзор

    На шаге 4 мастера предлагается задать период эксперимента.

    • По умолчанию эксперимент проводится в течение 30 дней с момента его создания. Это минимальный рекомендуемый период для проведения эксперимента.
    • Выберите опцию Продолжать эксперимент постоянно, если вы хотите, чтобы эксперимент продолжался до тех пор, пока вы сами не решите его завершить. 

Проанализируйте результаты

Первые результаты эксперимента доступны на дэшборде инкрементальности примерно через 48 часов после запуска подключенных кампаний в рекламных сетях (обновляется ежедневно). Вы можете увидеть на странице эксперимента предупреждения, которые помогут вам выявить проблемы, способные нарушить точность результатов, и предложат действия для их устранения.

Отчеты по сырым данным инкрементальности доступны в Data Locker.