Вкратце: Понимание оповещений и их устранение для обеспечения точности результатов эксперимента.
Об экспериментальных оповещениях
После того как вы настроите эксперимент по инкрементальности, вы можете столкнуться с оповещениями на дэшборде инкрементальности. Эти оповещения помогают выявить проблемы, которые могут угрожать сохранности и точности результатов вашего эксперимента. Они предоставляют информацию о проблемах и предлагают действия для их решения, чтобы обеспечить точность результатов эксперимента. В этой статье приведен полный обзор различных типов оповещений и рекомендуемых действий для решения проблем.
Типы оповещений
Оповещения об экспериментах делятся на следующие категории:
Настройка эксперимента
Удаление аудитории или контрольной группы
Эксперименты, в которых удалены связанные аудитории или удалена контрольная группа разделенной аудитории. В обоих случаях при посещении страницы эксперимента возникнет ошибка 404.
Для решения проблемы и восстановления результатов эксперимента:
Если аудитория была удалена - обратитесь к вашему CSM для ее ручного восстановления.
Если контрольная группа была удалена - разделите аудиторию заново и установите контрольную группу точно так же, как она была до удаления.
Более подходящая кампания? (только для SRN)
Это оповещение актуально только для сетей самоотчетов (SRN). Оповещение появляется, когда кампания связана с экспериментом, но данные указывают на более подходящую кампанию для более эффективного адресования, нацеливания аудитории.
«Более подходящая кампания» — это активная кампания в период эксперимента, нацеленная на тестовую группу более успешно, чем текущая, и не воздействующая на контрольную группу.
Необходимые действия: Проверьте правильность ссылки на кампанию.
Примечание: Также убедитесь, что аудитория не включена в конфигурации адресования, нацеливания других кампаний.
Нет показов (только для не SRN)
Когда эксперименты по инкрементности проводятся на кампаниях в рекламных сетях, отличных от SRN, AppsFlyer требует данных о Показы пользователей для наиболее точной оценки инкрементного воздействия этих кампаний. Без Показы результаты просто не отобразятся на странице эксперимента.
Это предупреждение описывает ситуацию, в которой по какой-то причине мы не получаем данные о Показы для связанной кампании.
Рекомендуемые действия: Проверьте, получаете ли вы Показы от медиа-партнера и работает ли тестируемая кампания, доставляя реклама.
Фоновая среда эксперимента
Фоновая кампания (одна или несколько)
Это предупреждение возникает, когда существуют несвязанные крупные кампании, которые оказывают более сильное воздействие на аудитории, чем настраиваемая кампания в эксперименте.
Как это возможно?
Не редкость, когда на заднем плане находятся несвязанные кампании, но если эти кампании имеют больший бюджет или работают более интенсивно, они могут затмить настраиваемую кампанию и таким образом повлиять на результаты эксперимента.
Рекомендуемые действия:
- Увеличьте воздействие вашей кампании, повысив бюджет.
- Проверьте, пересекается ли тестируемая аудитория с целевой аудиторией фоновой кампании (это можно проверить с помощью функции пересечения аудитории у партнера).
- Проверьте, пересекается ли тестируемая аудитория с несвязанной фоновой кампанией.
- Ужесточите сегментацию тестируемой аудитории.
- Если были предприняты меры для минимизации воздействия фоновых кампаний, установите дату начала эксперимента после этих изменений.
Примечание: Рекомендуется минимизировать адресование, нацеливание тестируемой аудитории с помощью других кампаний.
Эффективность связанной кампании
Перекрытие аудитории
Связанная кампания нацелена на пересекающиеся аудитории. Это означает, что в конфигурации адресования, нацеливания связанной кампании задействовано более одной аудитории.
Кроме того, несколько аудиторий в конфигурации тестируемой кампании пересекаются. Это приведет к адресованию вне тестируемой аудитории, включая контрольную группу.
Рекомендуемые действия:
Обновите адресование кампании, чтобы оно включало только тестируемую аудиторию и удалите все дополнительные аудитории.
Контрольная группа адресована.
Это предупреждение указывает, что кампания настроена на контрольную группу, хотя должна быть адресована только на тестовую.
Как это возможно?
- Эксперимент был связан с неправильной кампанией.
- Кампания на стороне медиа партнера была настроена на охват пользователей за пределами аудитории (узнайте о функциях расширения аудитории в Facebook и Google).
- Сеть не применяет заданную конфигурацию адресования.
Рекомендуемые действия:
Проверьте перечисленные выше сценарии и при необходимости обратитесь к вашему менеджеру по клиентам. В некоторых случаях, в зависимости от значимости воздействия кампании на контрольную группу, решение отсутствует, и потребуется создать новый эксперимент по приращению.
Если нарушение незначительное, достаточно убедиться, что адресование на контрольную группу прекращено. Отслеживайте предупреждение в интерфейсе эксперимента и проверьте, исчезнет ли оно через несколько дней.
Переключатель детального адресования включен.
Детальное адресование — это функция в некоторых рекламных сетях, позволяющая точно настроить, кто увидит вашу рекламу. Это уведомление появится, если переключатель детального адресования кампании включен. При включении кампания будет адресована вне заданной аудитории.
Необходимые действия:
Убедитесь, что переключатель детального адресования выключен в настройках кампании на стороне партнера.
Низкая активность.
Кампания не показывает рекламу или показывает очень мало рекламы целевой аудитории.
Рекомендуемые действия: Исследуйте проблему на стороне медиа партнера, чтобы понять, почему кампания не показывает рекламу.
Подключено несколько аудиторий.
Конфигурация адресования кампании включает несколько аудиторий. Это может привести к адресованию, нацеливанию на пользователей вне тестируемой аудитории или контрольной группы, что в конечном итоге повлияет на результаты теста.
Рекомендуемые действия:
Одна из лучших практик тестирования инкрементальности заключается в том, что тестируемая кампания должна быть нацелена только на одну аудиторию.
Нацеливание вне аудитории
Тестируемая кампания также нацеливается на пользователей, не входящих в целевую аудиторию тестовой группы. Часть стоимости кампании уходит на показ рекламы пользователям, не связанным с тестируемой аудиторией, и которые не учитываются в тесте на прирост.
Поэтому, при расходовании средств на нерелевантных пользователей, показатели, учитывающие стоимость кампании, такие как iROAS и CPiA, будут предвзятыми. Они учтут всю стоимость кампании, включая расходы на показ рекламы пользователям за пределами целевой аудитории, но не будут учитывать их конверсии.
Как это возможно?
- Эксперимент был связан с неправильной кампанией.
- Кампания на стороне медиа партнера была настроена на охват пользователей за пределами аудитории (узнайте о функциях расширения аудитории в Facebook и Google).
- Сеть не применяет заданную конфигурацию адресования.
Рекомендуемые действия:
Убедитесь, что настройка адресования, нацеливания кампании содержит только тестируемую аудиторию и что конфигурация кампании не позволяет нацеливаться за ее пределами.