Руководство по инкрементальности

Инкрементальность AppsFlyer использует 2 альтернативных метода расчета прироста:

• Рандомизированная выборка (Intent-to-treat, ITT)
• На основе охвата

Хотя методология, основанная на охвате, предпочтительнее для оценки эффективности кампании, ее расчет требует измерения точек данных, предоставляемых не всеми рекламными сетями. Для этих сетей вместо этого используется методология "intent-to-treat".

Прирост на основе ITT

Экспериментальная методология Intent-to-treat (ITT) берет свое начало в медицинской науке. Используя метод ITT, исследователи случайным образом делят определенную популяцию на контрольную группу, которая не получает лечения, и тестовую группу, которую исследователи собираются лечить. Исследователи оценивают эффективность того или иного лечения, сравнивая результаты групп. При этом не учитывается, получал ли член тестовой группы лечение на самом деле.

Аналогично, в ремаркетинге метрика прироста измеряет эффективность кампании. Неважно, действительно ли пользователь в тестовой группе участвовал в кампании (получил лечение), потому что при расчете инкрементальности важно именно намерение. Другими словами, результаты рассчитываются так, как если бы каждый член тестовой группы действительно участвовал в кампании.

Когда используется метод?

Инкрементальность AppsFlyer использует расчет прироста на основе ITT для SRN.

Несмотря на то, что в наших условиях этот метод не является предпочтительным для измерения прироста, ITT остается научно обоснованным экспериментальным методом и позволяет получить достоверные результаты в тех случаях, когда расчеты на основе охвата невозможны.

Интерпретация результатов

Предположение о том, что все члены тестовой группы действительно были охвачены кампанией, часто приводит к низким коэффициентам конверсии и, как следствие, к низкому инкрементальному приросту.

Прирост на основе охвата

Как следует из названия, расчет прироста на основе охвата учитывает, был ли участник тестовой группы охвачен (ему было показано рекламное объявление кампании) до конверсии. Помимо того, что расчет прироста на основе охвата требует дополнительных данных, он еще и более сложен, поскольку для получения статистической достоверности требует определенных математических поправок к контрольной группе. Эти корректировки в совокупности известны как создание "контрфактической" контрольной группы.

Когда используется метод?

Инкрементальность AppsFlyer использует расчет прироста на основе охвата для не-SRN (сетей, использующих ссылки атрибуции).

Хотя это предпочтительный метод расчета прироста, расчет на основе охвата требует, чтобы рекламные сети сообщали AppsFlyer следующие данные:

• Данные о показах
• Идентификатор кампании (из ссылки атрибуции)

Если эти данные не представлены, измерение инкрементальности недоступно (и отображается как N/A на дэшборде инкрементальности).

Интерпретация результатов

Поскольку при расчете прироста на основе охвата учитываются только те члены тестовой группы, которые действительно были охвачены кампанией, сети, которые измеряются с помощью инкрементальности на основе охвата, обычно показывают увеличенные результаты (положительный прирост становится намного выше, а отрицательный — намного ниже).

Практические рекомендации

Поскольку две различные методики расчета прироста могут давать существенно отличающиеся результаты, для более точной интерпретации рекомендуется использовать следующие передовые методы:

• При проведении экспериментов выбирайте аудитории, которые разделены только внутри контрольной группы и одной или нескольких сетей одного типа:
  • сети со ссылками атрибуции (не-SRN) для расчета на основе охвата; или
  • SRN для расчета на основе ИТТ
• В своих первых экспериментах рассмотрите возможность использования аудитории, разделенной только между одной сетью и контрольной группой. Это снижает вероятность сравнения двух или более сетей, для которых используются разные расчеты прироста.

При оценке достоверности экспериментов инкрементальности научная методология требует учитывать статистическую значимость (уровень уверенности в том, что результат прироста не является следствием случайных событий или просто случая). 

На дэшборде инкрементальности значимость отображается в процентах для каждого медиа-источника:

• Процент показывает вероятность того, что результаты по данному медиа-источнику повторятся, если эксперимент будет проведен снова при аналогичных обстоятельствах.
• Если статистическая значимость определена ниже 60%, на дэшборде вместо процентного показателя будет отображаться Недостоверные результаты.
• На значимость влияют размер аудитории, продолжительность эксперимента и характеристики медиа-источника.

Чтобы получить доступ к дэшборду инкрементальности:

1. В AppsFlyer в боковом меню выберите Оптимизация > Инкрементальность.
2. В списке экспериментов нажмите на строку эксперимента, для которого вы хотите увидеть дэшборд.

Основная логика, лежащая в основе структуры отчета, выглядит следующим образом:

• Пользователи, участвующие в эксперименте — отчет Новые пользователи
  • В разделе Аудитории задаются правила, характеризующие пользователей, которых необходимо включить в эксперимент.
  • Когда определенный пользователь соответствует правилам, событие записывается в отчет first_seen (новые пользователи).  
    • Пользователи случайным образом распределяются в тестовую или контрольную группу, о чем свидетельствует поле is_control_group .
    • Пользователи в тестовой группе распределяются по медиа-источникам (pid_destination) для ретаргетинга.
• Вовлечение пользователей в использование приложения: Взаимодействие пользователей с приложением во время эксперимента фиксируется в контекстных отчетах: 
  • Тип вовлечения: Сессия или событие в приложении
  • Статус атрибуции пользователя при его первом использовании приложения: Органический, неорганический, реатрибуция. Например, в прошлом пользователь устанавливал приложение и был атрибутирован как органический. Таким образом, во время эксперимента статус атрибуции является органическим.  
• Удаления: Пользователи, удалившие приложение во время эксперимента. Измерение удалений должно быть включено. 

Доступность полей зависит от типа отчета, как указано ниже:

Поля, уникальные для инкрементальности (по типам отчета)

Другие поля отчета инкрементальности (по типам отчета)