Incrementality para la vista general de remarketing

Incrementality de AppsFlyer emplea 2 métodos alternativos para calcular el aumento:

• Intent-to-treat
• Basado en el alcance

Mientras que la metodología basada en el alcance es preferible para los propósitos de evaluar el rendimiento de la campaña, su cálculo requiere la medición de puntos de datos que no son proporcionados por todas las ad networks. Para estas redes, se utiliza en su lugar la metodología intent-to-treat.

Incremento basado en ITT

La metodología experimental de intent-to-treat (ITT) tiene sus fundamentos en la ciencia médica. Usando ITT, los investigadores dividen aleatoriamente una dada población entre un grupo de control que no es tratado y un grupo de prueba que los investigadores intentan tratar. Los investigadores miden la eficacia de un tratamiento dado comparando los resultados de los grupos. El hecho de que un miembro del grupo de prueba haya recibido realmente el tratamiento, no se tiene en cuenta.

Del mismo modo, en el remarketing, la métrica del incremento mide la eficacia de la campaña. No importa si un usuario en el grupo de prueba realmente participó en una campaña (recibió tratamiento) porque es la intención la que es relevante para calcular la incrementalidad. En otras palabras, los resultados se calculan como si cada miembro del grupo de prueba realmente participara en la campaña.

¿Cuándo se utiliza?

Incrementality de AppsFlyer utiliza el cálculo de elevación basado en ITT para las SRN.

Aunque no es el método preferido para medir el aumento en nuestro contexto, ITT sigue siendo un método experimental científicamente sólido, y proporciona resultados válidos cuando el cálculo basado en el alcance no es posible.

Interpretación de los resultados

La suposición subyacente de que todos los miembros del grupo de prueba fueron realmente alcanzados por una campaña, a menudo da lugar a bajas tasas de conversión y, como consecuencia, a un bajo incremento.

Incremento por alcance

Como su nombre indica, el cálculo de aumento basado en el alcance tiene en cuenta si un miembro del grupo de prueba fue realmente alcanzado (se le mostró un anuncio de campaña) antes de convertir. Además de requerir datos adicionales, el cálculo de aumento basado en el alcance también es más complejo en el sentido de que requiere ciertos ajustes matemáticos al grupo de control para ser estadísticamente válido. Estos ajustes son acumulativamente conocidos como la creación de un grupo de control "contrafactual".

¿Cuándo se utiliza?

Incrementality de AppsFlyer utiliza el cálculo de aumento basado en el alcance para no-SRNs (attribution-link networks).

Si bien es el método preferido para calcular el aumento, el cálculo basado en el alcance requiere que las ad networks informen los siguientes datos a AppsFlyer:

• Datos de impresión
• ID de campaña (del enlace de atribución)

Si no se comunican estos datos, la medición de la incrementalidad no está disponible (y se muestra como N/A en el dashboard de Incrementality).

Interpretación de los resultados

Dado que el cálculo del incremento basado en el alcance sólo tiene en cuenta a los miembros del grupo de prueba a los que realmente llegó una campaña, las redes que se miden utilizando la incrementalidad basada en el alcance normalmente mostrarán resultados amplificados (el incremento positivo será mucho mayor y el negativo mucho menor).

Mejores prácticas

Dado que las dos metodologías de cálculo del incremento pueden arrojar resultados muy diferentes, se recomiendan las siguientes buenas prácticas para que la interpretación sea más significativa:

• Cuando crees tus experimentos, selecciona audiencias que se dividan únicamente entre un grupo de control y una o más redes del mismo tipo, ya sea:
  • Redes de enlaces de atribución (no SRN) para el cálculo basado en el alcance; o
  • SRN para el cálculo basado en ITT
• En tus experimentos iniciales, considera la posibilidad de utilizar una audiencia dividida únicamente entre una sola red y un grupo de control. Esto hace menos probable que se realicen comparaciones entre 2 o más redes para las que se utilicen diferentes cálculos de incremento.

Al evaluar la validez de los experimentos de Incrementality, una metodología científica sólida requiere que consideremos la relevancia estadística (el nivel de confianza de que el resultado del incremento no se deba a eventos aleatorios o al azar). 

En el panel de Incrementality, la relevancia se informa como un porcentaje para cada fuente de medios:

• El porcentaje indica la probabilidad de que los resultados de esa fuente de medios se repitan si el experimento se realizara nuevamente en circunstancias similares.
• Si se determina que la relevancia estadística está por debajo del 60%, el dashboard mostrará Resultados no confiables en lugar de un porcentaje.
• La relevancia se ve afectada por el tamaño de la audiencia, la duración del experimento, y el rendimiento de la fuente de medios.

Para métricas a nivel de grupo de prueba (a diferencia de las métricas por usuario), el aumento se calcula en función de un grupo de control escalado. En otras palabras, el tamaño del grupo de control se ajusta para coincidir el tamaño del grupo de control para cada fuente de medios.

La incrementalidad es una función premium. Para comenzar, contacta con tu Customer Success Manager o escribe a hello@appsflyer.com. Después de suscribirte, podrás acceder al dashboard de Incrementality.

Para acceder al dashboard de Incrementality:

1. En AppsFlyer, desde el menú lateral, selecciona Optimizar > Incrementality.
2. Desde la lista de experimentos, haz clic en la fila del experimento para el cual deseas ver el dashboard.

La lógica básica que subyace a la estructura del reporte es la siguiente:

• Usuarios participantes en el experimento-reporte de primera vista
  • En Audiencias, se establecen reglas que caracterizan a los usuarios que se incluirán en el experimento.
  • Cuando se identifica a un usuario determinado que cumple las normas, el suceso se registra en el reporte first_seen.
    • Los usuarios se asignan aleatoriamente a un grupo de prueba o de control indicado por el campo is_control_group.
    • Los usuarios del grupo de prueba se asignan a una fuente de medios(pid_destination) para el retargeting.
• Participación del usuario en la aplicación: La interacción del usuario con la aplicación durante el experimento se registra en reportes específicos para cada contexto:
  • Tipo de engagement: Sesión o evento in-app
  • Estado de atribución del usuario cuando es visto por primera vez: orgánico, no orgánico, reatribución. Por ejemplo, en el pasado, un usuario instalaba la aplicación y se le atribuía carácter orgánico. Así, durante un experimento, el estado de atribución es orgánico.
• Desinstalaciones: usuarios que desinstalan la aplicación durante el experimento. La medida de desinstalación debe estar activa. 

La disponibilidad de campo varía según el tipo de reporte, como se indica a continuación:

Campos exclusivos de Incrementality (por tipo de reporte)

Otros campos del reporte de incrementalidad (por tipo de reporte)