En bref : mesurez le saut incrémentiel généré par les campagnes de retargeting
Qu'est-ce que l'incrémentalité ?
La meilleure façon de comprendre le fonctionnement de l’incrémentalité est de voir un exemple :
Supposons que vous ayez récemment lancé une campagne de remarketing. Pour simplifier, disons qu’un seul réseau publicitaire était en jeu. Le taux de conversion de la campagne était de 5 %.
Vous souhaitez maintenant évaluer les performances de la campagne, vous devez donc répondre à des questions aussi cruciales que difficiles :
- Est-ce que 5 % représente un bon taux de conversion pour cette campagne ?
- Comment être sûr que la campagne a réellement généré des conversions supplémentaires ?
- La campagne en valait-elle le prix ?
Afin de répondre objectivement à ces questions, il faut prendre en compte plus que la mesure des conversions. Il faut aussi prendre en compte le nombre d’utilisateurs qui auraient converti de manière organique, même s’ils n’avaient jamais participé à une campagne de remarketing.
Cette différence entre les conversions totales et celles qui auraient eu lieu de toute façon, c’est ce que l’on nomme le saut incrémentiel (ou simplement «l’incrémentalité »), et il est essentiel pour déterminer la véritable valeur d'une campagne. Il peut être assez difficile à mesurer, mais c'est précisément ce à quoi sert la solution d’AppsFlyer Incrementality.
Expériences d'incrémentalité
Avec Incrementality, il est facile de mesurer le saut incrémentiel en créant des expériences qui permettent de mesurer et comparer les comportements de groupes similaires. Ces groupes ne varient que dans la mesure où certains d’entre eux (les « groupes test ») sont soumis à votre campagne, quand un autre groupe (le « groupe témoin ») ne l'est pas.
En savoir plus sur la création et la conduite d'expériences d'incrémentalité
Méthodologie de calcul
Les sections suivantes détaillent les calculs qui amènent aux résultats indiqués indiqués dans le tableau de bord Incrementality.
Saut
AppsFlyer Incrementality utilise 2 méthodes différentes pour calculer le saut :
- Intention-de-toucher (ITT)
- Méthode basée sur l’effectivité
Bien que la méthode basée sur l’effectivité soit préférable pour évaluer les performances des campagnes, son calcul nécessite la mesure de points de données qui ne sont pas proposés par tous les réseaux publicitaires. Pour ces réseaux, la méthode de l’intention-de-traiter sera utilisée.
Remarque
Avant le 16 décembre 2021, le saut était calculé uniquement selon le principe de l’intention-de-traiter. Toutefois, les données des périodes antérieures à cette date ont été mises à jour pour calculer le taux avec la méthode basée sur l’effectivité, le cas échéant. Vous pouvez donc revoir certaines expériences anciennes pour obtenir de nouveaux résultats à la lumière de la nouvelle méthodologie.
Saut basé sur l'ITT
La méthode ITT fonctionne comme une expérience scientifique. En utilisant l’ITT, les chercheurs répartissent aléatoirement une population donnée entre un groupe témoin qui n’est pas traité (touché), et un groupe test que les chercheurs ont l’intention de traiter (toucher). Les chercheurs mesurent l’efficacité d’un traitement donné en comparant les résultats des différents groupes. Le fait qu’un membre du groupe test ait effectivement été traité ou non n’est pas pris en considération.
De même, dans le remarketing, le saut vient mesurer l’efficacité de la campagne. Peu importe qu'un utilisateur du groupe test ait réellement interagi avec une campagne (il a été traité), car c'est uniquement l'intention qui est valable dans le calcul de l'incrémentalité. En d’autres termes, les résultats sont calculés comme si chaque membre du groupe test a réellement participé à la campagne.
Quand est-il utilisé ?
AppsFlyer Incrementality calcule le saut en se basant sur l’ITT pour les SRN.
Bien que ce ne soit pas la meilleure méthode pour mesurer le saut dans notre contexte, l'ITT reste une méthode expérimentale avec un fondement scientifique, il fournit de bons résultats lorsque le calcul basé sur l’effectivité n'est pas disponible.
Interprétation des résultats
L’hypothèse selon laquelle tous les membres du groupe test ont été véritablement touchés par une campagne produit souvent des taux de conversion bas, et de fait : un faible saut incrémentiel.
Saut basé sur l’effectivité
Comme son nom l'indique, le calcul du saut basé sur l’effectivité prend en compte si un membre du groupe de test a été effectivement touché (a consulté la publicité d’une campagne) avant la conversion. En plus de nécessiter des données supplémentaires, le calcul du saut basé sur l’effectivité est aussi plus complexe puisqu’il nécessite d’opérer des ajustements mathématiques sur le groupe témoin afin d'être valide. Ces ajustements nécessitent la création d’un groupe témoin « contrefactuel ».
Quand est-il utilisé ?
AppsFlyer Incrementality calcule le saut avec la méthode basée sur l’effectivité pour les réseaux non-SRN (réseaux à liens d'attribution).
Bien qu'il s'agisse de la méthode privilégiée pour calculer le saut, le calcul basé sur l’effectivité nécessite que les réseaux publicitaires transmettent les données suivantes à AppsFlyer :
- Données d'impression
- ID de campagne (à partir du lien d'attribution)
Si ces données ne sont pas transmises, la mesure de l'incrémentalité n'est pas disponible (et s'affiche comme N/A dans le tableau de bord d'incrémentalité).
Interprétation des résultats
Comme le calcul du saut basé sur l’effectivité ne prend en compte que les membres du groupe test qui ont été effectivement touchés par une campagne, les réseaux mesurés via l'incrémentalité basée sur l’effectivité afficheront généralement des résultats gonflés (le saut positif sera beaucoup plus grand et le saut négatif sera beaucoup plus bas).
Recommandations
Vu que les deux méthodes de calcul du saut peuvent donner des résultats très différents, nous vous recommandons les pratiques suivantes pour obtenir des résultats fiables :
-
Lors de la création de vos expériences, sélectionnez des audiences réparties uniquement entre un groupe témoin et un ou plusieurs réseaux du même type, c’est-à-dire :
- Des réseaux de liens d'attribution (non-SRN) pour le calcul basé sur l’effectivité ; ou
- Des SRN pour le calcul basé sur l'ITT
- Lors des premières expériences, nous vous conseillons d’utiliser une audience divisée uniquement entre un réseau unique et un groupe témoin. Vous réduirez ainsi les chances que des comparaisons soient faites entre les réseaux pour lesquels s’appliquent des méthodes de calcul du saut différentes.
Probabilité statistique
Pour évaluer la validité mathématique des expériences d'incrémentalité, il faut prendre en compte la probabilité statistique (c’est-à-dire le niveau de confiance dans le fait que le saut obtenu n'est pas dû à des événements aléatoires, ou au hasard).
Dans le tableau de bord d'incrémentalité, la probabilité statistique est indiquée sous forme de pourcentage pour chaque source média :
- Le pourcentage indique la probabilité que les résultats pour cette source média seront identiques si l’expérience est renouvelée dans les mêmes conditions.
- Si la probabilité statistique est inférieure à 60 %, le tableau de bord affichera des résultats non fiables à la place d'un pourcentage.
- La probabilité statistique varie en fonction de la taille de l’audience, la durée de l’expérience et des performances de la source média.
Groupe témoin mis à l'échelle
Exemple
Voyons le scénario suivant :
- Taille du groupe test pour le réseau A = 100 membres
- Taille du groupe témoin = 90 membres
- Résultats de l'expérience :
- Le réseau A a enregistré 40 conversions
- Le groupe témoin a produit 20 conversions
- Les conversions totales seront ajustées en fonction de la taille du groupe témoin présumée (mise à l’échelle) de 100 membres :
-
Nombre de membres présumé - Nombre de membres réel = 100 - 90 = 11%
Nombre de membres réels 90
- Conversions incrémentielles réelles + 11 % = 20 x 1,11 = 22
-
Nombre de membres présumé - Nombre de membres réel = 100 - 90 = 11%
Le saut sera calculé sur la base d'un groupe témoin ajusté à 100 membres, et de 22 conversions incrémentielles.
Tableau de bord d'incrémentalité
Accéder au tableau de bord
Pour ouvrir le tableau de bord d'incrémentalité :
- Dans AppsFlyer, dans le menu latéral, sélectionnez Optimiser > Incrémentalité.
- Dans la liste des expériences, cliquez sur la ligne correspondant à l’expérience pour laquelle vous souhaitez ouvrir le tableau de bord.
Visite guidée du tableau de bord
| Composant | Description | |||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
|
Barre des filtres |
Mesure : sélectionne la mesure que vous souhaitez afficher dans le tableau de bord
Votre choix dans le filtre Mesure détermine quelles mesures s’affichent dans le tableau de bord.
Événement : sélectionne l’événement in-app pour lequel vous souhaitez afficher les données dans le tableau de bord.
Source média : filtre le tableau de bord pour afficher une ou plusieurs des sources média testées dans l’expérience.
Période : filtre l'analyse incrémentale de l'audience en fonction de période sélectionnée. |
||||||||||||||||||||||
|
|
Bilan de l'expérience |
Résume toute l'expérience avec des résultats centralisés et en accès rapide.
|
||||||||||||||||||||||
|
|
Volet Probabilité statistique | Affiche la probabilité statistique des résultats affichés dans le tableau de bord | ||||||||||||||||||||||
|
|
Volet Mesures principale |
La mesure qui s’affiche dépend de votre sélection dans le filtre Mesure, comme indiqué ci-dessous.
Remarque : Le calcul des mesures affichées dans le volet principal nécessite des données de coût. Par conséquent, ces mesures ne sont disponibles que pour les abonnés à ROI360 . Si les données de coût et/ou de revenu nécessaires ne sont pas disponibles (pour cette raison ou une autre), la mesure concernée affichera comme résultat N/A. |
||||||||||||||||||||||
|
|
Volet Taille ciblée et effectivité |
Taille ciblée : le nombre d'utilisateurs distincts, pour chaque source média, qui ont été ajoutés à l'audience pour la première fois sur la période de l'expérience
Effectivité : le pourcentage de la cible qui a effectivement vu une publicité de la campagne dans la source média concernée
|
||||||||||||||||||||||
|
|
Volet Sait au niveau du groupe test |
Affiche la mesure incrémentielle totale et le saut pour le groupe test (par source média) :
|
||||||||||||||||||||||
|
|
Volet Saut par utilisateur |
Affiche les mesures incrémentielles et le saut par utilisateur (par source média) :
|
||||||||||||||||||||||
|
|
Diagramme des tendances |
Affiche la mesure/le saut incrémentiel par utilisateur sur la période de l'expérience :
|
||||||||||||||||||||||
|
|
Commandes d’affichage du graphique des tendances |
Utilisez les commandes d'affichage pour choisir les options d'affichage et de téléchargement du graphique des tendances :
Utilisez le bouton Exporter pour télécharger les données sous forme de rapport au format CSV.
Description des termes employés dans le rapport
|
Rapports de données brutes
Les rapports de données brutes d'incrémentalité vous permettent d’analyser l'interaction des utilisateurs avec les campagnes de remarketing :
- Contenu : données au niveau des lignes des utilisateurs participant aux expériences d’incrémentalité.
-
Disponibilité :
- Via Data Locker
- Actualisation des données : tous les jours de 19:00 à 23:00 UTC
Téléchargez ici des exemples de fichiers de données brutes d'incrémentalité
Rapports disponibles
| Catégorie | Nom du rapport |
Dossier Data Locker |
|---|---|---|
|
Première-vue |
Utilisateurs qui visualisent pour la première fois |
incrementality_first_seen_users |
|
Événements in-app |
Événements in-app organiques |
incrementality_organic_inapps |
|
Événements in-app non organiques |
incrementality_inapps | |
|
Réattributions d'événements in-app |
incrementality_inapps_reattr | |
|
Sessions
|
Sessions organiques |
incrementality_organic_sessions |
|
Sessions non-organiques |
incrementality_sessions | |
|
Réattributions des sessions |
incrementality_sessions_reattr | |
|
Désinstallations |
Désinstallations |
incrementality_uninstalls |
Fonctionnement du rapport
La logique de base de la structure du rapport est la suivante :
-
Utilisateurs participant à l'expérience – Rapport première-vue
- Dans Audiences, des règles sont définies pour caractériser les utilisateurs à inclure dans l'expérience.
- Lorsqu'un utilisateur lambda est identifié comme répondant aux règles, l'événement est enregistré dans le rapport first_seen (première-vue) .
- Les utilisateurs sont affectés aléatoirement à un groupe test ou témoin, indiqué par le champ is_control_group .
- Les utilisateurs du groupe test sont affectés à une source média (pid_destination) pour le retargeting.
-
Engagement des utilisateurs dans l'application : L'engagement de l'utilisateur dans l'application au cours de l'expérience est enregistré dans des rapports propres au contexte :
- Type d'engagement : Session ou événement in-app
- Statut d'attribution de l'utilisateur lorsque l'utilisateur visualise pour la première fois : organique, non organique, réattribution. Par exemple, un utilisateur a un jour installé l’application et a été attribué comme organique. Ainsi, lors d’une expérience, son statut d’attribution sera organique.
- Désinstallations : Les utilisateurs désinstallent l'app au cours de l'expérience. La mesure des désinstallations doit être active.
Caractéristiques et champs des données
La disponibilité des champs varie selon le type de rapport, comme indiqué ci-dessous :
Champs spécifiques à l'incrémentalité (par type de rapport)
| Champ | Description | Première vue | Événements in-app | Sessions | Désinstallations |
|---|---|---|---|---|---|
| is_control_group | Si true, l'utilisateur fait partie du groupe témoin | Y | Y | Y | Y |
| pid_destination | La source média où l'utilisateur est envoyé | Y | Y | Y | Y |
| audience_id | Identifiant unique | Y | Y | Y | Y |
| joined_audience_date | Date où l'utilisateur a rejoint l'audience pour la première fois | Y | Y | Y | Y |
| audience_name | Nom de l’audience (n’est pas unique) | Y | Y | Y | Y |
| tm | Heure de la journée | Y | Y | Y | |
| timestamp | Horodatage de l'événement AAAA-MM-JJ HH:MM | Y | Y | ||
| app_ids | ID d'app associés aux règles de l’audience | Y |
Autres champs du rapport d'incrémentalité (par type de rapport)
| Champ | Nom d'affichage* | Première-vue | Événements in-app | Sessions | Désinstallations |
|---|---|---|---|---|---|
| advertising_id | ID publicitaire (GAID) | Y | Y | Y | Y |
| android_id | ID Android | Y | Y | ||
| app_id | ID d'app | Y | Y | Y | Y |
| app_name | Nom de l'app | Y | Y | ||
| app_version | Version de l'app | Y | Y | ||
| appsflyer_id | ID AppsFlyer | Y | Y | Y | |
| revenue_alt | Devise spécifique à l'app | Y | |||
| bundle_id | ID de bundle | Y | Y | ||
| country | Code pays | Y | Y | Y | |
| currency | Code de la devise | Y | Y | Y | |
| customer_user_id | ID utilisateurdu client | Y | Y | ||
| brand | Marque de l'appareil | Y | Y | ||
| device_category | Catégorie de l'appareil | Y | Y | ||
| model | Modèle de l'appareil | Y | Y | ||
| device_model | Modèle de l'appareil | Y | Y | ||
| device_type | Type d'appareil | Y | Y | ||
| event_name | Nom de l'événement | Y | Y | Y | |
| event_revenue | Revenu des évènements | Y | |||
| event_revenue_currency | Devise du revenu des évènements | Y | |||
| event_revenue_u_s_d | Revenu de l'évènement en USD | Y | |||
| event_time | Heure de l'évènement | Y | Y | Y | |
| event_value | Valeur de l'événement | Y | Y | ||
| idfa | IDFA | Y | Y | Y | Y |
| idfv | IDFV | Y | Y | ||
| imei | imei | Y | Y | ||
| is_purchase_validated | Est validé par reçu | Y | |||
| os_version | Version OS | Y | Y | ||
| platform | Plateforme | Y | Y | Y | |
| sdk_version | Version du SDK | Y | Y | ||
| * Selon les spécifications des données brutes | |||||
Spécifications et limitations de l'incrémentalité
| Caractéristique | Remarques |
|---|---|
| Accès du réseau publicitaire | Non disponible |
| Autorisations de l'agence |
Non disponible. L'incrémentalité est disponible uniquement pour les comptes annonceur.
|
| Transparence de l'agence | Vous pouvez mesurer les campagnes menées par les agences dont la transparence est activée. |
| Fuseau horaire | UTC |
| Devise | USD |
| Données organiques | Oui |
| Données non organiques | Oui |
| Actualisation des données |
Tableau de bord : tous les jours à 18:00 UTC pour le jour précédent Rapports de données brutes dans Data Locker : tous les jours de 19:00 à 23:00 pour le jour précédent |
| Données historiques |
N/A |
| Accès utilisateur du compte | Oui (selon autorisations du compte) |