Data Locker V2.0 high volume multi-app raw-data delivery

At a glance: AppsFlyer deposits the raw data of all your apps into an AWS bucket in near real-time. Data is stored in folders by report type, days, and hours. There is no limitation as to the volume of events that Data Locker supports. Use scripts or other software solutions to ingest the data. 

Types de rapports d'événements disponibles dans Data Locker

DataLockerReports.jpg

Data Locker

Caractéristiques principales

  • Apps : prend en charge plusieurs apps
  • Simplicité : les données sont déposées dans un compartiment Amazon S3 qui gère les caractéristiques de stockage
  • Fiabilité : les données sont stockées dans AWS, ce qui garantit la persistance des données
  • Flexibilité : choisissez les données que vous souhaitez inclure dans les rapports en fonction du champ et de l'événement in-app
  • Granularité : les données sont segmentées en types de rapport, jours et heures
  • Accessibilité : extraction des données si nécessaire

Segmentation des données

Les données dans Data Locker sont segmentées en dossiers comme suit :

  • Types de rapport
  • Jours
  • Heures

Cela signifie que pour chaque type de rapport, pour chaque jour, les données sont séparées dans des dossiers distincts par heure d'arrivée et non par heure d'événement. Par exemple, ../t=installs/dt=2019-01-17/ comprend 25 fichiers. Il y a 24 dossiers pour chaque heure de la journée, de 0 à 23, et un dossier supplémentaire pour les données qui arrivent en retard.

Data freshness: Data is separated into arrival hour folders. That is the hour that the event was deposited to Data Locker. Data Locker folders are written about six hours after the actual event time for real-time events and for Daily reports at about 06:00 UTC. 

Implémentation de Data Locker

Configuration de Data Locker

Prérequis : vous devez être l'administrateur du compte pour configurer Data Locker.

Pour configurer Data Locker :

  1. Dans Appsflyer, allez dans Integration > Data Locker. 
  2. Sélectionnez une ou plusieurs apps. 
  3. Cliquez sur Appliquer
  4. (facultatif) Sources média (par défaut=Tout):Sélectionnez une ou plusieursSources médias à inclure dans les rapports. 
  5. Cliquez sur Appliquer
  6. Sélectionnez le type de rapport : Sélectionnez parmi ;
    • Acquisition: Clicks, Impressions, Installs, In-App Events, Sessions, Uninstalls, Attributed Ad Revenue, Organic Ad Revenue
    • Retargeting: Retargeting Clicks, Retargeting Impressions. Retargeting Conversions, Retargeting In-App Events, Retargeting Ad Revenue
    • Protect 360 : installations bloquées, événements in-app, clics bloqués
    • Attribution basée sur les personnes :conversions Web (disponibles si l'attribution basée sur les personnes est activée). Les données d'attribution basées sur les personnes sont agrégées. Ce rapport se trouve dans le dossier h=23. Exemple t=web_touch_points/dt=2019-07-19/h=23.

      Protect 360 est une solution premium AppsFlyer. 
  7. (facultatif) Événements in-app (par défaut=Tout) Sélectionnez les événements in-app à inclure.
  8. Cliquez sur Appliquer
  9. (facultatif) Champ (par défaut=Tout): Sélectionnez les champs à inclure dans les rapports. Remarque : nous ajoutons régulièrement de nouveaux champs.
  10. (facultatif)  Destinataires liste des emails des personnes à avertir lorsque les rapports sont prêts. Pour ajouter plusieurs destinataires, indiquez les e-mails à l'aide d'une virgule. Par exemple, user1@example.com, user2@example.com.
  11. Cliquez sur Créer un compartiment.

Identifiants de compartiment

Une fois la configuration enregistrée, un compartiment AWS dédié est créé. Les détails du compartiment apparaissent dans le coin supérieur droit de l'écran. Ils incluent le nom du compartiment, le dossier racine et les informations d'identification pour accéder aux données.

data-credentials.png

Le compartiment est accessible uniquement à l'aide des informations d'identification du client (pour des raisons de sécurité). De plus, tous les accès au compartiment sont contrôlés.

Disponibilité des données

  • Les données sont mises à jour toutes les heures après un délai de six heures
  • Chaque fichier comprend les apps sélectionnées 
  • Conservation : les fichiers et dossiers sont disponibles pendant 30 jours. Les données sont effacées après 30 jours

Structure et format des dossiers

  • La structure de dossier est la suivante : af-ext-reports/<Home Folder>/data-locker-hourly/t=<event-type>/dt=<date YYYY-MM-dd>/h=<Hour h>
  • Le dossier d'accueil est le dossier d'accueil qui apparaît dans la fenêtre des informations d'identification (voir les instructions de configuration dans la section précédente) 
  • Par exemple, pour la date 2016-08-12, le rapport correspondant apparaît sous : s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly/t=installs/dt=2016-08-12/
  • Le dossier dt = aaaa-mm-jj est divisé en 25 dossiers horaires. Ces dossiers représentent l'heure d'arrivée de l'événement et non l'heure de l'événement lui-même. Les dossiers sont nommés h=0, h=1, h=2, etc. jusqu'à h=23 et h=late. Par exemple, le dossier h=0 contient les événements qui arrivent entre 00 h et 01 h, tandis que le dossier h=20 contient les événements qui arrivent entre 20 h et 21 h.
  • Dans chaque dossier, les données peuvent être divisées en plusieurs fichiers afin d'éviter les fichiers volumineux. Selon le type de données exportées, les dossiers peuvent contenir jusqu'à 1 000 fichiers. Ce chiffre peut être amené à changer sans notification. Les fichiers sont nommés part-00000, part-00001, part-00002, etc.

  • Dans chaque dossier, le dernier fichier écrit est toujours un fichier vide nommé _SUCCESS. Ce fichier est un indicateur montrant qu'aucune autre nouvelle donnée ne sera écrite dans le dossier. Par conséquent, ne lisez pas les données d'un dossier avant de vérifier que le fichier _SUCCESS existe. Remarque : l'indicateur _SUCCESS est également écrit s'il n'y a aucune autre donnée à écrire dans le dossier.

Dossier Late

Le dossier Late contient les événements de la veille qui sont arrivés après 0000 UTC +0 (minuit) minuit et jusqu'à 02:00 UTC +0. Il contient également l'indicateur _SUCCESS, comme décrit dans le chapitre précédent. Les processus automatisés doivent rechercher les données dans le dossier Late, comme c'est le cas pour tous les autres dossiers de la journée. 

 Exemple

Un événement est reçu par AppsFlyer le 21 janvier à 1h15. L'événement est horodaté au 20 janvier à 18h45. Cet événement étant arrivé en retard, il sera placé dans le dossier Late dans /dt=2019-20-01/h=late.

Structure et format de fichier

  • Les fichiers Data Locker sont basés sur l'extraction de données brutes V5 (voir : Exportation de données brutes V5 ).
  • Le fichier de données réel est au format CSV mais il n'a pas d'extension de fichier.
  • Les fichiers de rapport sont compressés en .gz format (pour rendre le processus de téléchargement efficace).
  • Chaque fichier a une ligne d'en-tête.
  • Les valeurs qui incluent une virgule sont placées entre guillemets, par exemple `"iPhone6,1"`.

Récupération des données depuis Data Locker

AppsFlyer crée un principe AWS (ARN selon les termes d'Amazon) et génère des informations d'identification pour ce principe. Une stratégie est ensuite définie pour permettre au principe de parcourir et de récupérer des fichiers du compartiment.

Vous pouvez accéder aux données à l'aide des outils de ligne de commande AWS et de la plupart des clients FTP. Pour utiliser ces outils, récupérez les informations d'identification, la clé d'accès AWS le code AWS dans la section Identifiants.

Les données sont accessibles à l'aide des outils suivants entre autres :

AWS CLI

Avant de commencer :

  • Installez AWS CLI sur votre ordinateur.
  • Dans AppsFlyer, accédez à Data Locker et récupérez les informations contenues dans le panneau des informations d'identification. Ces informations sont nécessaires pour effectuer cette procédure.

Pour utiliser AWS CLI :

  1. Ouvrez le terminal. Dans Windows, <Windows>+<R>, cliquez sur OK.
    La fenêtre de ligne de commande s'ouvre.
  2. Saisissez aws configure
  3. Saisissez la clé d'accès AWS telle qu'elle apparaît dans le panneau des informations d'identification.
  4. Saisissez votre clé secrète AWS telle qu'elle apparaît dans le panneau des informations d'identification.
  5. Saisissez eu-west-1
  6. Appuyez sur Entrée (aucun)

Utilisez les commandes CLI qui suivent au besoin.

Dans les commandes suivantes, la valeur de {home-folder} peut être trouvée

Pour répertorier les dossiers de votre compartiment

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

Liste des fichiers et des dossiers

Il existe trois types de dossiers dans votre compartiment Data Locker :

  • Type de rapport t=
  • Date dt=
  • Heure h=

Pour répertorier tous les rapports d'un type de rapport spécifique :

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

Pour répertorier tous les rapports d'un type de rapport spécifique pour un jour spécifique :

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Pour répertorier tous les rapports d'un rapport spécifique, à une heure spécifique d'un jour spécifique :

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Cyber Duck

Avant de commencer :

  • Installez le client Cyber Duck.
  • Dans AppsFlyer, accédez à Data Locker et récupérez les informations contenues dans le panneau des informations d'identification. Vous aurez besoin de ces informations pour configurer Cyber Duck. 

Pour configurer Cyber Duck :

  1. Dans Cyber Duck, cliquez sur Action.
  2. Sélectionnez Nouveau signet. La fenêtre s'ouvre.
  3. Dans le premier champ, (marqué [1] dans la capture d'écran qui suit), sélectionnez Amazon S3.

    DataDuckSmall2.png

  4. Remplissez les champs comme suit :
    • Pseudo : texte libre
    • Serveur : s3.amazonaws.com
    • ID de clé d'accès : copiez la clé d'accès AWS telle qu'elle apparaît dans le panneau des informations d'identification dans AppFlyer
    • Clé d'accès secrète : copiez la clé secrète de compartiment telle qu'elle apparaît dans le panneau des informations d'identification dans AppsFlyer.
    • Chemin : {Bucket Name}/{Home Folder} Par exemple : af-ext-reports/1234-abc-ffffffff
  5. Fermez la fenêtre. Pour ce faire, cliquez sur la croix dans le coin supérieur droit de la fenêtre.
  6. Sélectionnez la connexion.
    Les répertoires de données s'affichent.

Navigateur Amazon S3

Avant de commencer :

  • Installez le navigateur Amazon S3.
  • Dans AppsFlyer, accédez à Data Locker et récupérez les informations contenues dans le panneau des informations d'identification. Ces informations sont nécessaires pour effectuer cette procédure.

Pour configurer le navigateur Amazon S3 :

  1. Dans le navigateur S3, cliquez sur Comptes > Ajouter Nouveau compte.
    La fenêtre Ajouter un nouveau compte s'ouvre.

    mceclip0.png

  2. Remplissez les champs comme suit :
    • Nom de compte : texte libre. 
    • ID de clé d'accès :copiez la clé d'accès AWS telle qu'elle apparaît dans le panneau des informations d'identification. 
    • Clé d'accès secrète :copiez la clé secrète de compartiment telle qu'elle apparaît dans le panneau des informations d'identification.
    • Sélectionnez Crypter les clés d'accès avec un mot de passe puis saisissez un mot de passe. Notez ce mot de passe quelque part.
    • Sélectionnez Utiliser le transfert sécurisé. 
  3.  Cliquez sur Enregistrer les modifications.
  4. Cliquez sur Compartiments > Ajouter compartiment externe.
    La fenêtre Ajouter un compartiment externe s'ouvre.

    mceclip2.png

  5. Saisissez le nom du compartiment.Le nom de compartiment est au format suivant : {Bucket Name}/{Home Folder}. Les valeurs nécessaires pour le nom du compartiment et le dossier racine s'affichent dans la fenêtre des informations d'identification. 
  6. Cliquez sur Ajouter un compartiment externe.
    Le compartiment est créé et s'affiche dans le panneau gauche de la fenêtre.
    Vous pouvez maintenant accéder aux fichiers Data Locker. 

Types de rapports disponibles dans Data Locker

  • Le tableau suivant répertorie les rapports disponibles dans Data Locker
  • Les rapports marqués ✓+ sont propres à Data Locker et ne sont pas accessibles par d'autres moyens sur la plateforme.
Catégorie Type de rapport (sujet) Description Trafic Non organique
Acquisition Clics Clics  - ✓+
Retargeting clicks_retargeting Clics en provenance des campagnes de retargeting  - ✓+
Acquisition Impressions Impressions - ✓+
Retargeting impressions_retargeting Impressions des campagnes de retargeting - ✓+
Acquisition installations Installations 
Acquisition inapps Évènements in-app 
Acquisition attributed_ad_revenue Attributed ad revenue -
Acquisition organic_ad_revenue Organic ad revenue -
Retargeting retargeting_ad_revenue Retargeting ad revenue -
Retargeting conversions_retargeting Le retargeting comprend les réengagements et les réattributions -
Retargeting inapp_retargeting Événements in-app provenant de réattributions et de réengagements -
Acquisition Sessions Sessions d'application ✓+ ✓+
Acquisition Désinstallations Désinstallations non organiques  -
Acquisition organic_uninstalls Désinstallations organiques ✓+ -
Protect360 blocked_installs Installations bloquées Protect360 -
Protect360 blocked_inapps Évènement in-app Protect360 bloqués -
Protect360 blocked_clicks Clics bloqués Protect360 -
attribution basée sur l'utilisateur web_events Événements web d'attribution basée sur les personnes ✓+ ✓+
attribution basée sur l'utilisateur web_touch_points Points de contact web d'attribution basée sur les utilisateurs ✓+ ✓+
attribution basée sur l'utilisateur web_to_app People-based attribution web to app ✓+ ✓+
Types de rapports d'événements disponibles dans Data Locker

Utilisation de rapports comme sources de données

Vous pouvez utiliser les données des rapports et les ajouter à vos propres bases de données. Pour extraire les données et les ajouter à vos bases de données, vous devez connaître le format du rapport. Les rapports Data Locker sont basés sur des rapports de données brutes. Cependant, le format de rapport final dépend des champs que vous choisissez d'y inclure.

Format des rapports

Les champs disponibles dans Data Locker sont répertoriés dans le dictionnaire de champs de données V5.0

 Astuce

Les rapports contiennent des données que vous pouvez utiliser pour l'optimisation des campagnes et le retargeting.

Exemples

  • Rapport sur les clics - le rapport sur les clics contient l'IDFA ou l'ID Google Advertising. Vous pouvez utiliser ces ID pour recibler les utilisateurs qui interagissent avec vos publicités mais n'installent pas l'app.
  • Rapport sur les impressions - Comme le rapport sur les clics, le rapport sur les impressions contient également l'IDFA ou l'ID Google Advertising. Vous pouvez utiliser le rapport d'impression pour optimiser les campagnes en fonction des impressions qui ne génèrent pas de clics. Vous pouvez également recibler ces utilisateurs avec des publicités différentes et dans différentes campagnes.
  • Rapport de retargeting et de réattribution - ces rapports contiennent également l'IDFA ou l'ID Google Advertising. Vous pouvez utiliser l'IDFA ou l'ID Google Advertising pour mettre en évidence les utilisateurs que vous parvenez à recibler. Savoir quels utilisateurs vous parvenez à recibler peut vous aider à optimiser les campagnes de retargeting.

Remarque : pour bénéficier de l'IDFA ou de l'ID Google Advertising comme expliqué ci-dessus, assurez-vous de les inclure dans tous vos liens d'attribution.

Rapports horaires

Data Locker sépare les données dans des dossiers horaires. Le dossier horaire représente l'heure de traitement et non l'heure à laquelle l'événement s'est produit. Les données sont écrites dans Data Locker dans les six heures suivant le traitement. 

 Exemple

AppsFlyer reçoit des données d'activité entre 14 h et 15 h le 17 janvier 2019. AppsFlyer commence à traiter les données peu de temps après 15 h. En raison du traitement, les données ne sont pas écrites immédiatement dans Data Locker. Les données du dossier /t=installs/dt=2019-17-01/h=14ne sont pas disponibles le 17 janvier 2019 à 15 h mais plutôt six heures plus tard.

Création de dossiers horaires

Dans les cas où il n'y a pas de données pour une heure spécifique, Data Locker crée un dossier pour cette heure. Ce procédé vous indique qu'il n'y avait pas encore de données dans cette heure. Le dossier contiendra un fichier «_SUCCESS» signifiant que AppsFlyer a terminé l'écriture de ce dossier. Vous devez le prendre en compte lors de la conception de processus automatisés. Cela signifie que vous devez concevoir vos processus de récupération de données afin qu'ils puissent gérer des dossiers horaires vides.

Clics et impressions de SRN par rapport aux non-SRN

  • Les non-SRN utilisent des liens d'attribution AppsFlyer pour les clics et les impressions. Cela fournit à AppsFlyer l'ensemble de données complet de l'engagement. Celui-ci est ensuite écrit dans Data Locker. 
  • Les SRN (réseaux auto-reporting) n'utilisent pas les liens d'attribution AppsFlyer. Par conséquent, ce n'est qu'après l'ouverture d'une app que le SRN partage les informations de clics et d'impressions, qui sont ensuite écrites dans Data Locker. En d'autres termes, AppsFlyer n'a pas connaissance des clics et des impressions qui n'entraînent pas l'ouverture d'une app. Remarque : les rapports de données agrégées incluent tous les clics et impressions, même si aucune app n'a été ouverte. 

Clics et impressions sur Amazon

Les clics et impressions sur Amazon ne sont pas pris en charge. Ils n'apparaissent pas dans les rapports stockés dans Data Locker.

Fuseau horaire et devise

Les paramètres de fuseau horaire et de devise spécifiques à l'app n'ont aucun effet sur les données dans Data Locker.

Fuseau horaire : les rapports Data Locker utilisent le fuseau horaire UTC

Devise : le champ event_revenue_usd est en USD. 

Particularités et limites

Particularités
Particularité Remarques 
Réseaux publicitaires Non utilisé pour les ad networks.
Agences Non utilisé pour les agences.
Fuseau horaire spécifique à l'app Non pris en charge
Devise spécifique à l'app  Non pris en charge
Limitations de taille Ne s'applique pas
Utilisateurs d'applications organiques Prise en charge
Utilisateurs d'applications non organiques Prise en charge
Actualisation des données Les fichiers sont mis à jour toutes les heures avec un décalage de six heures par rapport à l'heure de l'événement.
Données historiques Non pris en charge. Les données d'événement sont envoyées après la configuration de Data Locker. Si vous avez besoin de données historiques, utilisez l'API Pull. 
Accès des membres de l'équipe Les membres de l'équipe ne peuvent pas configurer Data Locker. 
Application unique/applications multiples Prise en charge de plusieurs apps. Data locker est au niveau du compte

Dépannage

  • Symptôme : impossible de récupérer des données via AWS CLI
  • Message d'erreur une erreur s'est produite (accès refusé) lors de l'appel de l'opération ListObjectsV2 : accès refusé
  • Cause : les informations d'identification AWS utilisées ne sont pas les informations d'identification correctes pour le compartiment AppsFlyer. Cela peut être dû au fait que vos informations d'identification sont multiples ou non valides sur votre ordinateur. 
  • Solution :
    1. Utilisez une méthode différente, par exemple Cyber Duck, pour accéder au compartiment, c'est-à-dire non à la CLI. Effectuez cette opération pour vérifier que les informations d'identification que vous utilisez fonctionnent. Si vous pouvez vous connecter à l'aide de Cyber Duck, cela indique un problème avec le cache des informations d'identification. 
    2. Actualisez le cache des informations d'identification AWS.
      Capture d'écran AWSmceclip0.png
Cet article vous a-t-il été utile ?