Utilisation de Data Locker : les données brutes déposées dans un compartiment S3

En bref : Data Locker dépose les données brutes dans un compartiment AWS S3 en temps quasi réel. Le volume des données est illimité. Les données sont conservées durant 30 jours. 

Data Locker

Principales fonctionnalités de Data Locker

  • Apps : prend en charge plusieurs applications qui s'accumulent automatiquement au fur et à mesure que vous les ajoutez.
  • Simplicité : les données sont déposées dans un compartiment Amazon S3 qui gère les caractéristiques de stockage
  • Fiabilité : les données sont stockées dans AWS, ce qui garantit la persistance des données
  • Flexibilité : choisissez les données que vous souhaitez inclure dans les rapports en fonction du champ et de l'événement in-app
  • Granularité : les données sont segmentées en types de rapport, jours et heures
  • Accessibilité : extraction des données si nécessaire
  • Fraîcheur des données  :: un décalage d'utilisation de 6 heures ou quotidien selon le type de rapport. Le décalage est le même (6 heures) quel que soit le fuseau horaire de l'application.
Catégorie Type de rapport (sujet) Fraîcheur des données* Organique* Non organique*
Acquisition des utilisateurs Clics Décalage de 6 heures - ✓+
Retargeting clicks_retargeting Décalage de 6 heures - ✓+
Acquisition des utilisateurs Impressions Décalage de 6 heures - ✓+
Retargeting impressions_retargeting Décalage de 6 heures - ✓+
Acquisition des utilisateurs installations Décalage de 6 heures
Acquisition des utilisateurs inapps Décalage de 6 heures
Acquisition des utilisateurs attributed_ad_revenue Daily* -
Acquisition des utilisateurs organic_ad_revenue Daily* -
Retargeting retargeting_ad_revenue Daily* -
Retargeting conversions_retargeting Décalage de 6 heures -
Retargeting inapps_retargeting Décalage de 6 heures -
Retargeting retargeting_sessions Décalage de 6 heures - ✓+
Acquisition des utilisateurs Sessions Décalage de 6 heures ✓+ ✓+
Acquisition des utilisateurs Désinstallations Décalage de 6 heures -
Acquisition des utilisateurs organic_uninstalls Quotidien ✓+ -
Protect360 blocked_installs Décalage de 6 heures -
Protect360 blocked_inapps Décalage de 6 heures -
Protect360 blocked_clicks Décalage de 6 heures -
Protect360 [FF] post_attribution_installs Quotidien -
People-Based Attribution web_events Quotidien ✓+ ✓+
People-Based Attribution web_touch_points  Quotidien ✓+ ✓+
People-Based Attribution [FF] web_to_app Quotidien ✓+ ✓+
People-Based Attribution [FF] conversion-paths Quotidien ✓+ ✓+

* Clé des abréviations

✓+ rapports spécifiques à Data Locker

[FF] Report fields are fixed by Appsflyer.  They are not related to the fields selected for inclusion in reports.

Décalage de 6 heures : les données sont séparées dans des dossiers par heure d'arrivée. Il s'agit de l'heure à laquelle l'événement a été déposé dans Data Locker. Certains dossiers Data Locker sont rédigés environ six heures après l'heure effective de l'événement, en ce qui concerne les événements en temps réel.Il y a 24 dossiers pour chaque heure de la journée, de 0 à 23, et un dossier supplémentaire pour les données qui arrivent en retard.Le décalage est le même quel que soit le fuseau horaire de l'application.

Daily: Reports having a data freshness rate of daily are written to the h=23 folder. These reports are typically available at 06:00-12:00 UTC in the h=23 folder of the preceding day. For example, the report for data generated during Monday is in the Monday H=23 folder. The data is available after 06:00 UTC on Tuesday.

Daily*: Ad revenue data is available after 2 days, meaning that data generated during Monday, becomes available in the Monday H=23 folder after 06:00 UTC on Wednesday.

Types de rapports disponibles dans Data Locker

Segmentation des données

DataLockerFolders_us-en.png

Les données du compartiment sont segmentées en dossiers comme suit :

  • t=sujet
  • dt=date
  • h=heure

Cela signifie que pour chaque type de rapport, pour chaque jour, les données sont séparées dans des dossiers distincts par heure d'arrivée et non par heure d'événement. Par exemple, ../t=installs/dt=2019-01-17/ comprend 25 fichiers.

Pour comprendre la structure des dossiers et le fonctionnement de la segmentation horaire, consultez la structure et le format des dossiers.

Implémentation de Data Locker

Configuration de Data Locker

Condition préalable : seul l'administrateur peut configurer Data Locker. Les membres d'équipe peuvent visualiser les paramètres.

AppsFlyerAdmin_us-en.png Pour configurer Data Locker

  1. Dans Appsflyer, allez dans Integration > Data Locker. 
  2. Sélectionnez une, plusieurs ou l'ensemble des apps. Sélectionnez tout pour inclure automatiquement les apps que vous ajouterez à l'avenir.
  3. Cliquez sur Appliquer
  4. (facultatif) Sources média (par défaut=Tout. Signifie que les sources média ajoutées à l'avenir seront ajoutées automatiquement.) : Sélectionnez une ou plusieurs sources média à inclure dans les rapports. 
  5. Cliquez sur Appliquer
  6. Sélectionnez un ou plusieurs types de rapport.
  7. [facultatif] Événements in-app (par défaut=Tout. Signifie que les événements in-app ajoutés à l'avenir seront ajoutés automatiquement.) : Sélectionnez les événements in-app à inclure. Si vous avez plus de 100 types d'événements in-app, vous ne pouvez pas lancer de recherche pour les trouver. Saisissez leur nom exact pour les sélectionner.  
  8. Cliquez sur Appliquer
  9. [optional] Fields (default=All): Select the fields to include in the reports. Note: We add fields from time to time take this into account in your data import process..
  10. Cliquez sur Créer un compartiment.

Identifiants de compartiment

Une fois la configuration enregistrée, un compartiment AWS dédié est créé. Les détails du compartiment apparaissent dans le coin supérieur droit de l'écran. Ils incluent le nom du compartiment, le dossier racine et les informations d'identification pour accéder aux données.

data-credentials.png

  • Le compartiment est accessible uniquement à l'aide des informations d'identification.
  • Tout accès au compartiment est contrôlé.
  • Le propriétaire du compartiment est AppsFlyer. Nous avons une autorisation de lecture/écriture.
  • Le propriétaire de l'app a pris connaissance de l'autorisation.

Disponibilité des données

  • Les données sont mises à jour toutes les heures après un délai de six heures
  • Chaque fichier comprend les apps sélectionnées 
  • Conservation : les fichiers et dossiers sont disponibles pendant 30 jours. Les données sont effacées après 30 jours

Structure et format des dossiers

  • La structure de dossier est la suivante : af-ext-reports/<Home Folder>/data-locker-hourly/t=<event-type>/dt=<date YYYY-MM-dd>/h=<Hour h>
  • Le dossier d'accueil est le dossier d'accueil qui apparaît dans la fenêtre des informations d'identification (voir les instructions de configuration dans la section précédente) 
  • Par exemple, pour la date 2016-08-12, le rapport correspondant apparaît sous : s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly/t=installs/dt=2016-08-12/
  • Le dossier dt = aaaa-mm-jj est divisé en 25 dossiers horaires. Ces dossiers représentent l'heure d'arrivée de l'événement et non l'heure de l'événement lui-même. Les dossiers sont nommés h=0, h=1, h=2, etc. jusqu'à h=23 et h=late. Par exemple, le dossier h=0 contient les événements qui arrivent entre 00 h et 01 h, tandis que le dossier h=20 contient les événements qui arrivent entre 20 h et 21 h.
  • Dans chaque dossier :

    • Les données peuvent être divisées en plusieurs fichiers afin d'éviter les fichiers volumineux.  Les fichiers sont nommés : part-00000, part-00001, part-00002, etc. Il peut y avoir jusqu'à 1000 fichiers. Nous sommes susceptibles d'augmenter ce nombre à l'avenir sans préavis.

    • Le dernier fichier écrit est toujours un fichier vide nommé _SUCCESS. Ce fichier est un indicateur montrant qu'aucune autre nouvelle donnée ne sera inscrite dans le dossier. Par conséquent, ne lisez pas les données d'un dossier avant de vérifier que le fichier _SUCCESS existe. Remarque : l'indicateur _SUCCESS est également écrit s'il n'y a aucune autre donnée à écrire dans le dossier.

Dossier Late

Le dossier Late contient les événements de la veille qui sont arrivés après 0000 UTC +0 (minuit) minuit et jusqu'à 02:00 UTC +0. Il contient également l'indicateur _SUCCESS, comme décrit dans le chapitre précédent. Les processus automatisés doivent rechercher les données dans le dossier Late, comme c'est le cas pour tous les autres dossiers de la journée. 

 Exemple

Un événement est reçu par AppsFlyer le 21 janvier à 1h15. L'événement est horodaté au 20 janvier à 18h45. Cet événement étant arrivé en retard, il sera placé dans le dossier Late dans /dt=2019-20-01/h=late.

Structure et format de fichier

  • Les fichiers Data Locker sont basés sur l'extraction de données brutes V5 (voir : Exportation de données brutes V5 ).
  • Le fichier de données réel est au format CSV mais il n'a pas d'extension de fichier.
  • Les fichiers de rapport sont compressés en .gz format (pour rendre le processus de téléchargement efficace).
  • Chaque fichier a une ligne d'en-tête.
  • Les valeurs qui incluent une virgule sont placées entre guillemets, par exemple `"iPhone6,1"`.

Récupération des données depuis Data Locker

AppsFlyer crée un principe AWS (ARN selon les termes d'Amazon) et génère des informations d'identification pour ce principe. Une stratégie est ensuite définie pour permettre au principe de parcourir et de récupérer des fichiers du compartiment.

Vous pouvez accéder aux données à l'aide des outils de ligne de commande AWS et de la plupart des clients FTP. Pour utiliser ces outils, récupérez les informations d'identification, la clé d'accès AWS le code AWS dans la section Identifiants.

Les données sont accessibles à l'aide des outils suivants entre autres :

AWS CLI

Avant de commencer :

  • Installez AWS CLI sur votre ordinateur.
  • Dans AppsFlyer, accédez à Data Locker et récupérez les informations contenues dans le panneau des informations d'identification. Ces informations sont nécessaires pour effectuer cette procédure.

Pour utiliser AWS CLI :

  1. Open the terminal. To do so in Windows, <Windows>+<R>, click OK.
    The command line window opens.
  2. Saisissez aws configure
  3. Saisissez la clé d'accès AWS telle qu'elle apparaît dans le panneau des informations d'identification.
  4. Saisissez votre clé secrète AWS telle qu'elle apparaît dans le panneau des informations d'identification.
  5. Saisissez eu-west-1
  6. Appuyez sur Entrée (aucun)

Utilisez les commandes CLI qui suivent au besoin.

Dans les commandes suivantes, la valeur de {home-folder} peut être trouvée

Pour répertorier les dossiers de votre compartiment

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

Liste des fichiers et des dossiers

Il existe trois types de dossiers dans votre compartiment Data Locker :

  • Type de rapport t=
  • Date dt=
  • Heure h=

Pour répertorier tous les rapports d'un type de rapport spécifique :

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

Pour répertorier tous les rapports d'un type de rapport spécifique pour un jour spécifique :

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Pour répertorier tous les rapports d'un rapport spécifique, à une heure spécifique d'un jour spécifique :

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Pour télécharger les fichiers correspondant à une date spécifique :

aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

Cyber Duck

Avant de commencer :

  • Installez le client Cyber Duck.
  • Dans AppsFlyer, accédez à Data Locker et récupérez les informations contenues dans le panneau des informations d'identification. Vous aurez besoin de ces informations pour configurer Cyber Duck. 

Pour configurer Cyber Duck :

  1. Dans Cyber Duck, cliquez sur Action.
  2. Sélectionnez Nouveau signet. La fenêtre s'ouvre.
  3. Dans le premier champ, (marqué [1] dans la capture d'écran qui suit), sélectionnez Amazon S3.

    DataDuckSmall2.png

  4. Remplissez les champs comme suit :
    • Pseudo : texte libre
    • Serveur : s3.amazonaws.com
    • ID de clé d'accès : copiez la clé d'accès AWS telle qu'elle apparaît dans le panneau des informations d'identification dans AppFlyer
    • Clé d'accès secrète : copiez la clé secrète de compartiment telle qu'elle apparaît dans le panneau des informations d'identification dans AppsFlyer.
    • Chemin : {Bucket Name}/{Home Folder} Par exemple : af-ext-reports/1234-abc-ffffffff
  5. Fermez la fenêtre. Pour ce faire, cliquez sur la croix dans le coin supérieur droit de la fenêtre.
  6. Select the connection.
    The data directories are displayed.

Navigateur Amazon S3

Avant de commencer :

  • Installez le navigateur Amazon S3.
  • Dans AppsFlyer, accédez à Data Locker et récupérez les informations contenues dans le panneau des informations d'identification. Ces informations sont nécessaires pour effectuer cette procédure.

Pour configurer le navigateur Amazon S3 :

  1. In the S3 browser, Click Accounts > Add New Account.
    The Add New Account window opens.

    mceclip0.png

  2. Remplissez les champs comme suit :
    • Nom de compte : texte libre. 
    • ID de clé d'accès :copiez la clé d'accès AWS telle qu'elle apparaît dans le panneau des informations d'identification. 
    • Clé d'accès secrète :copiez la clé secrète de compartiment telle qu'elle apparaît dans le panneau des informations d'identification.
    • Sélectionnez Crypter les clés d'accès avec un mot de passe puis saisissez un mot de passe. Notez ce mot de passe quelque part.
    • Sélectionnez Utiliser le transfert sécurisé. 
  3.  Cliquez sur Enregistrer les modifications.
  4. Click Buckets > Add External Bucket.
    The Add External Bucket window opens.

    mceclip2.png

  5. Saisissez le nom du compartiment.Le nom de compartiment est au format suivant : {Bucket Name}/{Home Folder}. Les valeurs nécessaires pour le nom du compartiment et le dossier racine s'affichent dans la fenêtre des informations d'identification. 
  6. Click Add External bucket.
    The bucket is created and displays in the left panel of the window.
    You can now access the Data Locker files. 

Format des rapports et dossiers

Utilisation de rapports comme sources de données

Vous pouvez utiliser les données des rapports et les ajouter à vos propres bases de données. Pour extraire les données et les ajouter à vos bases de données, vous devez connaître le format du rapport. Les rapports Data Locker sont basés sur des rapports de données brutes. Cependant, le format de rapport final dépend des champs que vous choisissez d'y inclure.

Format des rapports

Les champs disponibles dans Data Locker sont répertoriés dans le dictionnaire de champs de données V5.0

 Astuce

Les rapports contiennent des données que vous pouvez utiliser pour l'optimisation des campagnes et le retargeting.

Rapports horaires

Data Locker sépare les données dans des dossiers horaires. Le dossier horaire représente l'heure de traitement et non l'heure à laquelle l'événement s'est produit. Les données sont écrites dans Data Locker dans les six heures suivant le traitement. 

 Exemple

AppsFlyer reçoit des données d'activité entre 14 h et 15 h le 17 janvier 2019. AppsFlyer commence à traiter les données peu de temps après 15 h. En raison du traitement, les données ne sont pas écrites immédiatement dans Data Locker. Les données du dossier /t=installs/dt=2019-17-01/h=14ne sont pas disponibles le 17 janvier 2019 à 15 h mais plutôt six heures plus tard.

Création de dossiers horaires

Dans les cas où il n'y a pas de données pour une heure spécifique, Data Locker crée un dossier pour cette heure. Ce procédé vous indique qu'il n'y avait pas encore de données dans cette heure. Le dossier contiendra un fichier «_SUCCESS» signifiant que AppsFlyer a terminé l'écriture de ce dossier. Vous devez le prendre en compte lors de la conception de processus automatisés. Cela signifie que vous devez concevoir vos processus de récupération de données afin qu'ils puissent gérer des dossiers horaires vides.

Fuseau horaire et devise

Les paramètres de fuseau horaire et de devise spécifiques à l'app n'ont aucun effet sur les données dans Data Locker.

Fuseau horaire : les rapports Data Locker utilisent le fuseau horaire UTC

Devise : le champ event_revenue_usd est en USD. 

Particularités et limites

Particularités
Particularité Remarques 
Réseaux publicitaires Non utilisé pour les ad networks.
Agences Non utilisé pour les agences.
Fuseau horaire spécifique à l'app Ne s'applique pas. Les dossiers Data Locker sont divisés en heures en se basant sur l'UTC. Les événements réels contiennent les heures en UTC. Vous pouvez convertir les heures dans un autre fuseau horaire si nécessaire. Quel que soit le fuseau horaire de votre app, le délai entre l'apparition de l'événement et son enregistrement dans Data Locker reste le même, à savoir 6 heures. 
Devise spécifique à l'app  Non pris en charge
Limitations de taille Ne s'applique pas
Actualisation des données Les fichiers sont mis à jour toutes les heures avec un décalage de six heures par rapport à l'heure de l'événement.
Données historiques Non pris en charge. Les données d'événement sont envoyées après la configuration de Data Locker. Si vous avez besoin de données historiques, utilisez l'API Pull. 
Accès des membres de l'équipe Les membres de l'équipe ne peuvent pas configurer Data Locker. 
Application unique/applications multiples Prise en charge de plusieurs apps. Data locker est au niveau du compte

Dépannage

  • Symptôme : impossible de récupérer des données via AWS CLI
  • Message d'erreur une erreur s'est produite (accès refusé) lors de l'appel de l'opération ListObjectsV2 : accès refusé
  • Cause : les informations d'identification AWS utilisées ne sont pas les informations d'identification correctes pour le compartiment AppsFlyer. Cela peut être dû au fait que vos informations d'identification sont multiples ou non valides sur votre ordinateur. 
  • Solution :
    1. Utilisez une méthode différente, par exemple Cyber Duck, pour accéder au compartiment, c'est-à-dire non à la CLI. Effectuez cette opération pour vérifier que les informations d'identification que vous utilisez fonctionnent. Si vous pouvez vous connecter à l'aide de Cyber Duck, cela indique un problème avec le cache des informations d'identification. 
    2. Refresh the AWS credentials cache.
      Screenshot from AWS`mceclip0.png 
Cet article vous a-t-il été utile ?