Data Locker—raw data in a bucket

At a glance: Data Locker writes raw-data to an AWS S3 bucket in near-real-time (lag 6 hours.). 

Data Locker

Principales fonctionnalités de Data Locker

  • Apps : prend en charge plusieurs apps qui s'ajoutent automatiquement
  • Simplicité : les données sont inscrites dans un compartiment Amazon S3 
  • Fiabilité : les données sont stockées dans AWS, ce qui garantit la persistance des données
  • Flexibilité : choisissez les données que vous souhaitez inclure 
  • Granularité : les données sont segmentées en types de rapport, jours et heures
  • Accessibilité : extraction des données si nécessaire
  • Fraîcheur des données  :: un décalage d'utilisation de 6 heures ou quotidien selon le type de rapport. Le décalage est le même (6 heures) quel que soit le fuseau horaire de l'application.
  • Propriété des compartiments :
    • Obtenir les données d'un compartiment propriétaire AppsFlyer (rétention des données par AppsFlyer : 30 jours)
    • AppsFlyer inscrit les données directement dans un compartiment qui vous appartient

Rapports disponibles dans Data Locker

UA et retargeting
Catégorie Type de rapport (sujet) Fraîcheur des données* Organique / Non-Organique Propre à Data Locker
Acquisition des utilisateurs Clics Décalage de 6 heures Les deux
Retargeting clicks_retargeting Décalage de 6 heures Les deux
Acquisition des utilisateurs Impressions Décalage de 6 heures Les deux
Retargeting impressions_retargeting Décalage de 6 heures Non organique
Acquisition des utilisateurs installations Décalage de 6 heures Les deux  
Acquisition des utilisateurs inapps Décalage de 6 heures Les deux  
Acquisition des utilisateurs attributed_ad_revenue Quotidiennement** Non organique  
Acquisition des utilisateurs organic_ad_revenue Quotidiennement** Trafic  
Retargeting retargeting_ad_revenue Quotidiennement** Non organique  
Retargeting conversions_retargeting Décalage de 6 heures Non organique  
Retargeting inapps_retargeting Décalage de 6 heures Non organique  
Retargeting retargeting_sessions Décalage de 6 heures Les deux
Acquisition des utilisateurs Sessions Décalage de 6 heures Les deux
Acquisition des utilisateurs Désinstallations Décalage de 6 heures Non organique  
Acquisition des utilisateurs organic_uninstalls Quotidien Trafic  
Preotect360
Type de rapport (sujet) Fraîcheur des données*
blocked_installs Décalage de 6 heures
blocked_inapps Décalage de 6 heures
blocked_clicks Décalage de 6 heures
[FF*] [AG*] post_attribution_installs Quotidien
People-Based Attribution
Data freshness: Daily
Type de rapport (sujet)
[DEP*] web_events
[DEP]* web_touch_points 
[FF*] webstite_visits
[FF*] website_events
[FF*] web_to_app
[FF*] conversion-paths
Clé des abréviations

* Clé des abréviations

[FF] Les champs de rapport sont définis par Appsflyer. Ils ne sont pas liés aux champs sélectionnés à inclure dans les rapports.

[AG]La transparence de l'agence n'est pas prise en charge.

[DEP] Replaced by website_events and website_visits. Will be removed from Data Locker after December 21, 2020. 

Décalage de 6 heures : les données sont séparées dans des dossiers par heure d'arrivée. Il s'agit de l'heure à laquelle l'événement a été déposé dans Data Locker. Certains dossiers Data Locker sont rédigés environ six heures après l'heure effective de l'événement, en ce qui concerne les événements en temps réel.Il y a 24 dossiers pour chaque heure de la journée, de 0 à 23, et un dossier supplémentaire pour les données qui arrivent en retard.Le décalage est le même quel que soit le fuseau horaire de l'application.

Quotidien : les rapports qui ont un taux de rafraichissement des données quotidien sont inscrits dans le dossier h=23. Ces rapports sont généralement disponibles entre 06:00 et 12:00 UTC dans le dossier h=23 du jour qui précède. Par exemple, le rapport pour les données générées le lundi se trouve dans le dossier «Lundi H=23». Les données seront disponibles après 06:00 UTC le mardi.

Quotidien** : les données de revenus publicitaires sont disponibles après 2 jours, ce qui signifie que des données générées le lundi seront disponibles dans le dossier H=23 du lundi, et ce après 06:00 UTC le mercredi.

Architecture Data Locker

Partition des données

AppsFlyer crée un AWS principal (ARN selon les termes d'Amazon) et génère des informations d'identification pour cet AWS. Une stratégie est ensuite définie pour lui permettre de parcourir et de récupérer des fichiers du compartiment.

Dans le compartiment, les données sont organisées par type de rapport. Les données d'un rapport donné sont stockées dans son propre dossier. 

Structure des dossiers et des fichiers

  • La structure de dossier est la suivante : af-ext-reports/<Home Folder>/data-locker-hourly/t=<event-type>/dt=<date YYYY-MM-dd>/h=<Hour h>
    • Le dossier d'accueil est le dossier d'accueil qui apparaît dans la fenêtre des informations d'identification (voir les instructions de configuration dans la section précédente) 
    • Par exemple, pour le 2016-08-12, le rapport correspondant apparaît dans : s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly/t=installs/dt=2016-08-12/
  • Le dossier dt = aaaa-mm-jj est divisé en 25 dossiers horaires. Ces dossiers représentent l'heure d'arrivée de l'événement et non l'heure de l'événement lui-même. Les dossiers sont nommés h=0, h=1, h=2, etc. jusqu'à h=23 et h=late. Par exemple, le dossier h=0 contient les événements qui arrivent entre 00 h UTC et 01 h UTC, tandis que le dossier h=20 contient les événements qui arrivent entre 20 h UTC et 21 h UTC.
  • Dans chaque dossier :

    • Les données peuvent être divisées en plusieurs fichiers afin d'éviter les fichiers volumineux. Les fichiers sont nommés : part-00000, part-00001, part-00002, etc. Il peut y avoir jusqu'à 1000 fichiers. Nous sommes susceptibles d'augmenter ce nombre à l'avenir sans préavis.

    • Le dernier fichier écrit est toujours un fichier vide nommé _SUCCESS. Ce fichier est un indicateur montrant qu'aucune autre nouvelle donnée ne sera inscrite dans le dossier. Par conséquent, ne lisez pas les données d'un dossier avant de vérifier que le fichier _SUCCESS existe. Remarque : l'indicateur _SUCCESS est également écrit s'il n'y a aucune autre donnée à écrire dans le dossier.

  • Dossier Late

    • Le dossier «late» contient les événements de la veille qui sont arrivés après minuit. Cela signifie qu'ils arrivent entre 00:00 et 02:00 UTC le jour suivant. Par exemple, lorsqu'un utilisateur installe une application lundi à 08:00, l'événement arrive mardi à 01:00. L'événement est enregistré dans le dossier «late» du lundi. 

    • Le dossier contient également l'indicateur _SUCCESS, comme décrit dans la section précédente.

    • Les données du dossier «late» ne sont enregistrées dans aucun autre dossier.

    • Les processus automatisés doivent rechercher les données dans le dossier «late» de la même manière que dans les autres dossiers.

Structure et format de fichier

  • Les fichiers Data Locker sont basés sur l'extraction de données brutes V5 (voir : Exportation de données brutes V5 ).
  • Le fichier de données réel est au format CSV mais il n'a pas d'extension de fichier.
  • Les fichiers de rapport sont compressés en .gz .
  • Chaque fichier a une ligne d'en-tête.
  • Les valeurs qui incluent une virgule sont placées entre guillemets, par exemple `"iPhone6,1"`.

Utilisation de rapports comme sources de données

Vous pouvez utiliser les données des rapports et les ajouter à vos propres bases de données. Pour extraire les données et les ajouter à vos bases de données, vous devez connaître le format du rapport. Les rapports Data Locker sont basés sur des rapports de données brutes. Cependant, le format de rapport final dépend des champs que vous choisissez d'y inclure.

Fuseau horaire et devise

Les paramètres de fuseau horaire et de devise spécifiques à l'app n'ont aucun effet sur les données dans Data Locker.

  • Fuseau horaire : les rapports Data Locker utilisent le fuseau horaire UTC
  • Devise : le champ event_revenue_usd est en USD. 

Setting up Data Locker

Setup Data Locker

 

AppsFlyerAdmin_us-en.png To setup Data Locker:

  1. The admin needs to perform the setup. 
  2. Dans Appsflyer, allez dans Integration > Data Locker. 
  3. Sélectionnez une, plusieurs ou l'ensemble des apps.  Sélectionnez tout pour inclure automatiquement les apps que vous ajouterez à l'avenir.
  4. Cliquez sur Appliquer
  5. [facultatif] Sources média (par défaut=Tout. Signifie que les sources média ajoutées à l'avenir seront ajoutées automatiquement.) : Sélectionnez une ou plusieurs sources média à inclure dans les rapports. 
  6. Cliquez sur Appliquer
  7. Sélectionnez un ou plusieurs types de rapport.
  8. [facultatif] Événements in-app (par défaut=Tout. Signifie que les événements in-app ajoutés à l'avenir seront ajoutés automatiquement.) : Sélectionnez les événements in-app à inclure. Si vous avez plus de 100 types d'événements in-app, vous ne pouvez pas lancer de recherche pour les trouver. Saisissez leur nom exact pour les sélectionner. 
  9. Cliquez sur Appliquer
  10. (facultatif) Champs (par défaut=Tout): Sélectionnez les champs à inclure dans les rapports. Remarque : nous ajoutons des champs de temps en temps, veuillez en tenir compte dans votre processus d'importation des données.
  11. Cliquez sur Créer un compartiment.
  12. Click Save Configuration. 
    • If you selected AppsFLyer AWS bucket:
      • A dedicated AWS bucket is created. The bucket credentials display.
      • The bucket is accessible using the credentials. The credentials provide you with read-only access to the bucket.

Récupération des données

Utilisez votre outil de recherche de données S3 habituel, AWS CLI, ou l'un des outils décrits dans les sections qui suivent.

AWS CLI

Avant de commencer :

  • Installez AWS CLI sur votre ordinateur.
  • Dans AppsFlyer, accédez à Data Locker et récupérez les informations contenues dans le panneau des informations d'identification. Ces informations sont nécessaires pour effectuer cette procédure.

Pour utiliser AWS CLI :

  1. Ouvrez le terminal. Dans Windows, <Windows>+<R>, cliquez sur OK.
    La fenêtre de ligne de commande s'ouvre.
  2. Saisissez aws configure
  3. Saisissez la clé d'accès AWS telle qu'elle apparaît dans le panneau des informations d'identification.
  4. Saisissez votre clé secrète AWS telle qu'elle apparaît dans le panneau des informations d'identification.
  5. Saisissez eu-west-1
  6. Appuyez sur Entrée (aucun)

Utilisez les commandes CLI qui suivent au besoin.

Dans les commandes suivantes, la valeur de {home-folder} peut être trouvée

Pour répertorier les dossiers de votre compartiment

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

Liste des fichiers et des dossiers

Il existe trois types de dossiers dans votre compartiment Data Locker :

  • Type de rapport t=
  • Date dt=
  • Heure h=

Pour répertorier tous les rapports d'un type de rapport spécifique :

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

Pour répertorier tous les rapports d'un type de rapport spécifique pour un jour spécifique :

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Pour répertorier tous les rapports d'un rapport spécifique, à une heure spécifique d'un jour spécifique :

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Pour télécharger les fichiers correspondant à une date spécifique :

aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

Cyber Duck

Avant de commencer :

  • Installez le client Cyber Duck.
  • Dans AppsFlyer, accédez à Data Locker et récupérez les informations contenues dans le panneau des informations d'identification. Vous aurez besoin de ces informations pour configurer Cyber Duck. 

Pour configurer Cyber Duck :

  1. Dans Cyber Duck, cliquez sur Action.
  2. Sélectionnez Nouveau signet. La fenêtre s'ouvre.
  3. Dans le premier champ, (marqué [1] dans la capture d'écran qui suit), sélectionnez Amazon S3.

    DataDuckSmall2.png

  4. Remplissez les champs comme suit :
    • Pseudo : texte libre
    • Serveur : s3.amazonaws.com
    • Access Key ID: copy the AWS Access Key as it appears in the credentials panel in AppFlyer
    • Clé d'accès secrète : copiez la clé secrète de compartiment telle qu'elle apparaît dans le panneau des informations d'identification dans AppsFlyer.
    • Chemin : {Bucket Name}/{Home Folder} Par exemple : af-ext-reports/1234-abc-ffffffff
  5. Fermez la fenêtre. Pour ce faire, cliquez sur la croix dans le coin supérieur droit de la fenêtre.
  6. Sélectionnez la connexion.
    Les répertoires de données s'affichent.

Navigateur Amazon S3

Avant de commencer :

  • Installez le navigateur Amazon S3.
  • Dans AppsFlyer, accédez à Data Locker et récupérez les informations contenues dans le panneau des informations d'identification. Ces informations sont nécessaires pour effectuer cette procédure.

Pour configurer le navigateur Amazon S3 :

  1. Dans le navigateur S3, cliquez sur Comptes > Ajouter Nouveau compte.
    La fenêtre Ajouter un nouveau compte s'ouvre.

    mceclip0.png

  2. Remplissez les champs comme suit :
    • Nom de compte : texte libre. 
    • ID de clé d'accès :copiez la clé d'accès AWS telle qu'elle apparaît dans le panneau des informations d'identification. 
    • Clé d'accès secrète :copiez la clé secrète de compartiment telle qu'elle apparaît dans le panneau des informations d'identification.
    • Sélectionnez Crypter les clés d'accès avec un mot de passe puis saisissez un mot de passe. Notez ce mot de passe quelque part.
    • Sélectionnez Utiliser le transfert sécurisé. 
  3.  Cliquez sur Enregistrer les modifications.
  4. Cliquez sur Compartiments > Ajouter compartiment externe.
    La fenêtre Ajouter un compartiment externe s'ouvre.

    mceclip2.png

  5. Saisissez le nom du compartiment.Le nom de compartiment est au format suivant : {Bucket Name}/{Home Folder}. Les valeurs nécessaires pour le nom du compartiment et le dossier racine s'affichent dans la fenêtre des informations d'identification. 
  6. Cliquez sur Ajouter un compartiment externe.
    Le compartiment est créé et s'affiche dans le panneau gauche de la fenêtre.
    Vous pouvez maintenant accéder aux fichiers Data Locker. 

Informations supplémentaires

Particularités et limites

Particularités
Particularité Remarques 
Réseaux publicitaires Non utilisé pour les ad networks.
Agences Non utilisé pour les agences.
Fuseau horaire spécifique à l'app Ne s'applique pas. Les dossiers Data Locker sont divisés en heures en se basant sur l'UTC. Les événements réels contiennent les heures en UTC. Vous pouvez convertir les heures dans un autre fuseau horaire si nécessaire. Quel que soit le fuseau horaire de votre app, le délai entre l'apparition de l'événement et son enregistrement dans Data Locker reste le même, à savoir 6 heures. 
Devise spécifique à l'app  Non pris en charge
Limitations de taille Ne s'applique pas
Actualisation des données Les fichiers sont mis à jour toutes les heures avec un décalage de six heures par rapport à l'heure de l'événement.
Données historiques Non pris en charge. Les données d'événement sont envoyées après la configuration de Data Locker. Si vous avez besoin de données historiques, utilisez l'API Pull. 
Accès des membres de l'équipe Les membres de l'équipe ne peuvent pas configurer Data Locker. 
Application unique/applications multiples Prise en charge de plusieurs apps. Data locker est au niveau du compte

Dépannage

  • Symptôme : impossible de récupérer des données via AWS CLI
  • Message d'erreur : une erreur s'est produite (accès refusé) lors de l'appel de l'opération ListObjectsV2 : accès refusé
  • Cause : les informations d'identification AWS utilisées ne sont pas les informations d'identification correctes pour le compartiment AppsFlyer. Cela peut être dû au fait que vos informations d'identification sont multiples ou non valides sur votre ordinateur. 
  • Solution :
    1. Utilisez une méthode différente, par exemple Cyber Duck, pour accéder au compartiment, c'est-à-dire non à la CLI. Effectuez cette opération pour vérifier que les informations d'identification que vous utilisez fonctionnent. Si vous pouvez vous connecter à l'aide de Cyber Duck, cela indique un problème avec le cache des informations d'identification. 
    2. Actualisez le cache des informations d'identification AWS.
      Capture d'écran AWSmceclip0.png
Cet article vous a-t-il été utile ?