Data Locker—raw data delivery

At a glance: Data Locker writes raw-data to an AWS S3 bucket in near-real-time (lag 6 hours.) Data can be written to a bucket provided by AppsFlyer or directly to your bucket.

6133_Data_Locker_-_your_bucket.png

Data Locker

Principales fonctionnalités de Data Locker

  • Apps : prend en charge plusieurs apps qui s'ajoutent automatiquement
  • Simplicité : les données sont inscrites dans un compartiment Amazon S3 
  • Fiabilité : les données sont stockées dans AWS, ce qui garantit la persistance des données
  • Flexibilité : choisissez les données que vous souhaitez inclure 
  • Granularité : les données sont segmentées en types de rapport, jours et heures
  • Accessibilité : extraction des données si nécessaire
  • Fraîcheur des données  :: un décalage d'utilisation de 6 heures ou quotidien selon le type de rapport. Le décalage est le même (6 heures) quel que soit le fuseau horaire de l'application.
  • Propriété des compartiments :
    • Get the data via an AppsFlyer owned bucket. Data retention: 30 days.
    • AppsFlyer writes the data directly to your bucket. Data retention: Controlled by you. 

Rapports disponibles dans Data Locker

UA et retargeting
Catégorie Type de rapport (sujet) Fraîcheur des données* Organique / Non-Organique Propre à Data Locker
Acquisition des utilisateurs Clics Décalage de 6 heures S/O
Retargeting Clics Décalage de 6 heures S/O
Acquisition des utilisateurs Impressions Décalage de 6 heures S/O
Retargeting Impressions Décalage de 6 heures S/O
Acquisition des utilisateurs d'installations Décalage de 6 heures Les deux  
Acquisition des utilisateurs Évènements in-app  Décalage de 6 heures Les deux  
Acquisition des utilisateurs Revenus publicitaires attribués Quotidiennement+2 Non organique  
Acquisition des utilisateurs Revenus publicitaires organiques Quotidiennement+2 Trafic  
Retargeting Revenus publicitaires de retargeting Quotidiennement+2 Non organique  
Retargeting Conversions Décalage de 6 heures Non organique  
Retargeting Évènement in-app Décalage de 6 heures Non organique  
Retargeting Sessions Décalage de 6 heures Les deux
Acquisition des utilisateurs Sessions Décalage de 6 heures Les deux
Acquisition des utilisateurs Désinstallations Quotidien Non organique  
Acquisition des utilisateurs Désinstallations organiques Quotidien Trafic  
Réinstallations Réinstallations Décalage de 6 heures Non organique  
Réinstallations Réinstallations organiques Décalage de 6 heures Trafic  
Protect360
Type de rapport (sujet) Fraîcheur des données*
Installations bloquées Décalage de 6 heures
Événements in-app bloqués  Décalage de 6 heures
Clics bloqués Décalage de 6 heures
[FF*] [AG*] Installations post-attribution Quotidien
SKAdNetwork
Actualisation des données : quotidienne 
Type de rapport (sujet)
[FF*] Postbacks
[FF*] Installations
[FF*] Re-téléchargements
[FF*] Événements in-app
Attribution basée sur les personnes
Rafraîchissement des données : quotidien
Type de rapport (sujet)
[FF*] Visites de site web
[FF*] Évènements de site web
[FF*] Website-assisted installs
[FF*] Chemins de conversion
Clé des abréviations

* Clé des abréviations

[FF] Les champs de rapport sont définis par Appsflyer. Ils ne sont pas liés aux champs sélectionnés à inclure dans les rapports.

[AG]La transparence de l'agence n'est pas prise en charge.

Décalage de 6 heures : les données sont séparées dans des dossiers par heure d'arrivée. Il s'agit de l'heure à laquelle l'événement a été déposé dans Data Locker. Certains dossiers Data Locker sont rédigés environ six heures après l'heure effective de l'événement, en ce qui concerne les événements en temps réel.Il y a 24 dossiers pour chaque heure de la journée, de 0 à 23, et un dossier supplémentaire pour les données qui arrivent en retard.Le décalage est le même quel que soit le fuseau horaire de l'application.

Daily: Reports having a data freshness rate of daily are written to the h=23 folder. These reports are typically available by 10:00-12:00 UTC in the h=23 folder of the preceding day. For example, the report for data generated during Monday is in the Monday H=23 folder. The data is available after 10:00 UTC on Tuesday. 

Quotidien+2 : les données de revenus publicitaires sont disponibles après 2 jours, ce qui signifie que des données générées le lundi seront disponibles dans le dossier H=23 du lundi, et ce après 06:00 UTC le mercredi.

Architecture Data Locker

Partition des données

AppsFlyer crée un AWS principal (ARN selon les termes d'Amazon) et génère des informations d'identification pour cet AWS. Une stratégie est ensuite définie pour lui permettre de parcourir et de récupérer des fichiers du compartiment.

Dans le compartiment, les données sont organisées par type de rapport. Les données d'un rapport donné sont stockées dans son propre dossier. 

Structure des dossiers et des fichiers

  • La structure de dossier est la suivante : af-ext-reports/<Home Folder>/data-locker-hourly/t=<event-type>/dt=<date YYYY-MM-dd>/h=<Hour h>
    • Le dossier d'accueil est le dossier d'accueil qui apparaît dans la fenêtre des informations d'identification (voir les instructions de configuration dans la section précédente) 
    • Par exemple, pour le 2016-08-12, le rapport correspondant apparaît dans : s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly/t=installs/dt=2016-08-12/
  • Le dossier dt = aaaa-mm-jj est divisé en 25 dossiers horaires. Ces dossiers représentent l'heure d'arrivée de l'événement et non l'heure de l'événement lui-même. Les dossiers sont nommés h=0, h=1, h=2, etc. jusqu'à h=23 et h=late. Par exemple, le dossier h=0 contient les événements qui arrivent entre 00 h UTC et 01 h UTC, tandis que le dossier h=20 contient les événements qui arrivent entre 20 h UTC et 21 h UTC.
  • Dans chaque dossier :

    • Les données peuvent être divisées en plusieurs fichiers afin d'éviter les fichiers volumineux. Les fichiers sont nommés : part-00000, part-00001, part-00002, etc. Il peut y avoir jusqu'à 1000 fichiers. Nous sommes susceptibles d'augmenter ce nombre à l'avenir sans préavis.

    • Le dernier fichier écrit est toujours un fichier vide nommé _SUCCESS. Ce fichier est un indicateur montrant qu'aucune autre nouvelle donnée ne sera inscrite dans le dossier. Par conséquent, ne lisez pas les données d'un dossier avant de vérifier que le fichier _SUCCESS existe. Remarque : l'indicateur _SUCCESS est également écrit s'il n'y a aucune autre donnée à écrire dans le dossier.

  • Dossier Late

    • Le dossier «late» contient les événements de la veille qui sont arrivés après minuit. Cela signifie qu'ils arrivent entre 00:00 et 02:00 UTC le jour suivant. Par exemple, lorsqu'un utilisateur installe une application lundi à 08:00, l'événement arrive mardi à 01:00. L'événement est enregistré dans le dossier «late» du lundi. 

    • Le dossier contient également l'indicateur _SUCCESS, comme décrit dans la section précédente.

    • Les données du dossier «late» ne sont enregistrées dans aucun autre dossier.

    • Les processus automatisés doivent rechercher les données dans le dossier «late» de la même manière que dans les autres dossiers.

Structure et format de fichier

  • Les fichiers Data Locker sont basés sur l'extraction de données brutes V5 (voir : Exportation de données brutes V5 ).
  • Le fichier de données réel est au format CSV mais il n'a pas d'extension de fichier.
  • Les fichiers de rapport sont compressés en .gz .
  • Chaque fichier a une ligne d'en-tête.
  • Les valeurs qui incluent une virgule sont placées entre guillemets, par exemple `"iPhone6,1"`.

Utilisation de rapports comme sources de données

Vous pouvez utiliser les données des rapports et les ajouter à vos propres bases de données. Pour extraire les données et les ajouter à vos bases de données, vous devez connaître le format du rapport. Les rapports Data Locker sont basés sur des rapports de données brutes. Cependant, le format de rapport final dépend des champs que vous choisissez d'y inclure.

Some fields are populated with null or are empty. This means that in the context of a given report there is no data to report. In general, null means this field is not populated in the context of a given report and app type. Blank "" means the field is relevant in its context but no data was found to populate it with. 

Fuseau horaire et devise

Les paramètres de fuseau horaire et de devise spécifiques à l'app n'ont aucun effet sur les données dans Data Locker.

  • Fuseau horaire : les rapports Data Locker utilisent le fuseau horaire UTC
  • Devise : le champ event_revenue_usd est en USD. 

AppsFlyer AWS bucket vs. Customer AWS Bucket

 Attention !

Si vous utilisez la solution de compartiment AXS Client  :

  • Veillez à respecter les réglementations relatives à la protection des données, telles que la GDPR et les politiques de conservation des données des réseaux publicitaires/SRN.
  • Don't use the Customer AWS Bucket solution to send data to third parties. 
  • Les données sont inscrites pour le propriétaire de compartiment de votre choix, comme suit :
    • Compartiment AWS AppsFlyer
    • Customer AWS bucket
  • Vous pouvez modifier le propriétaire du compartiment à tout moment :
    • Move from an AppsFlyer AWS bucket to a Customer AWS bucket in the user interface. The change takes effect within 1 hour. This means we stop writing data to one bucket and start to write data to the newly selected bucket. 
    • If you want to stop using your Customer Bucket, select the AppsFlyer bucket. 
  Compartiment AWS AppsFlyer Customer AWS bucket
Nom du compartiment Définir par AppsFlyer

Défini par vous. Doit comporter le préfixe af-datalocker-.

Exemple : af-datalocker-votre-nom-de-compartiment

Propriété des compartiments AppsFlyer Customer
Plate-forme de stockage prise en charge AWS AWS 
Autorisations d'accès aux données que vous accordez Disponible dans l'interface utilisateur de Data Locker pour l'admin Inconnu par AppsFlyer. Utilise vos identifiants AWS.
Conservation des données Data is deleted after 30 days Votre responsabilité
Demandes de suppression de données Responsabilité d'AppsFlyer Votre responsabilité
Sécurité AppsFlyer controls the bucket. The customer has read access. The customer controls the bucket. AppsFlyer requires GetObject, ListBucket, DeleteObject, PutObject permission to the bucket. The bucket should be dedicated to AppsFlyer use. Don't use it for other purposes.
Espace de stockage Géré par AppsFlyer Géré par vous

Procedures

Configurer Data Locker

Utilisez cette procédure pour mettre en place Data Locker.

Prerequisite for setting up a Customer AWS bucket:

If you are setting up Data Locker using your Customer AWS bucket, meaning a bucket owned by you, you must first complete setting up your AWS S3 bucket.

AppsFlyerAdmin_us-en.png Pour configurer Data Locker :

  1. L'administrateur doit effectuer la configuration. 
  2. Dans Appsflyer, allez dans Integration > Data Locker. 
  3. Choisissez la méthode d'intégration Amazon S3. Sélectionnez l'une des options suivantes :
    • Compartiment AWS AppsFlyer. Passez à l'étape 4. 
    • Customer AWS bucket.
      1. Saisissez le nom de votre compartiment AWS. Ne saisissez pas le préfixe af-datalocker-
      2. Cliquez sur Tester.
      3. Vérifiez qu'aucun message d'erreur ne s'affiche indiquant que le chemin du compartiment n'est pas valide.
  4. Sélectionnez une, plusieurs ou l'ensemble des apps.  Sélectionnez tout pour inclure automatiquement les apps que vous ajouterez à l'avenir.
  5. Cliquez sur Appliquer
  6. [facultatif] Sources médias : sélectionnez une ou plusieurs Sources média à inclure dans les rapports.
    • Par défaut : toutes Signifie que les sources média ajoutées à l'avenir seront ajoutées automatiquement.
  7. Sélectionnez un ou plusieurs types de rapport.
  8. [facultatif] Événements in-app: sélectionnez les événements in-app à inclure. Si vous avez plus de 100 types d'événements in-app, vous ne pouvez pas lancer de recherche pour les trouver. Saisissez leur nom exact pour les sélectionner. 
    • Par défaut : tous Signifie que les événements in-app ajoutés à l'avenir seront ajoutés automatiquement.
  9. Cliquez sur Appliquer
  10. (facultatif) Champs (par défaut=Tout): Sélectionnez les champs à inclure dans les rapports. Remarque : nous ajoutons des champs de temps en temps, veuillez en tenir compte dans votre processus d'importation des données.
  11. Cliquez sur Enregistrer la configuration. L'un des événements suivants se produit :
    • Si vous avez choisi le compartiment AWS AppsFLyer :
      • Un compartiment AWS dédié est créé. Les informations d'identification du compartiment s'affichent.
      • Le compartiment est accessible uniquement à l'aide des informations d'identification. Les informations d'identification vous permettent d'accéder en lecture seule au compartiment.
    • If you selected Customer AWS bucket:
      • Les données commenceront à être écrites dans votre compartiment AWS dans un délai de 1 à 2 heures.

Setup Data Locker—Your AWS S3 bucket

La procédure décrite dans cette section doit être effectuée par votre administrateur AWS.

You can delete files from Data Locker 25 or more hours after they were written. Please don't delete them before. 

Informations générales pour l'administrateur AWS : 

  • AppsFlyer écrit vos données dans un compartiment S3 qui vous appartient. Pour ce faire, les éléments suivants sont requis :
    • Créez un compartiment portant le nom af-datalocker-moncompartiment. Le préfixe af-datalocker- est obligatoire. Le suffixe est libre.
  • Nous vous suggérons af-datalocker-aaaa-mm-jj-hh-mm-texte-libre. aaaa-mm-jj-hh-mm correspond à la date et à l'heure actuelles, et vous ajoutez tout autre texte tel qu'indiqué dans la figure suivante.
    Interface utilisateur dans la console AWS

    MyBucket.jpg

  • Après avoir créé le compartiment, accordez les autorisations AppsFlyer en suivant la procédure ci-dessous. 

Pour créer un compartiment et accorder des autorisations à AppsFlyer : 

  1. Connectez-vous à la console AWS.
  2. Accédez au service S3.
  3. Pour créer le compartiment:
    1. Cliquez sur Créer un compartiment.
    2. Complétez le nom du compartiment comme suit : commencez par af-datalocker-, puis ajoutez tout autre texte tel que décrit précédemment.
    3. Cliquez sur Créer un compartiment.
  4. Pour accorder les autorisations AppsFlyer :
    1. Sélectionnez le compartiment.
    2. Allez dans l'onglet Permissions
    3. Dans la section Politique relative aux compartiments, cliquez sur Modifier. 
      La fenêtre de la politique du compartiment s'ouvre.
    4. Collez l'extrait suivant dans la fenêtre.
      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "AF_DataLocker_Direct",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
            "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Resource": [
              "arn:aws:s3:::af-datalocker-my-bucket",
              "arn:aws:s3:::af-datalocker-my-bucket/*"
            ]
          }
        ]
      }
      
  5. In the snippet, replace af-data-locker-my-bucket with the bucket name you created.

  6. Cliquez sur Enregistrer les modifications.

  7. Effectuez la procédure d'installation du Data Locker.

Reset credentials

The admin can reset the AppsFlyer AWS bucket credentials at any time. Note! If you reset the credentials you must update your data import scripts with the updated credentials.

AppsFlyerAdmin_us-en.png To reset the credentials:

  1. Dans Appsflyer, allez dans Integration > Data Locker. 
  2. In the Credentials section, click Reset credentials.
    A confirmation window displays.
  3. Click Reset.
  4. Wait (about 20 seconds) until the Credentials successfully reset message displays.
    The updated credentials are available.

Récupération des données

Utilisez votre outil de recherche de données S3 habituel, AWS CLI, ou l'un des outils décrits dans les sections qui suivent.

AWS CLI

Avant de commencer :

  • Installez AWS CLI sur votre ordinateur.
  • Dans AppsFlyer, accédez à Data Locker et récupérez les informations contenues dans le panneau des informations d'identification. Ces informations sont nécessaires pour effectuer cette procédure.

Pour utiliser AWS CLI :

  1. Ouvrez le terminal. Dans Windows, <Windows>+<R>, cliquez sur OK.
    La fenêtre de ligne de commande s'ouvre.
  2. Saisissez aws configure
  3. Saisissez la clé d'accès AWS telle qu'elle apparaît dans le panneau des informations d'identification.
  4. Saisissez votre clé secrète AWS telle qu'elle apparaît dans le panneau des informations d'identification.
  5. Saisissez eu-west-1
  6. Appuyez sur Entrée (aucun)

Utilisez les commandes CLI qui suivent au besoin.

Dans les commandes suivantes, la valeur de {home-folder} peut être trouvée

Pour répertorier les dossiers de votre compartiment

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

Liste des fichiers et des dossiers

Il existe trois types de dossiers dans votre compartiment Data Locker :

  • Type de rapport t=
  • Date dt=
  • Heure h=

Pour répertorier tous les rapports d'un type de rapport spécifique :

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

Pour répertorier tous les rapports d'un type de rapport spécifique pour un jour spécifique :

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Pour répertorier tous les rapports d'un rapport spécifique, à une heure spécifique d'un jour spécifique :

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Pour télécharger les fichiers correspondant à une date spécifique :

aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

Cyber Duck

Avant de commencer :

  • Installez le client Cyber Duck.
  • Dans AppsFlyer, accédez à Data Locker et récupérez les informations contenues dans le panneau des informations d'identification. Vous aurez besoin de ces informations pour configurer Cyber Duck. 

Pour configurer Cyber Duck :

  1. Dans Cyber Duck, cliquez sur Action.
  2. Sélectionnez Nouveau signet. La fenêtre s'ouvre.
  3. Dans le premier champ, (marqué [1] dans la capture d'écran qui suit), sélectionnez Amazon S3.

    DataDuckSmall2.png

  4. Remplissez les champs comme suit :
    • Pseudo : texte libre
    • Serveur : s3.amazonaws.com
    • ID de clé d'accès : copiez la clé d'accès AWS telle qu'elle apparaît dans le panneau des informations d'identification dans AppFlyer
    • Clé d'accès secrète : copiez la clé secrète de compartiment telle qu'elle apparaît dans le panneau des informations d'identification dans AppsFlyer.
    • Chemin : {Bucket Name}/{Home Folder} Par exemple : af-ext-reports/1234-abc-ffffffff
  5. Fermez la fenêtre. Pour ce faire, cliquez sur la croix dans le coin supérieur droit de la fenêtre.
  6. Sélectionnez la connexion.
    Les répertoires de données s'affichent.

Navigateur Amazon S3

Avant de commencer :

  • Installez le navigateur Amazon S3.
  • Dans AppsFlyer, accédez à Data Locker et récupérez les informations contenues dans le panneau des informations d'identification. Ces informations sont nécessaires pour effectuer cette procédure.

Pour configurer le navigateur Amazon S3 :

  1. Dans le navigateur S3, cliquez sur Comptes > Ajouter Nouveau compte.
    La fenêtre Ajouter un nouveau compte s'ouvre.

    mceclip0.png

  2. Remplissez les champs comme suit :
    • Nom de compte : texte libre. 
    • ID de clé d'accès :copiez la clé d'accès AWS telle qu'elle apparaît dans le panneau des informations d'identification. 
    • Clé d'accès secrète :copiez la clé secrète de compartiment telle qu'elle apparaît dans le panneau des informations d'identification.
    • Sélectionnez Crypter les clés d'accès avec un mot de passe puis saisissez un mot de passe. Notez ce mot de passe quelque part.
    • Sélectionnez Utiliser le transfert sécurisé. 
  3.  Cliquez sur Enregistrer les modifications.
  4. Cliquez sur Compartiments > Ajouter compartiment externe.
    La fenêtre Ajouter un compartiment externe s'ouvre.

    mceclip2.png

  5. Saisissez le nom du compartiment.Le nom de compartiment est au format suivant : {Bucket Name}/{Home Folder}. Les valeurs nécessaires pour le nom du compartiment et le dossier racine s'affichent dans la fenêtre des informations d'identification. 
  6. Cliquez sur Ajouter un compartiment externe.
    Le compartiment est créé et s'affiche dans le panneau gauche de la fenêtre.
    Vous pouvez maintenant accéder aux fichiers Data Locker. 

Informations supplémentaires

Particularités et limites

Particularités
Particularité Remarques 
Réseaux publicitaires Non utilisé pour les ad networks.
Agences Non utilisé pour les agences.
Fuseau horaire spécifique à l'app Ne s'applique pas. Les dossiers Data Locker sont divisés en heures en se basant sur l'UTC. Les événements réels contiennent les heures en UTC. Vous pouvez convertir les heures dans un autre fuseau horaire si nécessaire. Quel que soit le fuseau horaire de votre app, le délai entre l'apparition de l'événement et son enregistrement dans Data Locker reste le même, à savoir 6 heures. 
Devise spécifique à l'app  Non pris en charge
Limitations de taille Ne s'applique pas
Actualisation des données Les fichiers sont mis à jour toutes les heures avec un décalage de six heures par rapport à l'heure de l'événement.
Données historiques Non pris en charge. Les données d'événement sont envoyées après la configuration de Data Locker. Si vous avez besoin de données historiques, utilisez l'API Pull. 
Accès des membres de l'équipe Les membres de l'équipe ne peuvent pas configurer Data Locker. 
Application unique/applications multiples Prise en charge de plusieurs apps. Data locker est au niveau du compte

Considérations pour les développeurs

Lors de la préparation de scripts pour le chargement de données dans vos systèmes, tenez compte des points suivants :

  • Dossier temporaire :
    • Dans certains cas, il reste un dossier temporaire. Vous devez ignorer ce dossier. Exemple : /data-locker-hourly/t=inapps/dt=2020-11-13/h=2/_temporarary/0/_temporary/.
    • N'utilisez que les dossiers contenant l'indicateur _SUCCESS
  • Séquence des colonnes dans les rapports : 
    • La séquence des champs dans les rapports est toujours la même. Lorsque nous ajoutons de nouveaux champs, ceux-ci sont ajoutés à droite des champs existants. La liste des champs dans l'interface utilisateur est séquencée en conséquence.

Dépannage

  • Symptôme : impossible de récupérer des données via AWS CLI
  • Message d'erreur : une erreur s'est produite (accès refusé) lors de l'appel de l'opération ListObjectsV2 : accès refusé
  • Cause : les informations d'identification AWS utilisées ne sont pas les informations d'identification correctes pour le compartiment AppsFlyer. Cela peut être dû au fait que vos informations d'identification sont multiples ou non valides sur votre ordinateur. 
  • Solution :
    1. Utilisez une méthode différente, par exemple Cyber Duck, pour accéder au compartiment, c'est-à-dire non à la CLI. Effectuez cette opération pour vérifier que les informations d'identification que vous utilisez fonctionnent. Si vous pouvez vous connecter à l'aide de Cyber Duck, cela indique un problème avec le cache des informations d'identification. 
    2. Actualisez le cache des informations d'identification AWS.
      Capture d'écran AWSmceclip0.png
Cet article vous a-t-il été utile ?