Data Locker pour les marketeurs

Rapports disponibles via Data Locker

La structure des données stockées varie si les données sont envoyées vers un stockage Cloud ou une banque de données. La structure des dossiers décrite ici s'applique au stockage (compartiments). Dans le cas du stockage dans une banque de données (Snowflake), la référence des dossiers modifie l'affichage. Cf Snowflake. 

Les données sont inscrites dans le stockage que vous avez choisi. Dans le cas du stockage Cloud, soit le stockage appartient à AppsFlyer sur AWS, soit vous en êtes propriétaire sur AWS, GCS ou Yandex. Vous pouvez changer d’option de stockage à tout moment, ou envoyer une partie ou la totalité de vos données à plusieurs options de stockage. 

Les données stockées sont rangées dans une structure de dossiers hiérarchisée selon le type de rapport, la date et l'heure. La figure suivante vous donne un exemple de cette structure :

Les données d'un certain rapport sont contenues dans les dossiers «heure» (h) associés à ce rapport :

• Le nombre de dossiers par heure dépend de l'actualisation des données du rapport (chaque heure, chaque jour ou selon la version).
• Les données sont fournies dans des fichiers compressés GZIP ou Snappy, ou des fichiers non compressés, au format Parquet ou CSV.
• Les fichiers de données se composent de colonnes (champs). 
• La structure (les champs) des rapports sur les parcours utilisateurs est toujours la même et correspond aux champs que vous avez choisis. Il existe d'autres rapports qui ont leurs propres champs définis et que l'on nomme « rapports sans schéma ». Consultez les Rapports des annonceurs Data Locker pour découvrir les rapports disponibles et accéder aux liens vers leurs caractéristiques. 

Les fichiers de données dépendent du type de segmentation.

• Les données sont inscrites pour le propriétaire de compartiment de votre choix, comme suit :
  • Stockage appsFlyer
  • Stockage client : AWS, GCS, Yandex, BigQuery et Snowflake
• Vous pouvez modifier la sélection du stockage à tout moment.
• Si vous modifiez l'espace de stockage, voici ce qui se passe :
  • Nous commençons à écrire dans le stockage nouvellement sélectionné dans l'heure qui suit.
  • Nous continuons à écrire dans le stockage existant pendant une période de transition de 7 jours. L'heure d'expiration de la période de transition s'affiche dans l'interface utilisateur. Cette période de transition peut vous permettre de mettre à jour vos processus de chargement des données.  Vous pouvez relancer la période de transition ou revenir au compartiment AppsFlyer selon vos besoins.
  • Modification du stockage : vous pouvez migrer d’une option de stockage à une autre en utilisant l’option multi-stockage et en envoyant des données vers plusieurs destinations en même temps. Une fois la migration et les tests terminés, supprimez l’option de stockage dont vous n’avez plus besoin. 

Avis aux agents de sécurité dans le cas de stockage contrôlé par le client

À prendre en compte :

• Le compartiment (ou destination) est soumis à l'utilisation exclusive d'AppsFlyer. Aucune autre entité ne doit inscrire quoi que ce soit dans une destination.
• Vous pouvez supprimer les données de la destination 25 heures après leur écriture.
• Les données que nous inscrivons dans la destination sont une copie des données déjà présentes sur nos serveurs. Les données restent stockées sur nos serveurs, conformément à notre politique de rétention des données. 
• Pour des raisons techniques, il nous arrive de supprimer puis d'inscrire à nouveau des données.C'est la raison pour laquelle nous avons besoin d'obtenir les autorisations pour supprimer et répertorier les données.Aucune des autorisations ne compromet votre sécurité. Lorsque nous répertorions les données, nous sommes les seuls à inscrire les infos dans le compartiment. Lorsque nous supprimons des éléments, nous sommes en mesure de générer à nouveau les données.
• Pour toute information complémentaire, vous pouvez joindre notre équipe dédiée à la sécurité surhello@appsflyer.com, ou votre CSM.  

Dans Data Locker, vous pouvez envoyer une partie ou la totalité de vos données vers 2 destinations (définies dans les paramètres de connexion). Vous pouvez par exemple envoyer les données d’une app A à AWS, et les données d’une app B à GCS.

Chaque connexion se compose d’un ensemble complet de paramètres Data Locker, qui inclut une destination. Les paramètres de connexion sont indépendants les uns des autres.

Pour gérer vos connexions, n'oubliez pas que :

• Dans les paramètres Data Locker, les connexions s'affichent dans des onglets. Chaque connexion possède son propre onglet Paramètres, d'où vous pouvez gérer la connexion. Pour chaque onglet, l'icône représente le type de stockage.
• Pour afficher les détails d'une connexion, dupliquer ou supprimer une connexion, cliquez sur ⋮ (options).

Suivez cette procédure pour mettre en place Data Locker. Toute modification apportée aux paramètres Data Locker met jusqu'à 3 heures avant d'être effective.

Conditions préalables

Pour mettre en place un stockage appartenant au marketeur :

Si vous configurez Data Locker avec un service de stockage cloud appartenant à un marketeur, veuillez suivre la ou les procédures suivantes. 

• Configuration :
  • Compartiment AWS
  • Compartiment GCS
  • [Beta] Azure Blob
  • [Beta] Compartiment Yandex
  • Compartiment BigQuery
  • Compartiment Snowflake

Important ! Si vous n'avez pas d'abonnement à Data Locker et que vous avez uniquement accès aux analyses de cohorte ou aux données SKAN, vous devez suivre la procédure pour le stockage cloud appartenant aux marketeurs. 

Pour configurer Data Locker :

1. Un admin doit effectuer la configuration. 
2. Dans Appsflyer, allez dans Integration>Data Locker. 
3. [Facultatif] Si vous avez déjà une destination Data Locker active et que vous souhaitez en ajouter une nouvelle, cliquez sur Ajouter connexion. Nommez votre connexion.
4. Sélectionnez une destination pour les données de service Cloud. Effectuez l'une des opérations suivantes :
   
   • Sélectionnez Compartiment AWS AppsFlyer (option disponible uniquement pour les abonnés Data Locker). Cliquez sur Enregistrer et passez à l'étape 5. 
   • Sélectionnez S3.
     1. Saisissez le nom de votre compartiment AWS S3. Le préfixe af- est obligatoire et doit être saisi manuellement.
     2. Cliquez sur Test de connexion.
     3. Vérifiez qu'aucun message d'erreur ne s'affiche pour indiquer que le chemin du compartiment est invalide.
     4. Choisissez si vous voulez Rendre cette connexion compatible avec Adobe Experience Platform. Si cette option est sélectionnée, cliquez sur Enregistrer et passez à l'étape 6.
     5. Cliquez sur Enregistrer.
        
   • Sélectionnez GCS.
     1. Entrez le nom de votre compartiment GCS.
     2. Cliquez sur Test de connexion.
     3. Vérifiez qu'aucun message d'erreur ne s'affiche pour indiquer que le chemin du compartiment est invalide.
     4. Choisissez si vous voulez Rendre cette connexion compatible avec Adobe Experience Platform. Si cette option est sélectionnée, cliquez sur Enregistrer et passez à l'étape 6.
     5. Cliquez sur Enregistrer.
        
   • [Beta] Sélectionnez Azure.
     1. Saisissez votre nom de connexion, votre nom de compte de stockage et votre clé.
     2. Vérifiez qu'aucun message d'erreur ne s'affiche pour indiquer que le chemin du compartiment est invalide.
     3. Choisissez si vous voulez Rendre cette connexion compatible avec Adobe Experience Platform. Si cette option est sélectionnée, cliquez sur Enregistrer et passez à l'étape 6.
     4. Cliquez sur Enregistrer.
        
   • [Beta] Sélectionner Yandex.
     1. Saisissez le nom de votre Compartiment, Clé d'accès, et Clé secrète.
     2. Vérifiez qu'aucun message d'erreur ne s'affiche pour indiquer que le chemin du compartiment est invalide.
     3. Choisissez si vous voulez Rendre cette connexion compatible avec Adobe Experience Platform. Si cette option est sélectionnée, cliquez sur Enregistrer et passez à l'étape 6.
     4. Cliquez sur Enregistrer.
        
   • Sélectionnez BigQuery.
     1. Saisissez l'ID de votre projet BigQuery et le nom de votre ensemble de données.
     2. Cliquez sur Test de connexion.
     3. Vérifiez qu'aucun message d'erreur ne s'affiche pour indiquer que le chemin du compartiment est invalide.
     4. Cliquez sur Enregistrer et passez à l'étape 6. 
   • Sélectionnez Snowflake.
     1. Saisissez votre région Snowflake et votre ID de compte.
     2. Cliquez sur Test de connexion.
     3. Vérifiez qu'aucun message d'erreur ne s'affiche pour indiquer que le chemin du compartiment est invalide.
     4. Cliquez sur Enregistrer et passez à l'étape 6. 
5. Remplissez la section Paramètres généraux :
   1. Sélectionnez le format de fichier désiré :
      • [Par défaut] Parquet
      • CSV
   2. Sélectionnez le type de compression de fichier désiré :
      • Snappy (uniquement disponible pour les fichiers Parquet)
      • GZIP
      • Non compressé
   3. Sélectionnez le nombre maximum de lignes que peut contenir votre fichier : 10k, 25k, 50, 100k, 200k ou 500k. Plus il y a de lignes dans le fichier, moins il y aura de fichiers, mais plus ils seront volumineux.
   4. Sélectionnez la structure de dossier (segmentation des données) :
      • [Par défaut] Unifié
      • Segmenté par application
6. Complétez la section Data Locker :
7. Sélectionnez une ou plusieurs applicationsà inclure dans les rapports. Sélectionnez tout pour inclure automatiquement les apps que vous ajouterez par la suite.
8. Cliquez sur Appliquer. 
9. Sélectionnez une ou plusieurs sources média à inclure dans les rapports.
   • Par défaut : toutes Signifie que les sources média ajoutées à l'avenir seront ajoutées automatiquement.
10. Cliquez sur Appliquer. 
11. [Facultatif] Sélectionnez les champs à inclure dans les rapports. Remarque : nous pouvons être amenés à proposer des champs supplémentaires. Veuillez en tenir compte dans votre processus d'importation des données.
12. Cliquez sur Appliquer. 
13. Sélectionnez un type de rapport. Vous devez en sélectionner au moins 1. 
14. [facultatif] Pour le rapport d'événements in-app, sélectionnez les événements in-app à inclure. Si vous avez plus de 100 types d'événements in-app, vous ne pouvez pas lancer de recherche pour les trouver. Saisissez leur nom exact pour les sélectionner. 
    • Par défaut : tous Signifie que les événements in-app ajoutés à l'avenir seront ajoutés automatiquement.
15. Cliquez sur Appliquer. 
16. Cliquez sur Enregistrer la configuration. L'un des événements suivants se produit :
    
    • Si vous avez choisi le compartiment AWS AppsFLyer :
      • Un compartiment AWS dédié est créé. Les informations d'identification du compartiment s'affichent.
      • Le compartiment est accessible uniquement à l'aide des informations d'identification. Les informations d'identification vous permettent d'accéder en lecture seule au compartiment.
    • Si vous avez sélectionné un de vos services de stockage cloud : les données seront inscrites dans votre service dans un délai de 3 heures. 

Un admin peut réinitialiser les identifiants du compartiment AppsFlyer à tout moment. Important ! Si vous réinitialisez les identifiants, vous devez mettre à jour vos scripts d'importation des données avec les nouveaux identifiants.

Pour réinitialiser les identifiants d'un stockage appartenant à AppsFlyer :

1. Dans Appsflyer, allez dans Integration>Data Locker. 
2. Sélectionnez la destination appartenant à AppsFlyer.
3. Dans la section Identifiants, cliquez sur Réinitialiser les identifiants.
   Une fenêtre de confirmation apparait.
4. Cliquez sur Réinitialiser.
5. Attendez que le message Les identifiants ont bien été réinitialisés s'affiche (environ 20 secondes).
   Les nouveaux identifiants sont alors disponibles.

• Symptôme : impossible de récupérer des données via AWS CLI
• Message d'erreur : une erreur s'est produite (accès refusé) lors de l'appel de l'opération ListObjectsV2 : accès refusé
• Cause : les informations d'identification AWS utilisées ne sont pas les informations d'identification correctes pour le compartiment AppsFlyer. Cela peut être dû au fait que les informations d'identification sur votre appareil sont multiples ou non valides. 
• Solution :
  1. Utilisez une autre méthode que la CLI (par exemple Cyber Duck) pour accéder au compartiment. Effectuez cette opération pour vérifier que les informations d'identification que vous utilisez fonctionnent. Si vous parvenez à vous connecter à l'aide de Cyber Duck, c'est le signe qu'un problème existe au niveau du cache des identifiants.
  2. Actualisez le cache des identifiants AWS.
     Capture d'écran de AWS

     

Avant de commencer :

• Installez AWS CLI sur votre ordinateur.
• Dans AppsFlyer, accédez à Data Locker et récupérez les informations contenues dans le panneau d'informations d'identification.

Pour utiliser AWS CLI :

1. Ouvrez le terminal. Dans Windows, <Windows>+<R>, cliquez sur OK.
   La fenêtre de ligne de commande s'ouvre.
2. Saisissez aws configure.
3. Saisissez la clé d'accès AWS telle qu'elle apparaît dans le panneau des informations d'identification.
4. Saisissez votre clé secrète AWS telle qu'elle apparaît dans le panneau des informations d'identification.
5. Saisissez eu-west-1.
6. Appuyez sur Entrée (aucun).

Utilisez les commandes CLI qui suivent au besoin.

Dans les commandes suivantes, la valeur de {home-folder} peut être trouvée

Pour répertorier les dossiers de votre compartiment :

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

Liste des fichiers et des dossiers

Il existe trois types de dossiers dans votre compartiment Data Locker :

• Type de rapport t=
• Date dt=
• Heure h=

Pour répertorier tous les rapports d'un type de rapport spécifique :

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

Pour répertorier tous les rapports d'un type de rapport spécifique pour un jour spécifique :

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Pour répertorier tous les rapports d'un rapport spécifique, à une heure spécifique d'un jour spécifique :

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Pour télécharger les fichiers correspondant à une date spécifique :

aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

Avant de commencer :

• Installez le client Cyberduck.
• Dans AppsFlyer, accédez à Data Locker et récupérez les informations contenues dans le panneau d'informations d'identification.

Pour configurer Cyberduck :

1. Dans Cyberduck, cliquez sur Action.
2. Sélectionnez Nouveau signet. La fenêtre s'ouvre.
3. Dans le premier champ, (marqué [1] dans la capture d'écran qui suit), sélectionnez Amazon S3.

   

4. Remplissez les champs comme suit :
   • Pseudo : texte libre
   • Serveur : s3.amazonaws.com
   • ID de clé d'accès : copiez la clé d'accès AWS telle qu'elle apparaît dans le panneau des identifiants sur AppsFlyer
   • Clé d'accès secrète : copiez la clé secrète de compartiment telle qu'elle apparaît dans le panneau des identifiants sur AppsFlyer.
   • Chemin : {Bucket Name}/{Home Folder} Par exemple : af-ext-reports/1234-abc-ffffffff
5. Fermez la fenêtre. Pour ce faire, cliquez sur la croix en haut à droite de la fenêtre.
6. Sélectionnez la connexion.
   Les répertoires de données s'affichent.

Avant de commencer :

• Installez le navigateur Amazon S3.
• Dans AppsFlyer, accédez à Data Locker et récupérez les informations contenues dans le panneau d'informations d'identification.

Pour configurer le navigateur Amazon S3 :

1. Dans le navigateur S3, cliquez sur Comptes > Ajouter Nouveau compte.
   La fenêtre Ajouter un nouveau compte s'ouvre.

   

2. Remplissez les champs comme suit :
   • Nom de compte : texte libre. 
   • ID de clé d'accès :copiez la clé d'accès AWS telle qu'elle apparaît dans le panneau des informations d'identification. 
   • Clé d'accès secrète :copiez la clé secrète de compartiment telle qu'elle apparaît dans le panneau des informations d'identification.
   • Sélectionnez Crypter les clés d'accès avec un mot de passe puis saisissez un mot de passe. Notez ce mot de passe quelque part.
   • Sélectionnez Utiliser le transfert sécurisé. 
3.  Cliquez sur Enregistrer les modifications.
4. Cliquez sur Compartiments > Ajouter compartiment externe.
   La fenêtre Ajouter un compartiment externe s'ouvre.
   

   

5. Saisissez le nom du compartiment.Le nom de compartiment est au format suivant : {Bucket Name}/{Home Folder}. Les valeurs nécessaires pour le nom du compartiment et le dossier racine s'affichent dans la fenêtre des informations d'identification. 
6. Cliquez sur Ajouter un compartiment externe.
   Le compartiment est créé et s'affiche dans le panneau gauche de la fenêtre.
   Vous pouvez maintenant accéder aux fichiers Data Locker.