营销人员的Data Locker使用指南

可通过Data Locker拉取的报告

您的数据构架取决于您使用的数据存储工具，即云存储或数据仓库。下文所述的目录结构是数据存储桶中的结构。如果您使用数据仓库存储数据，则其中的视图结构与本文中的目录结构类似，详情请见Snowflake说明。

Data Locker会将数据写入您指定的存储工具中。如果您使用云存储，您可以选择AppsFlyer的AWS存储桶或者您在AWS、GCS或Yandex上的自有存储桶。您可以随时切换存储工具、数据切分方式和数据宿端。

Data Locker以分级的目录结构将数据写入存储桶中，分级维度为报告类型、日期和时间。下图为目录结构示例：下图为目录结构示例：

具体报告的数据保存在该报告类型下的小时数（h）文件夹中：

• 报告的数据时效性（每小时更新、每天更新或版本化）决定了文件夹名称中的小时数。
• 通过Snappy或GZIP压缩文件或未压缩的Parquet或CSV文件提供数据。
• 数据文件由列（字段）组成。
• 各种用户链路报告都具有完全相同的schema（字段）结构，具体取决于您选择的字段。其他报告各自有其显式字段，即无结构（schemaless）报告。详情请见营销人员的Data Locker报告，其中列出了可用的报告并提供了各种报告的说明文档链接。

不同的分类取数方式会产生不同的数据文件。

• 可选的存储工具如下：
  • AppsFlyer存储桶
  • 客户自有存储工具——AWS、GCS、Azure、Yandex、BigQuery和Snowflake
• 您可以随时切换存储工具。
• 更改存储工具后会发生以下变化：
  • AF会在一小时内将数据写入新的存储桶。
  • 更改存储工具后会有一个7天的过渡期，在此期间我们会继续将数据写入原先的存储工具。您可以在AF后台查看过渡期的结束时间，以便对后续的数据入库流程变更做出相应的安排。您也可以根据实际情况重启过渡期，或换回AppsFlyer存储桶。
  • 切换存储选项：您可以使用多宿端存储选项，将数据同时发送到多个宿端，这样就能切换存储选项。完成迁移和测试后，请删除弃用的存储选项。

广告主自有存储桶的数据安全负责人须知

注意事项：

• 该存储桶或宿端仅可用于AppsFlyer的数据写入，不能有其他实体向该宿端写入数据。
• AF写入数据的25小时后您可以从相关宿端中删除该数据。
• 宿端中的数据是AF服务器中数据的副本。我们会按AF的数据保存规定将这些数据保存在服务器中。
• 出于一些技术原因，我们有时会删除并重写数据。因此需要删除与列表权限。这两个权限都不会造成任何安全隐患：这是因为AF是唯一一个向该存储桶中写入数据的实体，因此列表权限不回带来风险；此外由于AF可以重新生成相关数据，因此删除权限也没有安全风险。
• 如需了解其他相关信息，请发送邮件至hello@appsflyer.com联系我们的数据安全团队或您的CSM。

您可以使用Data Locker将您的部分或所有数据发送到2个宿端（在连接部分设置）。比如，将A应用的数据发送到AWS，将B应用的数据发送到GCS。

每个连接由一套完整的Data Locker设置组成，其中包含一个宿端。每个连接的设置都是单独分开的。

管理宿端连接时需注意以下几点：

• 宿端连接在Data Locker设置部分中，分单独的标签页显示。也就是说，您可以在各连接的专属标签页中管理其配置。每个标签页的图标代表相应的存储工具类型。
• 如需查看连接详情、创建连接副本或删除连接，请点击⋮（选项图标）。

具有必要权限的管理员和团队成员都可以访问Data Locker。

管理员

管理员可以访问Data Locker页面、创建并管理所有的连接、开放编辑权限、指定现有连接的所有者。

团队成员

团队成员可以访问Data Locker页面、编辑现有连接（需具备所有者权限）、创建新连接。

开放权限

• 如需向某个团队成员开放Data Locker的权限，请为其分配一个带有Data Locker管理权限的角色。
• 如需迁移某个现有连接的所有者权限，或向团队成员开放其编辑权限，请点击该连接中的选项菜单图标，然后点击管理所有者权限，即可进行所需操作。

请使用本节所属流程设置Data Locker。更改Data Locker的任何设置都需要最多3小时后才能生效。

前期准备

如需设置广告主侧自有存储桶：

如果您要使用自有的云端存储工具设置Data Locker，请先完成以下任一/各项流程。

• 设置：
  • AWS存储桶
  • GCS存储桶
  • 【Beta】Azure Blob
  • 【Beta】Yandex存储桶
  • BigQuery数据仓库
  • Snowflake数据仓库

请注意：如果您的套餐中不含Data Locker，但含群组分析报告或SKAN数据，您也必须完成上述自有云端存储工具设置。

请按以下步骤设置Data Locker：

1. 需要账户管理员完成该设置。
2. 从AppsFlyer后台进入报告 > Data Locker。
3. 【可选】如果您已经有在用的Data Locker宿端，并需要再添加其他宿端，请点击添加连接，并为其命名。
4. 选择一个云服务数据宿端。请完成以下任一操作：
   
   • 选择AppsFlyer的AWS存储桶（仅限套餐中包含Data Locker的广告主），然后点击保存并进入第5步。
   • 选择S3。
     1. 输入您的Amazon S3存储桶名称，必须手动在其中添加前缀af-。
     2. 点击测试连接。
     3. 确保未收到“存储桶路径无效”的报错消息。
     4. 选择该连接是否需要支持Adobe Experience Platform。选择完毕后点击保存并进入第6步。
     5. 点击保存。
   • 选择GCS。
     1. 输入您的GCS存储桶名称。
     2. 点击测试连接。
     3. 确保未收到“存储桶路径无效”的报错消息。
     4. 选择该连接是否需要支持Adobe Experience Platform。选择完毕后点击保存并进入第6步。
     5. 点击保存。
   • 【Beta】选择Azure。
     1. 输入您的连接名称、存储账户名称以及密钥。
     2. 确保未收到“存储桶路径无效”的报错消息。
     3. 选择该连接是否需要支持Adobe Experience Platform。选择完毕后点击保存并进入第6步。
     4. 点击保存。
   • 【Beta】选择Yandex。
     1. 输入您的存储桶名称、访问密钥（Access Key）和私人密钥（Secret key）。
     2. 确保未收到“存储桶路径无效”的报错消息。
     3. 选择该连接是否需要支持Adobe Experience Platform。选择完毕后点击保存并进入第6步。
     4. 点击保存。
   • 选择BigQuery。
     1. 输入您的BigQuery项目ID和数据集名称。
     2. 点击测试连接。
     3. 确保未收到“存储桶路径无效”的报错消息。
     4. 点击保存并进入第6步。
   • 选择Snowflake。
     1. 输入您的Snowflake地区和账户ID。
     2. 点击测试连接。
     3. 确保未收到“存储桶路径无效”的报错消息。
     4. 点击保存并进入第6步。
5. 完成数据设置部分的操作：
   1. 选择您需要的文件格式：
      • 【默认】Parquet。
      • CSV
   2. 选择您需要的文件压缩类型：
      • Snappy（仅限Parquet文件）
      • GZIP
      • 未压缩文件
   3. 选择文件中的数据行数上限，可用选项包括：10k、25k、50k、100k、200k和500k。行数越多，文件数量越少，文件尺寸越大。
   4. 选择文件夹结构（数据隔离）：
      • 【默认】合并
      • 分应用取数
6. 完成Data Locker内容部分的操作：
7. 选择报告中需要覆盖的应用（一个或多个）。点击全选可自动添加后续加入的新应用。
8. 点击应用。
9. 【可选】选择报告中需要涵盖的一个或多个媒体渠道。
   • 默认=All（所有媒体渠道）。也就是说，您后续添加的所有媒体渠道都会自动添加到Data Locker中。
10. 点击应用。
11. 【可选】选择您需要在报告中查看的字段。注意：AF有时会在报告中开放额外字段，请在数据入库时注意这一点。
12. 点击应用。
13. 选择报告类型（至少一种）。
14. 【可选】如果是应用内事件报告，选择您要在报告中查看的应用内事件。如果您的应用内事件类型超过100种，则无法搜索事件名，需要您输入并点选相关事件的确切名称。
    • 默认=All（所有应用内事件）。也就是说，您后续添加的所有应用内事件都会自动添加到Data Locker中。
15. 点击应用。
16. 点击保存链接。保存完毕后会出现以下两种结果：
    
    • 如果您选择了AppsFlyer的AWS存储桶：
      • AF将为您创建专属的AWS存储桶。界面会显示存储桶证书。
      • 您可以使用该证书以只读方式访问存储桶。
    • 如果您选择了自有云端存储工具：AF将在3小时内把数据写入您的存储工具中。

AF账户管理员可以随时重置AppsFlyer存储桶证书。请注意：重置证书后，您必须升级数据导入脚本，将新证书写入脚本中。

请按以下步骤重置AppsFlyer存储桶的证书：

1. 从AppsFlyer后台进入报告 > Data Locker。
2. 选择AppsFlyer存储桶。
3. 点击“证书”部分中的重置证书。
   界面打开确认窗口。
4. 点击重置。
5. 等待界面显示Credentials successfully reset（证书重置完毕）的消息（约20秒）。
   然后您就可以使用新的证书了。

• 问题：无法使用AWS CLI获取数据
• 报错消息：调用ListObjectsV2时出现错误（AccessDenied），收到“Access Denied”消息（拒绝访问）
• 原因：AppsFlyer存储桶的AWS证书不正确。这可能是由于您的计算机上有多个证书或无效证书。
• 解决方法：
  1. 请换一种方法（例如Cyberduck）访问存储桶，不要使用CLI。这是为了验证您使用的证书是否能正常生效。如果可以通过Cyberduck连接，则表明是证书缓存的问题。
  2. 刷新AWS证书缓存。
     具体方法请见下方AWS截图

     

前期准备：

• 在您的电脑上安装AWS CLI。
• 从AppsFlyer面板进入Data Locker配置页面，然后在证书栏中获取所需信息。

请按以下方式使用AWS CLI：

1. 在Windows中使用<Windows>+<R>键，然后点击OK，打开相关终端。
   界面显示命令行窗口。
2. 输入aws configure。
3. 输入证书面板中显示的AWS Access Key。
4. 输入证书面板中显示的AWS Secret Key。
5. 输入eu-west-1。
6. 按下回车键。

根据需要使用以下CLI命令。

您可以在以下命令中找到{home-folder}的值

如需在存储桶中列出文件夹：

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

列出文件和文件夹

Data Locker存储桶中有三类文件夹：

• Report Type t=
• Date dt=
• Hour h=

如需列出某个报告类型下的所有报告：

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

如需列出某个报告类型在某个日期的所有报告：

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

如需列出某报告类型在某日某时的所有报告：

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

如需下载特定日期的文件：

aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

前期准备：

• 安装Cyberduck客户端。
• 从AppsFlyer面板进入Data Locker配置页面，然后在证书栏中获取所需信息。

请按以下步骤配置Cyberduck：

1. 在Cyberduck后台点击“Action”（操作）。
2. 选择New Bookmark（新建书签），打开配置窗口。
3. 在第一个字段中（即下图中标[1]处）选择Amazon S3。

   

4. 填写以下字段：
   • Nickname（昵称）：自定义文本
   • Server（服务器）：s3.amazonaws.com
   • Access Key ID（访问密钥ID）：复制AppsFlyer后台的证书栏中显示的AWS Access Key。
   • Secret Access Key（秘密访问密钥）：复制AppsFlyer后台的证书栏中显示的Bucket Secret Key。
   • Path（路径）：{Bucket Name}/{Home Folder} 示例：af-ext-reports/1234-abc-ffffffff
5. 点击窗口右上角的X，关闭该窗口。
6. 选择相关连接。
   界面会展示数据目录。

前期准备：

• 安装Amazon S3浏览器。
• 从AppsFlyer面板进入Data Locker配置页面，然后在证书栏中获取所需信息。

请按以下步骤配置Amazon S3浏览器：

1. 在S3浏览器中点击Accounts > Add New Account。
   界面打开Add New Account（添加新账户）窗口。

   

2. 填写以下字段：
   • Account Name（帐户名）：自定义文本。
   • Access Key ID（访问密钥ID）：复制证书栏中的AWS Access Key。
   • Secret Access Key（秘密访问密钥）：复制证书栏中的Bucket Secret Key。
   • 选择Encrypt Access Keys（对密钥加密），输入密码。将此密码记录下来，以防遗忘。
   • 选择Use secure transfer（使用安全传输）。
3. 点击保存更改。
4. 点击Buckets > Add External Bucket（添加外部存储桶）。
   界面打开Add External Bucket窗口。

   

5. 输入Bucket name（存储桶名称）。存储桶名称的格式为：{Bucket Name}/{Home Folder}。您可以在在证书窗口中看到存储桶名称和主文件夹的值。
6. 点击Add External bucket（添加外部存储桶）。
   系统创建存储桶并将其展示在窗口左侧边栏中。
   完成上述操作后，您就能访问Data Locker文件了。