Data Locker—raw data delivery

At a glance: Data Locker writes raw-data to an AWS S3 bucket in near-real-time (lag 6 hours.) Data can be written to a bucket provided by AppsFlyer or directly to your bucket.

6133_Data_Locker_-_your_bucket.png

Data Locker

Основные функции Data Locker

  • Приложения: поддерживает несколько приложений, которые добавляются автоматически
  • Простота: данные записываются в корзину Amazon S3 
  • Надежность: данные хранятся в AWS, что обеспечивает постоянство данных
  • Гибкость: выберите, какие данные вы хотите включить 
  • Детализация: данные разбиты по типам отчетов, дням и часам
  • Доступность: извлечение данных по мере необходимости
  • Актуальность данных: 6-часовая задержка или ежедневное обновление в зависимости от типа отчета.  Время задержки одинаковое (6 часов) независимо от часового пояса приложения. 
  • Владелец корзины:
    • Get the data via an AppsFlyer owned bucket. Data retention: 30 days.
    • AppsFlyer writes the data directly to your bucket. Data retention: Controlled by you. 

Отчеты, доступные в Data Locker

UA и ретаргетинг
Категория Тип отчета (тема) Актуальность данных* Органические/Неорганические Уникальные возможности Data Locker
Привлечение пользователей Clicks (Клики) 6-часовая задержка
Ретаргетинг Clicks (Клики) 6-часовая задержка
Привлечение пользователей Показы 6-часовая задержка
Ретаргетинг Показы 6-часовая задержка
Привлечение пользователей Установки 6-часовая задержка Оба  
Привлечение пользователей In-App Events (Внутренние события приложения)  6-часовая задержка Оба  
Привлечение пользователей Атрибутированный доход от рекламы Ежедневно + 2 Неорганические  
Привлечение пользователей Органический доход от рекламы Ежедневно + 2 Органика  
Ретаргетинг Доход от рекламы ретаргетинга Ежедневно + 2 Неорганические  
Ретаргетинг Конверсии 6-часовая задержка Неорганические  
Ретаргетинг Внутренние события приложений 6-часовая задержка Неорганические  
Ретаргетинг Sessions (Сеансы) 6-часовая задержка Оба
Привлечение пользователей Sessions (Сеансы) 6-часовая задержка Оба
Привлечение пользователей Удаления Ежедневно Неорганические  
Привлечение пользователей Органические удаления Ежедневно Органика  
Повторные установки Повторные установки 6-часовая задержка Неорганические  
Повторные установки Органические повторные установки 6-часовая задержка Органика  
Protect360
Тип отчета (тема) Актуальность данных*
Заблокированные установки 6-часовая задержка
Заблокированные события 6-часовая задержка
Заблокированные клики 6-часовая задержка
[FF*] [AG*] Post-attribution installs (Установки после атрибуции) Ежедневно
SKAdNetwork
Обновление данных: ежедневно 
Тип отчета (тема)
[FF*] Postbacks (Постбэки)
[FF*] Installs (Установки)
[FF*] Redownloads (Повторные загрузки)
[FF*] In-app events (Внутренние события)
Атрибуция People-Based
Обновление данных: ежедневно
Тип отчета (тема)
[FF*] Website visits (Посещения сайта)
[FF*] Website events (События на сайте)
[FF*] Website-assisted installs
[FF*] Conversion Paths (Пути конверсии)
Расшифровка сокращений

* Расшифровка сокращений

[FF] Поля отчета зафиксированы Appsflyer. Они не связаны с полями, которые можно выбирать для отчетов.

[AG] Прозрачность агентств не поддерживается.

6-часовая задержка: Данные разделены на папки по часу прибытия. Это час, когда событие было помещено в Data Locker. Папки Data Locker записываются в течение шести часов после фактического времени события для событий в реальном времени. Для каждого часа дня имеется папка, всего 24, от 0 до 23, и дополнительная папка для данных, которые поступают с опозданием. Время задержки одинаковое (6 часов), независимо от часового пояса приложения.

Daily: Reports having a data freshness rate of daily are written to the h=23 folder. These reports are typically available by 10:00-12:00 UTC in the h=23 folder of the preceding day. For example, the report for data generated during Monday is in the Monday H=23 folder. The data is available after 10:00 UTC on Tuesday. 

Ежедневно+2: Данные о доходах от рекламы будут доступны через 2 дня, то есть данные, сгенерированные в понедельник, появятся в папке Monday H=23 в среду после 06:00 UTC.

Архитектура Data Locker

Разграничение данных

AppsFlyer создает принципал AWS (ARN в терминах Amazon) и генерирует учетные данные для этого принципала. Затем устанавливается политика, позволяющая принципалу просматривать и извлекать файлы из корзины.

В корзине данные организованы по типу отчета. Данные для данного отчета хранятся в его папке.

Структура папок и файлов

  • Структура папок: af-ext-reports/<Home Folder>/data-locker-hourly/t=<event-type>/dt=<date YYYY-MM-dd>/h=<Hour h>
    • Домашняя папка — это папка, которая появляется в окне Учетные данные   (см. инструкции по настройки в предыдущем разделе) 
    • Например, на дату 2016-08-12 отчет отображается в: s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly/t=installs/dt=2016-08-12/
  • Папка dt=yyyy-mm-dd разбита на 25 почасовых папок. Эти папки показывают время получения данных о событии, а не время самого события. Папки называются h=0, h=1, h=2... до h=23 и h= поздние. Например, папка h=0 содержит события, полученные между 00:00 и 01:00 UTC, а папка h=20 содержит события, полученные между 20:00 и 21:00.
  • В каждой папке:

    • Данные могут быть разбиты на несколько файлов, чтобы избежать образования больших файлов. Файлы называются part-00000, part-00001, part-00002 и так далее. В папке может быть до 1000 файлов. Мы можем увеличить максимальное количество файлов в будущем без предварительного уведомления.

    • Последний записываемый файл в каждой папке — это пустой файл с именем _SUCCESS. Этот файл является индикатором, указывающим на то, что в папку больше не будет записываться никаких данных. Поэтому не просматривайте данные в папке, пока не убедитесь, что  в ней есть файл  _SUCCESS.Примечание: Файл _SUCCESS появляется и в тех случаях, когда данных для записи в папку нет.

  • Папка "Поздние события"

    • Последняя папка содержит события за предыдущий день, которые поступили после полуночи. Значение поступает между 00:00–02:00 UTC следующего дня. Например, пользователь устанавливает приложение в понедельник в 08:00, событие поступает во вторник в 01:00. Событие записывается в последнюю папку Monday (Понедельник).

    • В папке также есть флаг _SUCCESS, как описано в предыдущем разделе.

    • Данные в последней папке не записываются ни в какую другую папку.

    • Автоматизированные процессы должны искать данные в последней папке так же, как и в других папках.

Структура и формат файла

  • Файлы Data Locker основаны на отчетах по необработанным данным V5 (см. Raw Data Reports V5).
  • Фактический файл данных имеет формат CSV, но не имеет расширения файла.
  • Файлы отчета заархивированы в .gz .
  • Каждый файл имеет строку заголовка.
  • Значения, которые содержат запятую, заключаются в двойные кавычки ("), к примеру "iPhone6,1" .

Использование отчетов в качестве источников данных

Вы можете использовать данные из отчетов и добавлять их в свои базы данных. Чтобы извлечь данные и добавить их в ваши базы данных, вам необходимо знать формат отчета. Отчеты Data Locker основаны на отчетах по необработанным данным. Тем не менее, окончательный формат отчета зависит от полей, которые вы решите включить.

Some fields are populated with null or are empty. This means that in the context of a given report there is no data to report. In general, null means this field is not populated in the context of a given report and app type. Blank "" means the field is relevant in its context but no data was found to populate it with. 

Часовой пояс и валюта

Настройки часового пояса и валюты для приложения не влияют на данные в Data Locker.

  • Часовой пояс: в отчетах Data Locker используется часовой пояс UTC
  • Валюта: поле event_revenue_usd в долларах США.

AppsFlyer AWS bucket vs. Customer AWS Bucket

 Внимание!

Если вы используете вариант с клиентской корзиной AWS: 

  • Убедитесь, что вы соответствуете требованиям законов о защите данных, таких как GDPR, и политикам рекламных сетей / SRN в отношении хранения данных.
  • Don't use the Customer AWS Bucket solution to send data to third parties. 
  • Вы выбираете, кому принадлежит корзина, в которую будут записываться данные:
    • Корзина AWS AppsFlyer
    • Customer AWS bucket
  • Изменить этот выбор можно в любой момент:
    • Move from an AppsFlyer AWS bucket to a Customer AWS bucket in the user interface. The change takes effect within 1 hour. This means we stop writing data to one bucket and start to write data to the newly selected bucket. 
    • If you want to stop using your Customer Bucket, select the AppsFlyer bucket. 
  Корзина AWS AppsFlyer Customer AWS bucket
Название корзины Задается AppsFlyer.

Задается вами. Должно содержать префикс "af-datalocker-".

Пример: af-datalocker-your-bucket-name

Владелец корзины AppsFlyer Customer
Поддерживаемая платформа хранения AWS AWS 
Учетные данные для вашего доступа к данным Доступны администратору в пользовательском интерфейсе Data Locker Не известны AppsFlyer. Используйте свои учетные данные для AWS.
Хранение данных Data is deleted after 30 days Ваша ответственность
Запросы на удаление данных Ответственность AppsFlyer Ваша ответственность
безопасность AppsFlyer controls the bucket. The customer has read access. The customer controls the bucket. AppsFlyer requires GetObject, ListBucket, DeleteObject, PutObject permission to the bucket. The bucket should be dedicated to AppsFlyer use. Don't use it for other purposes.
Место в хранилище Управляется AppsFlyer Управляется вами

Procedures

Настройте Data Locker

Используйте эту процедуру для настройки Data Locker.

Prerequisite for setting up a Customer AWS bucket:

If you are setting up Data Locker using your Customer AWS bucket, meaning a bucket owned by you, you must first complete setting up your AWS S3 bucket.

AppsFlyerAdmin_us-en.png Чтобы настроить Data Locker:

  1. Настройку выполняет администратор. 
  2. В AppsFlyer перейдите в раздел  Integration (Интеграция) > Data Locker. 
  3. Выберите способ интеграции с Amazon S3. Выберите один из следующих вариантов
    • Корзина AWS AppsFlyer. Переходите к шагу 4. 
    • Customer AWS bucket.
      1. Введите название своей корзины AWS. Без префикса af-datalocker-
      2. Нажмите Test (Тестировать).
      3. Убедитесь в отсутствии сообщения об ошибке, указывающей на неверный путь к корзине.
  4. Выберите одно, несколько или все приложения. Выберите все, чтобы автоматически включать приложения, которые вы добавите в будущем.
  5. Нажмите Применить.
  6. [необязательно] Медиа-источники. Выберите один или несколько медиа-источников для включения в отчеты.
    • По умолчанию = Все. То есть медиа-источники, которые будут добавлены в будущем, добавляются автоматически.
  7. Выберите один или несколько типов отчетов.
  8. [необязательно] Внутренние события. Укажите внутренние события приложения, которые необходимо добавить. Если типов внутренних событий более 100, вы не сможете воспользоваться поиском. Чтобы выбрать события, введите их точные имена. 
    • По умолчанию = Все. То есть внутренние события, которые будут добавлены в будущем, добавляются автоматически.
  9. Нажмите Применить.
  10. [опционально] Поля (по умолчанию = Все):   Выберите поля, которые хотите видеть в отчете. Примечание: Мы добавляем поля время от времени, учтите это при импорте данных.
  11. Нажмите кнопку Save Configuration (Сохранить настройки). Возможна одна из следующих ситуаций:
    • Если вы выбрали корзину AWS AppsFLyer:
      • Создается специальная корзина AWS. Отображаются учетные данные корзины.
      • Корзина доступна только с использованием учетных данных клиента. С вашими учетными данными вы получаете доступ к корзине только для чтения.
    • If you selected Customer AWS bucket:
      • Данные начнут записываться в вашу корзину AWS в течение 1–2 часов.

Setup Data Locker—Your AWS S3 bucket

Процедуру, описанную в этом разделе, должен выполнить ваш администратор AWS.

You can delete files from Data Locker 25 or more hours after they were written. Please don't delete them before. 

Справочная информация для администратора AWS: 

  • AppsFlyer записывает ваши данные в принадлежащую вам корзину S3. Чтобы использовать этот метод, необходимо выполнить следующее:
    • Создайте корзину с именем af-datalocker-моякорзина. Префикс "af-datalocker-" обязателен. Вместо заполнителя "моякорзина" можно указать любое текстовое значение.
  • Рекомендуем использовать формат "af-datalocker-гггг-мм-дд-чч-мм-произвольный-текст". Где "гггг-мм-дд-чч-мм" — это текущие дата и время, а "произвольный-текст" — нужное вам название, как показано на следующем рисунке.
    Пользовательский интерфейс в консоли AWS

    MyBucket.jpg

  • Когда корзина создана, предоставьте AppsFlyer необходимые разрешения, используя следующую процедуру. 

Чтобы создать корзину и предоставить разрешения AppsFlyer: 

  1. Войдите в консоль AWS.
  2. Откройте сервис S3.
  3. Чтобы создать корзину:
    1. Нажмите Create bucket (Создать корзину).
    2. Заполните поле Bucket name (Название корзины) следующим образом: начните с префикса af-datalocker-, затем добавьте оставшуюся часть, как описано выше.
    3. Нажмите Создать корзину.
  4. Чтобы предоставить разрешения AppsFlyer:
    1. Выберите корзину. 
    2. Перейдите на вкладку Permissions (Разрешения). 
    3. В разделе Bucket policy (Политика корзины) нажмите Edit (Редактировать). 
      Откроется окно политики корзины.
    4. Вставьте в это окно следующий фрагмент кода.
      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "AF_DataLocker_Direct",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
            "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Resource": [
              "arn:aws:s3:::af-datalocker-my-bucket",
              "arn:aws:s3:::af-datalocker-my-bucket/*"
            ]
          }
        ]
      }
      
  5. In the snippet, replace af-data-locker-my-bucket with the bucket name you created.

  6. Выберите Сохранить изменения.

  7. Выполните процедуру настройки Data Locker.

Reset credentials

The admin can reset the AppsFlyer AWS bucket credentials at any time. Note! If you reset the credentials you must update your data import scripts with the updated credentials.

AppsFlyerAdmin_us-en.png To reset the credentials:

  1. В AppsFlyer перейдите в раздел  Integration (Интеграция) > Data Locker. 
  2. In the Credentials section, click Reset credentials.
    A confirmation window displays.
  3. Click Reset.
  4. Wait (about 20 seconds) until the Credentials successfully reset message displays.
    The updated credentials are available.

Извлечение данных

Используйте предпочитаемый инструмент извлечения данных S3, AWS CLI или один из инструментов, описанных в следующих разделах.

AWS CLI

Прежде чем начать:

  • Установите AWS CLI на ваш компьютер.
  • В AppsFlyer перейдите в Data Locker и получите информацию, содержащуюся на панели учетных данных, так как она необходима для выполнения этой процедуры. 

Чтобы использовать AWS CLI:

  1. Откройте терминал. Для этого в Windows (<Windows> + <R>), нажмите OK.
    Откроется окно командной строки.
  2. Введите aws configure
  3. Введите ключ доступа AWS, как он отображается на панели учетных данных.
  4. Введите ваш ключ доступа AWS, как он отображается на панели учетных данных.
  5. Введите eu-west-1
  6. Нажмите Enter (нет)

Используйте указанные команды CLI по мере необходимости.

В следующих командах можно найти значение {home-folder}

Чтобы перечислить папки в вашей корзине

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

Список файлов и папок

В вашей корзине Data Locker есть три типа папок:

  • Тип отчета t=
  • Дата dt=
  • Час h=

Чтобы вывести список всех отчетов определенного типа:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

Чтобы вывести список всех отчетов определенного типа за определенный день:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Чтобы вывести список всех отчетов определенного типа за определенный час определенного дня:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Чтобы скачать файлы за определенную дату:

aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

Cyber Duck

Прежде чем начать:

  • Установка клиента Cyber Duck.
  • В AppsFlyer перейдите в Data Locker и получите информацию, содержащуюся на панели учетных данных.  Эта информация потребуется вам для настройки Cyber Duck.

Чтобы настроить Cyber Duck:

  1. В Cyber Duck нажмите Action (Действие).
  2. Выберите Новая закладка. Откроется окно.
  3. В первом поле (помечено [1] на следующем снимке экрана) выберите Amazon S3.

    DataDuckSmall2.png

  4. Заполните поля следующим образом:
    • Nickname:произвольный текст
    • Server:  s3.amazonaws.com
    • Access Key ID: скопируйте ключ доступа AWS, как он отображается на панели учетных данных в AppsFlyer.
    • Secret Access Key: скопируйте секретный ключ доступа к корзине, как он отображается на панели учетных данных в AppsFlyer.
    • Путь: {Bucket Name}/{Home Folder} Например: af-ext-reports/1234-abc-ffffffff
  5. Чтобы закрыть окно, нажмите Х в верхнем правом углу.
  6. Выберите соединение.
    Отобразятся каталоги данных.

Браузер Amazon S3

Прежде чем начать:

  • Установите браузер Amazon S3.
  • В AppsFlyer перейдите в Data Locker и получите информацию, содержащуюся на панели учетных данных, так как она необходима для выполнения этой процедуры. 

Чтобы настроить браузер Amazon S3:

  1. В браузере S3 нажмите Accounts (Аккаунты) > Add New Account (Добавить новый аккаунт).
    Откроется окно Add New Account (Добавить новый аккаунт).

    mceclip0.png

  2. Заполните поля следующим образом:
    • Account Name (Имя учетной записи): произвольный текст. 
    • Access Key ID:скопируйте ключ доступа AWS, как он отображается на панели учетных данных в AppsFlyer. 
    • Secret Access Key:скопируйте секретный ключ доступа к корзине, как он отображается на панели учетных данных в AppsFlyer.
    • Выберите Encrypt Access Keys с помощью пароля и введите пароль. Запишите этот пароль.
    • Выберите Use secure transfer. 
  3.  Нажмите Save changes.
  4. Нажмите Buckets (Корзины) > Add External Bucket (Добавить внешнюю корзину).
    Откроется окно Add External Bucket (Добавить внешнюю корзину).

    mceclip2.png

  5. Введите Bucket name.Имя корзины имеет следующий формат: {Bucket Name}/{Home Folder}. Значения, необходимые для имени корзины и домашней папки, появятся в окне учетных данных. 
  6. Нажмите Add External bucket.Корзина создана и отображается на левой панели окна.
    Теперь вы можете получить доступ к файлам Data Locker. 

Дополнительные сведения

Ограничения и особенности

Особенности
Специфика Заметки 
Рекламным сетям Не для использования в рекламных сетях. 
Агентства Не для использования агентствами
Часовой пояс приложения Не применимо Папки хранилища данных разделены по часам с использованием часового пояса UTC. Фактические события содержат время в формате UTC. При необходимости переводите время в любой другой часовой пояс. Независимо от часового пояса вашего приложения, задержка от возникновения события до момента его записи в Data Locker остается неизменной, то есть 6 часов. 
Валюта приложения  Не поддерживается
Ограничения на размер Не применимо
Актуальность данных Файлы обновляются ежечасно с задержкой в шесть часов от времени события.
Исторические данные Не поддерживается. Данные о событиях отправляются после настройки Data Locker. Если вам нужны исторические данные, используйте Pull API.
Доступ члена команды Члены команды не могут настроить Data Locker. 
Одно приложение/Несколько приложений Поддержка нескольких приложений. Data Locker на уровне учетной записи.

Примечания для разработчиков

При подготовке скриптов для загрузки данных в ваши системы необходимо учитывать следующее.

  • Временная папка:
    • В некоторых случах временная папка остается. Не обращайте внимания на эту папку.  Пример: /data-locker-hourly/t=inapps/dt=2020-11-13/h=2/_temporarary/0/_temporary/.
    • Используйте только те папки, которые отмечены флагом _SUCCESS
  • Последовательность столбцов в отчетах: 
    • Последовательность полей в отчетах всегда одинакова. При добавлении новых полей, они появляются справа от существующих. Список полей в пользовательском интерфейсе упорядочен таким же образом.

Устранение неполадок

  • Симптом: Невозможно получить данные с помощью интерфейса командной строки AWS
  • Сообщение об ошибке: Произошла ошибка (AccessDenied) при вызове операции ListObjectsV2: доступ запрещен
  • Причина: Используемые учетные данные AWS не соответствуют учетным данным для корзины AppsFlyer. Это может быть вызвано наличием нескольких или неверных учетных данных на вашем компьютере. 
  • Решение:
    1. Используйте другой метод, например, Cyber Duck, чтобы получить доступ к корзине, то есть не CLI. Сделайте это, чтобы убедиться, что используемые учетные данные работают. Если вы можете подключиться с помощью Cyber Duck, это указывает на проблему с кэшем учетных данных. 
    2. Обновите кэш учетных данных AWS.
      Скриншот с AWSmceclip0.png 
Была ли эта статья полезной?