Data Locker для партнеров

• Название папки верхнего уровня в корзине зависит от облачного сервиса.
• Папка data-locker-hourly содержит темы отчетов. 

 Примеры структуры папок в зависимости от владельца корзины и облачного сервиса:

• Ваша корзина в AWS: <af-datalocker-префикс вашей корзины>/<generated-home-folder><subscription-id>
• Ваша корзина в GCS: <название вашей корзины>/<generated-home-folder>/<subscription-id>

Это дата, связанная с данными. В большинстве случаев это дата, когда произошло событие. 

Папки h соответствуют времени поступления данных в AppsFlyer. Например, события установки, полученные с 14:00 по 15:00 UTC, передаются в папку h=14. Внимание! Между моментом поступления данных в AppsFlyer и передачей папки h в Data Locker существует задержка около 6 часов. Таким образом, папка h=14 передается через шесть часов, в 23:00 UTC. 

Характеристики папок:

• Часовых папок h всего 24. Они пронумерованы от 0 до 23. Например, h=0, h=1 и так далее. 
• Кроме того, папка late содержит события за предыдущий день, которые поступили после полуночи (другими словами, события, которые поступили с 00:00 до 02:00 UTC следующего дня). Например, пользователь устанавливает приложение в понедельник в 08:00, событие поступает во вторник в 01:00. Событие записывается в папку late понедельника.
• Данные, поступающие после 02:00, записываются в папку, соответствующую фактическим дате и времени получения. 
• Обязательно используйте данные из папки late. Их нет в какой-либо другой папке. 
• Папка _temporary: в некоторых случаях мы создаем в папке h временную папку. Игнорируйте временную папку и вложенные в нее папки. Например: /t=impressions/dt=2021-04-11/h=18/_temporary.

Данные по всем приложениям предоставляются в объединенных файлах. При загрузке данных, чтобы определить, к какому приложению относятся те или иные данные, используйте поле app_id.

Пример файлов с данными в папке h=2

• Убедитесь, что процесс загрузки данных настроен так, что:
  • Пользоваться данными можно только после получения флага _SUCCESS.
  • Загружаются все файлы с расширением .gz.

Флаг последнего файла (завершения) устанавливается, когда записаны все данные для определенной папки h. 

• Не просматривайте данные в папке, пока не убедитесь, что у нее есть флаг _SUCCESS.

• Флаг _SUCCESS устанавливается, даже когда данные для записи в конкретную папку отсутствуют, т. е. эта папка пуста.

Файлы сжимаются с помощью gz. После распаковки архива:

• У файлов нет расширения.
• Каждый файл имеет строку заголовка, содержащую названия столбцов (полей). 

Последовательность полей в отчетах всегда одинакова. Новые поля добавляются справа от существующих. 

Определения столбцов (полей) задаются для каждого отчета. Описание см. в статье по соответствующему отчету. 

Пустые поля. Некоторые поля пусты или имеют значение null. Это говорит об отсутствии данных для предоставления в контексте этого отчета. Как правило, null означает, что соответствующее поле не заполняется в контексте отчета и типа приложения. Пустое значение "" указывает на то, что поле актуально в этом контексте, но данные для его заполнения не найдены. 

Часовой пояс и валюта

Настройки часового пояса и валюты конкретного приложения игнорируются для данных, предоставляемых Data Locker. Таким образом: 

• Часовой пояс: даты и часы указаны по поясу UTC.
• Валюта: значения в поле event_revenue_usd указаны в долларах США.

Значения с запятыми: такие значения заключаются в двойные кавычки `"`, например, "iPhone6,1".

Флаг последнего файла (завершения) устанавливается, когда записаны все данные для определенной папки h. 

• Не просматривайте данные в папке, пока не убедитесь, что у нее есть флаг _SUCCESS.

• Флаг _SUCCESS устанавливается, даже когда данные для записи в конкретную папку отсутствуют и папка пуста. 

• Внимание! В варианте разделения по приложениям флаг устанавливается на уровне папки h, а не на уровне папок отдельных приложений. См. рисунки в предыдущем разделе. 

• Данные предоставляются в сжатых файлах Snappy или GZIP, или в виде несжатых файлов в формате Parquet или CSV.
• После распаковки файлы с данными имеют формат Parquet или CSV в соответствии с вашими настройками.

Если используется формат CSV, последовательность полей в отчетах всегда одинакова. При добавлении новых полей, они появляются справа от существующих. 

В связи с этим:

• У отчетов по пути пользователя идентичная структура столбцов. Это значит, что для разных типов отчетов можно использовать одинаковые процедуры загрузки данных. Какие поля будут в отчетах, выбираете вы. Значение поля описано в словаре по сырым данным.
• Отчеты с меткой FF в разделе доступности отчетов имеют структуру столбцов, отличную от общей. 

Пустые поля: некоторые поля пусты или имеют значение null. Это говорит об отсутствии данных для предоставления в контексте этого отчета. Как правило, null означает, что соответствующее поле не заполняется в контексте отчета и типа приложения. Пустое значение "" означает, что поле актуально в этом контексте, но данные для его заполнения не найдены. 

При ограничении по медиа-источнику ограниченные поля будут содержать значение null.

В целом пустое и нулевое поле означают одно и то же: нет доступных данных. 

Часовой пояс и валюта

Настройки часового пояса и валюты приложения не влияют на данные, записываемые в Data Locker. Действуют следующие настройки: 

• Часовой пояс: Даты и часы указаны по поясу UTC.
• Валюта: поле event_revenue_usd в долларах США.

Значения с запятыми: такие значения заключаются в двойные кавычки `"`, например, "iPhone6,1".

• GCS: нет ограничений
• AWS: задается вами. Должен иметь префикс af-.

Пример: af-datalocker-your-bucket-name

Хранилищем управляете вы. 

• AWS: по этой корзине AppsFlyer требуются разрешения GetObject, ListBucket, DeleteObject, PutObject. Корзина должна быть выделена для использования AppsFlyer. Не задействуйте ее для других целей.
• GCS