Data Locker: для партнеров

Краткий обзор. Data Locker для партнеров (рекламных сетей и агентств) доставляет данные приложения в хранилище партнера в AWS или GCS.

6133DataLockerForPartners.png

Data Locker для партнеров

Data Locker для партнеров доставляет данные приложения в облачное хранилище. Рекламодатели задают разрешения, на основе которых AppsFlyer может предоставлять выбранные данные определенному партнеру. 

Возможности Data Locker

 
Функция Описание
Варианты хранилища (облако)

Ваше хранилище (корзина) в:

  • AWS
  • GCS

О вариантах хранилищ

Поддержка нескольких приложений

Поддерживает данные приложений, интегрированных с вами. Чтобы вы могли получать эти данные, рекламодатель должен предоставить разрешение по каждому отчету. 

Форматы данных
  • CSV
  • PARQUET
Актуальность данных

Частота обновления данных зависит от типа отчета:

  • Ежечасно: данные генерируются непрерывно
  • Ежедневно: некоторые отчеты формируются ежедневно и доступны на следующий день

Отчеты, доступные партнерам

Набор доступных отчетов и необходимые разрешения зависят от типа партнера. При этом механизм Data Locker, варианты хранилищ и необходимые настройки одинаковы для всех партнеров. См. статьи по типам партнеров: 

Архитектура хранилища данных

Обзор

Данные записываются в выбранный вами вариант хранилища. Перейти с одного варианта на другой можно в любой момент. Изменение вступает в силу в течение нескольких часов. 

В хранилище данные организованы с помощью иерархической структуры папок (см. скриншот ниже) по типам отчетов и датам.

DLFolderOVerview.png

Данные конкретного отчета содержатся в папках по часам (h), связанных с этим отчетом.

  • Количество часовых папок зависит от того, как часто поступает отчет (раз в час или ежедневно).
  • Файлы данных представляют собой сжатые файлы GZ, внутри которых находятся файлы Parquet или CSV. 
  • Файлы с данными состоят из столбцов (полей).
  • Структура столбцов определяется для каждого типа отчета. 

Структура папок

Папка Описание 
data-locker-hourly

DLHourly.png

  • Название папки верхнего уровня в корзине зависит от облачного сервиса.
  • Папка data-locker-hourly содержит темы отчетов. 

 Примеры структуры папок в зависимости от владельца корзины и облачного сервиса

  • Ваша корзина в AWS: <af-datalocker-префикс вашей корзины>/<generated-home-folder><subscription-id>
  • Ваша корзина в GCS: <название вашей корзины>/<generated-home-folder>/<subscription-id>
t (тема) Тип отчета связан с предметом отчета. 
dt (дата)

Это дата, связанная с данными. В большинстве случаев это дата, когда произошло событие. 

h (час)

Папки h соответствуют времени поступления данных в AppsFlyer. Например, события установки, полученные с 14:00 по 15:00 UTC, передаются в папку h=14. Внимание! Между моментом поступления данных в AppsFlyer и передачей папки h в Data Locker существует задержка около 6 часов. Таким образом, папка h=14 передается через шесть часов, в 23:00 UTC. 

Характеристики папок:

  • Часовых папок h всего 24. Они пронумерованы от 0 до 23. Например, h=0, h=1 и так далее. 
  • Кроме того, папка late содержит события за предыдущий день, которые поступили после полуночи (другими словами, события, которые поступили с 00:00 до 02:00 UTC следующего дня). Например, пользователь устанавливает приложение в понедельник в 08:00, событие поступает во вторник в 01:00. Событие записывается в папку late понедельника.
  • Данные, поступающие после 02:00, записываются в папку, соответствующую фактическим дате и времени получения. 
  • Обязательно используйте данные из папки late. Их нет в какой-либо другой папке. 
  • Папка _temporary: в некоторых случаях мы создаем в папке h временную папку. Игнорируйте временную папку и вложенные в нее папки. Например: /t=impressions/dt=2021-04-11/h=18/_temporary.
Объединенные данные

Данные по всем приложениям предоставляются в объединенных файлах. При загрузке данных, чтобы определить, к какому приложению относятся те или иные данные, используйте поле app_id.

Пример файлов с данными в папке h=2

UnifiedByApp.png

  • Убедитесь, что процесс загрузки данных настроен так, что:
    • Пользоваться данными можно только после получения флага _SUCCESS.
    • Загружаются все файлы с расширением .gz.
Флаг завершения

Флаг последнего файла (завершения) устанавливается, когда записаны все данные для определенной папки h. 

  • Не просматривайте данные в папке, пока не убедитесь, что у нее есть флаг _SUCCESS.

  • Флаг _SUCCESS устанавливается, даже когда данные для записи в конкретную папку отсутствуют, т. е. эта папка пуста.

Сжатие

Файлы сжимаются с помощью gz. После распаковки архива:

  • У файлов нет расширения.
  • Каждый файл имеет строку заголовка, содержащую названия столбцов (полей). 
Последовательность столбцов

Последовательность полей в отчетах всегда одинакова. Новые поля добавляются справа от существующих. 

Определения столбцов (полей) задаются для каждого отчета. Описание см. в статье по соответствующему отчету. 

Рекомендации по заполнению полей

Пустые поля. Некоторые поля пусты или имеют значение null. Это говорит об отсутствии данных для предоставления в контексте этого отчета. Как правило, null означает, что соответствующее поле не заполняется в контексте отчета и типа приложения. Пустое значение "" указывает на то, что поле актуально в этом контексте, но данные для его заполнения не найдены. 

Часовой пояс и валюта

Настройки часового пояса и валюты конкретного приложения игнорируются для данных, предоставляемых Data Locker. Таким образом: 

  • Часовой пояс: даты и часы указаны по поясу UTC.
  • Валюта: значения в поле event_revenue_usd указаны в долларах США.

Значения с запятыми: такие значения заключаются в двойные кавычки `"`, например, "iPhone6,1".

Файлы с данными

Контент Детали
Флаг завершения

Флаг последнего файла (завершения) устанавливается, когда записаны все данные для определенной папки h. 

  • Не просматривайте данные в папке, пока не убедитесь, что у нее есть флаг _SUCCESS.

  • Флаг _SUCCESS устанавливается, даже когда данные для записи в конкретную папку отсутствуют и папка пуста. 

  • Внимание! В варианте разделения по приложениям флаг устанавливается на уровне папки h, а не на уровне папок отдельных приложений. См. рисунки в предыдущем разделе. 
Типы файлов
  • Файлы частей заархивированы GZ.
  • После распаковки файлы с данными имеют формат Parquet или CSV в соответствии с вашими настройками.
Последовательность столбцов (файл CSV) 

Если используется формат CSV, последовательность полей в отчетах всегда одинакова. При добавлении новых полей, они появляются справа от существующих. 

В связи с этим:

  • У отчетов по пути пользователя идентичная структура столбцов. Это значит, что для разных типов отчетов можно использовать одинаковые процедуры загрузки данных. Какие поля будут в отчетах, выбираете вы. Значение поля описано в словаре по сырым данным.
  • Отчеты с меткой FF в разделе доступности отчетов имеют структуру столбцов, отличную от общей. 
Рекомендации по заполнению полей

Пустые поля: некоторые поля пусты или имеют значение null. Это говорит об отсутствии данных для предоставления в контексте этого отчета. Как правило, null означает, что соответствующее поле не заполняется в контексте отчета и типа приложения. Пустое значение "" означает, что поле актуально в этом контексте, но данные для его заполнения не найдены. 

При ограничении по медиа-источнику ограниченные поля будут содержать значение null.

В целом пустое и нулевое поле означают одно и то же: нет доступных данных. 

Часовой пояс и валюта

Настройки часового пояса и валюты приложения не влияют на данные, записываемые в Data Locker. Действуют следующие настройки: 

  • Часовой пояс: Даты и часы указаны по поясу UTC.
  • Валюта: поле event_revenue_usd в долларах США.

Значения с запятыми: такие значения заключаются в двойные кавычки `"`, например, "iPhone6,1".

Файлы данных зависят от типа разделения

Варианты хранилища

  • Вы выбираете, кому принадлежит хранилище, в которое будут записываться данные: AWS или GCS.
  • Изменить выбор хранилища можно в любое время.
  • Если вы измените хранилище, произойдет следующее:
    • Мы начнем записывать данные в новое хранилище в течение часа.
    • Мы продолжим записывать данные в прежнее хранилище в течение переходного периода в 7 дней. Время окончания переходного периода отображается в пользовательском интерфейсе. Используйте переходный период, чтобы обновить процессы загрузки данных. 
    • Изменение корзин: если вы меняете хранилище, данные отправляются в обе корзины в течение переходного периода продолжительностью 7 дней, что позволяет согласовать процесс потребления данных. 
  Хранилище рекламодателя (AWS)
Название корзины
  • GCS: нет ограничений
  • AWS: задается вами. Должно содержать префикс "af-datalocker-".

Пример: af-datalocker-your-bucket-name

Владелец хранилища Партнер 
Платформа хранилища AWS или GCS
Учетные данные для вашего доступа к данным Не известны AppsFlyer. Используйте учетные данные, предоставленные облачным сервисом.
Хранение данных Контролируется вами
безопасность

Хранилищем управляете вы. 

  • AWS: по этой корзине AppsFlyer требуются разрешения GetObject, ListBucket, DeleteObject, PutObject. Корзина должна быть выделена для использования AppsFlyer. Не задействуйте ее для других целей.
  • GCS

Примечание для сотрудников службы безопасности

Рассмотрим:

  • Корзина предназначена только для использования AppsFlyer. Никакой другой субъект не должен записывать данные в эту корзину.
  • Вы можете удалить данные в корзине через 25 часов после того, как мы их запишем.
  • Данные, которые мы записываем в корзину, являются копией данных, уже находящихся на наших серверах. Данные продолжают находиться на наших серверах в соответствии с нашей политикой хранения данных. 
  • По техническим причинам нам иногда необходимо удалять и перезаписывать данные. Поэтому нам требуются разрешения на удаление и доступ. Ни доступ, ни удаление не представляют угрозы для вашей безопасности. В случае с доступом мы являемся единственным субъектом, записывающим данные в корзину. В случае удаления мы можем восстановить данные. 

Процедура

Настройте Data Locker

Используйте эту процедуру для настройки Data Locker. Изменения в настройках вступают в силу в течение 3 часов. 

Необходимые условия:

Выполните одну из следующих процедур настройки хранилища:

  • Ваша корзина AWS.
  • Ваша корзина GCS.

AppsFlyerAdmin_us-en.png Чтобы настроить Data Locker:

  1. Войдите в свой дэшборд партнера AppsFlyer.
  2. Выберите любое приложение.
  3. Перейдите в раздел Интеграция > Data Locker. 
  4. Выберите способ интеграции. Произведите одно из следующих действий:
    • Выберите вашу корзину AWS.
      1. Введите название своей корзины AWS. Без префикса af-datalocker-
      2. Нажмите Test (Тестировать).
      3. Убедитесь в отсутствии сообщения об ошибке, указывающей на неверный путь к корзине.
    • Выберите свою корзину GCS bucket , затем введите название корзины GCS и нажмите «Тестировать».
  5. Выберите формат файла:
    • [По умолчанию] Parquet.
    • CSV.
  6. Нажмите Apply (Применить).
  7. Выберите один или несколько типов отчетов.
  8. Нажмите Применить.
  9. Нажмите кнопку Save Configuration (Сохранить настройки).

Дополнительные сведения

Ограничения и особенности

Особенности
Специфика Заметки 
Часовой пояс приложения Не применимо
Валюта приложения  Не поддерживается
Ограничения на размер Не применимо
Актуальность данных Данные обновляются согласно частоте обновления конкретного отчета, указанной в этой статье.
Исторические данные

Не поддерживается

Доступ члена команды Члены команды не могут настраивать Data Locker. 
Была ли эта статья полезной?