Использование Data Locker — сырые данные помещаются в корзину S3

Обзор: Data Locker помещает сырые данные в корзине AWS S3 bucket практически в реальном времени (задержка 6 часов). Объем данных не ограничен. Срок хранения данных 30 дней. 

Data Locker

Основные функции Data Locker

  • Приложения: поддерживает несколько приложений, которые могут быть автоматически добавлены при добавлении приложений.
  • Простота: данные помещаются в корзину Amazon S3, которая управляет требованиями к хранению
  • Надежность: данные хранятся в AWS, что обеспечивает постоянство данных
  • Гибкость: выберите, какие данные вы хотите включить в отчеты, отфильтровав по полям и внутренним событиям
  • Детализация: данные разбиты по типам отчетов, дням и часам
  • Доступность: извлечение данных по мере необходимости
  • Актуальность данных: 6-часовая задержка или ежедневное обновление в зависимости от типа отчета.  Время задержки одинаковое (6 часов) независимо от часового пояса приложения. 
Категория Тип отчета (тема) Актуальность данных* Органические* Неорганические*
Привлечение пользователей Clicks (Клики) 6-часовая задержка - ✓+
Ретаргетинг clicks_retargeting 6-часовая задержка - ✓+
Привлечение пользователей Показы 6-часовая задержка - ✓+
Ретаргетинг impressions_retargeting 6-часовая задержка - ✓+
Привлечение пользователей Установки 6-часовая задержка
Привлечение пользователей inapps 6-часовая задержка
Привлечение пользователей attributed_ad_revenue Daily* -
Привлечение пользователей organic_ad_revenue Daily* -
Ретаргетинг retargeting_ad_revenue Daily* -
Ретаргетинг conversions_retargeting 6-часовая задержка -
Ретаргетинг inapps_retargeting 6-часовая задержка -
Ретаргетинг retargeting_sessions 6-часовая задержка - ✓+
Привлечение пользователей Sessions (Сеансы) 6-часовая задержка ✓+ ✓+
Привлечение пользователей Удаления 6-часовая задержка -
Привлечение пользователей organic_uninstalls Ежедневно ✓+ -
Protect360 blocked_installs 6-часовая задержка -
Protect360 blocked_inapps 6-часовая задержка -
Protect360 blocked_clicks 6-часовая задержка -
Protect360 [FF*] [AG*] post_attribution_installs Ежедневно -
People-Based Attribution web_events Ежедневно ✓+ ✓+
People-Based Attribution web_touch_points  Ежедневно ✓+ ✓+
People-Based Attribution [FF*] web_to_app Ежедневно ✓+ ✓+
People-Based Attribution [FF*] conversion-paths Ежедневно ✓+ ✓+

* Расшифровка сокращений

✓+ Отчеты, уникальные для Data Locker

[FF] Report fields are fixed by Appsflyer. They are not related to the fields selected for inclusion in reports.

[AG] Agency transparency not supported.

6-часовая задержка: Данные разделены на папки по часу прибытия. Это час, когда событие было помещено в Data Locker. Папки Data Locker записываются в течение шести часов после фактического времени события для событий в реальном времени. Для каждого часа дня имеется папка, всего 24, от 0 до 23, и дополнительная папка для данных, которые поступают с опозданием. Время задержки одинаковое (6 часов) независимо от часового пояса приложения.

Daily: Reports having a data freshness rate of daily are written to the h=23 folder. These reports are typically available at 06:00-12:00 UTC in the h=23 folder of the preceding day. For example, the report for data generated during Monday is in the Monday H=23 folder. The data is available after 06:00 UTC on Tuesday.

Daily*: Ad revenue data is available after 2 days, meaning that data generated during Monday, becomes available in the Monday H=23 folder after 06:00 UTC on Wednesday.

Доступные в Data Locker типы отчетов

Сегментация данных

DataLockerFolders_us-en.png

Данные в корзине разбиты по папкам следующим образом:

  • t=topic (тема)
  • dt=date (дата)
  • h=hour (час)

Это означает, что для каждого типа отчета в данный день данные разделяются на отдельные папки по часу прибытия, а не по времени события данных. Например, ../t=installs/dt=2019-01-17/ содержит 25 папок.

Чтобы понять структуру папок и то, как работает почасовая сегментация, см. структура папок и формат.

Внедрение Data Locker

Настройка Data Locker

Необходимое условие: администратор должен сконфигурировать Data Locker. Члены команды могут просматривать настройки. 

AppsFlyerAdmin_us-en.png Чтобы сконфигурировать Data Locker

  1. В AppsFlyer перейдите в раздел  Интеграция > Data Locker. 
  2. Выберите одно, несколько или все приложения. Выберите все, чтобы автоматически включать приложения, которые вы добавите в будущем.
  3. Нажмите Apply (Применить).
  4. (необязательно) Медиа-источники (по умолчанию=Все. То есть медиа-источники, которые будут добавлены в будущем, добавляются автоматически): Выберите один или несколько медиа-источников, которые нужно включить в отчеты. 
  5. Нажмите Apply (Применить).
  6. Выберите один или несколько типов отчетов.
  7. [необязательно] События в приложении (по умолчанию=Все. То есть внутренние события, которые будут добавлены в будущем, добавляются автоматически): Выберите внутренние события приложения, которые нужно включить в отчеты. Если у вас более 100 типов внутренних событий, вы не сможете воспользоваться поиском. Чтобы выбрать события, введите их точные имена.
  8. Нажмите Apply (Применить).
  9. [optional] Fields (default=All): Select the fields to include in the reports. Note: We add fields from time to time take this into account in your data import process..
  10. Нажмите Создать корзину.

Учетные данные корзины

После сохранения конфигурации создается специальная корзина AWS. Сведения о корзине появятся в правом верхнем углу экрана. Они включают Имя корзины, Домашнюю папку и учетные данные для доступа к данным.

data-credentials.png

  • Корзина доступна только с использованием учетных данных клиента.
  • Любой доступ к корзине проверяется. 
  • Владелец корзины AppsFlyer. У нас есть разрешение на чтение / запись.
  • У владельца приложения есть разрешение на чтение. 

Доступность данных

  • Данные обновляются ежечасно после шестичасовой задержки
  • Каждый файл включает выбранные приложения 
  • Хранение: файлы и папки доступны в течение 30 дней. Через 30 дней данные удаляются

Структура и формат папки

  • Структура папок: af-ext-reports/<Home Folder>/data-locker-hourly/t=<event-type>/dt=<date YYYY-MM-dd>/h=<Hour h>
  • Домашняя папка — это Домашняя папка, которая появляется в окне Учетные данные (см. инструкции по настройки в предыдущем разделе) 
  • Например, на дату 2016-08-12 соответствующий отчет отображается в: s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly/t=installs/dt=2016-08-12/
  • Папка dt=yyyy-mm-dd разбита на 25 почасовых папок. Эти папки представляют час прибытия события, а не час самого события. Папки имеют имена h=0, h=1, h=2 и т. д., до h=23 и h= поздние. Например, папка h=0 содержит события, которые прибывают между 00:00 и 01:00, аналогично, папка h=20 содержит события, которые прибывают между 20:00 и 21:00.
  • В каждой папке:

    • Данные могут быть разбиты на несколько файлов, чтобы избежать образования больших файлов.  Файлы называются  part-00000, part-00001, part-00002 и так далее. В папке может быть до 1000 файлов. Мы можем увеличить это максимальное количество в будущем без предварительного уведомления.

    • В каждой папке последний записываемый файл — это всегда пустой файл с именем _SUCCESS. Этот файл является флагом, указывающим на то, что в папку больше не будет записываться никаких данных. Поэтому не читайте данные в папке, пока не убедитесь, что  в ней есть файл  _SUCCESS .Примечание: Флаг _SUCCESS также записывается в тех случаях, когда нет данных для записи в папку.

Папка "Поздние события"

Папка "Позже" содержит события предыдущего дня, которые прибыли после 0000 UTC+0 (полночь) в полночь и до 02:00 UTC+0. Он также содержит флаг _SUCCESS, как описано в предыдущем разделе. Автоматизированные процессы должны искать данные в поздней папке, как это делается для всех других папок дня.

 Пример

Событие получено AppsFlyer 21 января в 1:15. Событие имеет метку 20 января в 18:45. Поскольку это событие прибыло поздно, оно будет помещено в папку "Позже" внутри папки /dt=2019-20-01/ h=late.

Структура и формат файла

  • Файлы Data Locker основаны на отчетах по необработанным данным V5 (см. Raw Data Reports V5).
  • Фактический файл данных имеет формат CSV, но не имеет расширения файла.
  • Файлы отчета заархивированы в .gz формате (чтобы сделать процесс загрузки эффективным).
  • Каждый файл имеет строку заголовка.
  • Значения, которые содержат запятую, заключаются в двойные кавычки ("), к примеру "iPhone6,1" .

Получение данных из Data Locker

AppsFlyer создает принцип AWS (ARN в терминах Amazon) и создает учетные данные для этого принципа. Затем устанавливается политика, позволяющая принципу просматривать и извлекать файлы из корзины.

Вы можете получить доступ к корзине, используя инструменты командной строки AWS и большинство FTP-клиентов. Чтобы использовать эти инструменты, получите учетные данные, ключ доступа AWS и секретный ключ AWS из раздела "Учетные данные".

К данным можно получить доступ, используя, среди прочего, следующие инструменты:

  • CLI: AWS CLI
  • Windows: доступно несколько инструментов, например Cyber Duck или Amazon S3 Browser. DragonDisk не полностью поддерживается.

AWS CLI

Прежде чем начать:

  • Установите AWS CLI на ваш компьютер.
  • В AppsFlyer перейдите в Data Locker и получите информацию, содержащуюся на панели учетных данных, так как она необходима для выполнения этой процедуры. 

Чтобы использовать AWS CLI:

  1. Open the terminal. To do so in Windows, <Windows>+<R>, click OK.
    The command line window opens.
  2. Введите aws configure
  3. Введите ключ доступа AWS, как он отображается на панели учетных данных.
  4. Введите ваш ключ доступа AWS, как он отображается на панели учетных данных.
  5. Введите eu-west-1
  6. Нажмите Enter (нет)

Используйте указанные команды CLI по мере необходимости.

В следующих командах можно найти значение {home-folder}

Чтобы перечислить папки в вашей корзине

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

Список файлов и папок

В вашей корзине Data Locker есть три типа папок:

  • Тип отчета t=
  • Дата dt=
  • Час h=

Чтобы вывести список всех отчетов определенного типа:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

Чтобы вывести список всех отчетов определенного типа за определенный день:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Чтобы вывести список всех отчетов определенного типа за определенный час определенного дня:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Чтобы скачать файлы за определенную дату:

aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

Cyber Duck

Прежде чем начать:

  • Установка клиента Cyber Duck.
  • В AppsFlyer перейдите в Data Locker и получите информацию, содержащуюся на панели учетных данных.  Эта информация потребуется вам для настройки Cyber Duck.

Чтобы настроить Cyber Duck:

  1. В Cyber Duck нажмите Action (Действие).
  2. Выберите New Bookmark (Новая закладка). Откроется окно.
  3. В первом поле (помечено [1] на следующем снимке экрана) выберите Amazon S3.

    DataDuckSmall2.png

  4. Заполните поля следующим образом:
    • Nickname (Псевдоним): произвольный текст
    • Server (Сервер): s3.amazonaws.com
    • Access Key ID (Ключ доступа): скопируйте ключ доступа AWS, как он отображается на панели учетных данных в AppsFlyer.
    • Secret Access Key (Секретный ключ доступа): скопируйте секретный ключ доступа к корзине, как он отображается на панели учетных данных в AppsFlyer.
    • Путь: {Bucket Name}/{Home Folder} Например: af-ext-reports/1234-abc-ffffffff
  5. Чтобы закрыть окно, нажмите Х в верхнем правом углу.
  6. Select the connection.
    The data directories are displayed.

Браузер Amazon S3

Прежде чем начать:

  • Установите браузер Amazon S3.
  • В AppsFlyer перейдите в Data Locker и получите информацию, содержащуюся на панели учетных данных, так как она необходима для выполнения этой процедуры. 

Чтобы настроить браузер Amazon S3:

  1. In the S3 browser, Click Accounts > Add New Account.
    The Add New Account window opens.

    mceclip0.png

  2. Заполните поля следующим образом:
    • Account Name (Имя учетной записи): произвольный текст. 
    • Access Key ID (Ключ доступа): скопируйте ключ доступа AWS, как он отображается на панели учетных данных в AppsFlyer.
    • Secret Access Key (Секретный ключ доступа): скопируйте секретный ключ доступа к корзине, как он отображается на панели учетных данных в AppsFlyer.
    • Выберите Encrypt Access Keys (Шифрование ключей доступа) с помощью пароля и введите пароль. Запишите этот пароль.
    • Выберите Use secure transfer (Безопасная передача данных).
  3.  Нажмите Save changes (Сохранить изменения).
  4. Click Buckets > Add External Bucket.
    The Add External Bucket window opens.

    mceclip2.png

  5. Введите Bucket name (Имя корзины).Имя корзины имеет следующий формат: {Bucket Name}/{Home Folder}. Значения, необходимые для имени корзины и домашней папки, появятся в окне учетных данных. 
  6. Click Add External bucket.
    The bucket is created and displays in the left panel of the window.
    You can now access the Data Locker files. 

Формат отчета и папки

Использование отчетов в качестве источников данных

Вы можете использовать данные из отчетов и добавлять их в свои базы данных. Чтобы извлечь данные и добавить их в ваши базы данных, вам необходимо знать формат отчета. Отчеты Data Locker основаны на отчетах по необработанным данным. Тем не менее, окончательный формат отчета зависит от полей, которые вы решите включить.

Формат отчета

Поля, доступные в Data Locker, перечислены в словаре полей данных V5.0

 Совет

Отчеты содержат данные, которые можно использовать для оптимизации кампании и ретаргетинга.

Почасовые отчеты

Data Locker разделяет данные на почасовые папки. Почасовая папка представляет час обработки, а не час, когда произошло событие. Папка Data Locker записывается в течение шести часов после обработки. 

 Пример

AppsFlyer получает данные для активности с 14:00 до 15:00 17 января 2019 года. Через некоторое время после 15:00 AppsFlyer начинает обрабатывать данные. Из-за обработки данные не сразу записываются в Data Locker. Таким образом, данные в папке /t=installs/dt=2019-17-01/h=14 доступны не 17 января 2019 года в 15:00, а через шесть часов.

Создание почасовых папок

В случае отсутствия данных за определенный час, Data Locker создает папку для этого часа. Это означает, что в этот час не было данных. Папка будет содержать файл `_SUCCESS`, который указывает, что AppsFlyer завершил запись в эту папку. При разработке автоматизированных процессов это следует учитывать, то есть проектировать процессы поиска данных, чтобы они могли обрабатывать пустые почасовые папки.

Часовой пояс и валюта

Настройки часового пояса и валюты для приложения не влияют на данные в Data Locker.

Часовой пояс: в отчетах Data Locker используется часовой пояс UTC

Валюта: поле event_revenue_usd в долларах США.

Ограничения и особенности

Особенности
Специфика Заметки 
Рекламным сетям Не для использования в рекламных сетях. 
Агентства Не для использования агентствами
Часовой пояс приложения Не применимо Папки хранилища данных разделены по часам с использованием часового пояса UTC. Фактические события содержат время в формате UTC. При необходимости переводите время в любой другой часовой пояс. Независимо от часового пояса вашего приложения, задержка от возникновения события до момента его записи в Data Locker остается неизменной, то есть 6 часов. 
Валюта приложения  Не поддерживается
Ограничения на размер Не применимо
Актуальность данных Файлы обновляются ежечасно с задержкой в шесть часов от времени события.
Исторические данные Не поддерживается. Данные о событиях отправляются после настройки Data Locker. Если вам нужны исторические данные, используйте Pull API.
Доступ члена команды Члены команды не могут настроить Data Locker. 
Одно приложение/Несколько приложений Поддержка нескольких приложений. Data Locker на уровне учетной записи.

Устранение неполадок

  • Симптом: Невозможно получить данные с помощью интерфейса командной строки AWS
  • Сообщение об ошибкеПроизошла ошибка (AccessDenied) при вызове операции ListObjectsV2: доступ запрещен
  • Причина: Используемые учетные данные AWS не соответствуют учетным данным для корзины AppsFlyer. Это может быть вызвано наличием нескольких или неверных учетных данных на вашем компьютере. 
  • Решение:
    1. Используйте другой метод, например, Cyber Duck, чтобы получить доступ к корзине, то есть не CLI. Сделайте это, чтобы убедиться, что используемые учетные данные работают. Если вы можете подключиться с помощью Cyber Duck, это указывает на проблему с кэшем учетных данных. 
    2. Refresh the AWS credentials cache.
      Screenshot from AWS`mceclip0.png 
Была ли эта статья полезной?