Data Locker V2.0 high volume multi-app raw-data delivery

At a glance: AppsFlyer deposits the raw data of all your apps into an AWS bucket in near real-time. Data is stored in folders by report type, days, and hours. There is no limitation as to the volume of events that Data Locker supports. Use scripts or other software solutions to ingest the data. 

Типы отчетов о событиях, доступные в Data Locker

DataLockerReports.jpg

Data Locker

Основные функции

  • Приложения: поддерживает несколько приложений
  • Простота: данные помещаются в корзину Amazon S3, которая управляет требованиями к хранению
  • Надежность: данные хранятся в AWS, что обеспечивает постоянство данных
  • Гибкость: выберите, какие данные вы хотите включить в отчеты, отфильтровав по полям и внутренним событиям
  • Детализация: данные разбиты по типам отчетов, дням и часам
  • Доступность: извлечение данных по мере необходимости

Сегментация данных

Данные в Data Locker сегментированы на папки следующим образом:

  • Типы отчетов
  • Дни
  • Часы

Это означает, что для каждого типа отчета в данный день данные разделяются на отдельные папки по часу прибытия, а не по времени события данных. Например, ../t=installs/dt=2019-01-17/ содержит 25 папок. Для каждого часа дня имеется папка, всего 24, от 0 до 23, и дополнительная папка для данных, которые поступают с опозданием.

Data freshness: Data is separated into arrival hour folders. That is the hour that the event was deposited to Data Locker. Data Locker folders are written about six hours after the actual event time for real-time events and for Daily reports at about 06:00 UTC. 

Внедрение Data Locker

Настройка Data Locker

Условие: Вы должны быть администратором учетной записи, чтобы настроить Data Locker.

Чтобы настроить Data Locker:

  1. В AppsFlyer перейдите в раздел  Интеграция > Data Locker. 
  2. Выберите одно или несколько приложений. 
  3. Нажмите Apply (Применить).
  4. (необязательно) Медиа-источники (по умолчанию = Все): Выберите один или несколько Медиа-источников для включения в отчеты.
  5. Нажмите Apply (Применить).
  6. Выбор типа отчета: выберите из следующих вариантов;
    • Acquisition: Clicks, Impressions, Installs, In-App Events, Sessions, Uninstalls, Attributed Ad Revenue, Organic Ad Revenue
    • Retargeting: Retargeting Clicks, Retargeting Impressions. Retargeting Conversions, Retargeting In-App Events, Retargeting Ad Revenue
    • Protect 360: Заблокированные установки, заблокированные события в приложении, заблокированные клики
    • Атрибуция People-Based: Веб-конверсии (доступно, если атрибуция по людям включена). Данные об атрибуции People-Based являются агрегированными. Этот отчет находится в папке h=23. Пример t=web_touch_points/dt=2019-07-19/h=23.

      Protect 360 — это премиальное решение AppsFlyer. 
  7. (необязательно) События в приложении (по умолчанию = Все) Выберите события в приложении для включения.
  8. Нажмите Apply (Применить).
  9. (необязательно) Поля (по умолчанию = Все): Выберите поля для включения в отчеты. Примечание: Мы добавляем поля время от времени.
  10. (необязательно) Получатели Список адресов электронной почты для уведомления о готовности отчетов. Чтобы добавить более одного получателя, разделите электронные письма запятыми, например, user1@example.com, user2@example.com.
  11. Нажмите Создать корзину.

Учетные данные корзины

После сохранения конфигурации создается специальная корзина AWS. Сведения о корзине появятся в правом верхнем углу экрана. Они включают Имя корзины, Домашнюю папку и учетные данные для доступа к данным.

data-credentials.png

Корзина доступна только с использованием учетных данных клиента (по соображениям безопасности). Кроме того, любой доступ к корзине проверяется.

Доступность данных

  • Данные обновляются ежечасно после шестичасовой задержки
  • Каждый файл включает выбранные приложения 
  • Хранение: файлы и папки доступны в течение 30 дней. Через 30 дней данные удаляются

Структура и формат папки

  • Структура папок: af-ext-reports/<Home Folder>/data-locker-hourly/t=<event-type>/dt=<date YYYY-MM-dd>/h=<Hour h>
  • Домашняя папка — это Домашняя папка, которая появляется в окне Учетные данные (см. инструкции по настройки в предыдущем разделе) 
  • Например, на дату 2016-08-12 соответствующий отчет отображается в: s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly/t=installs/dt=2016-08-12/
  • Папка dt=yyyy-mm-dd разбита на 25 почасовых папок. Эти папки представляют час прибытия события, а не час самого события. Папки имеют имена h=0, h=1, h=2 и т. д., до h=23 и h= поздние. Например, папка h=0 содержит события, которые прибывают между 00:00 и 01:00, аналогично, папка h=20 содержит события, которые прибывают между 20:00 и 21:00.
  • В каждой папке данные могут быть разбиты на несколько файлов, чтобы избежать образования больших файлов. В зависимости от типа экспортируемых данных, папки могут содержать до 1000 файлов. Это количество может быть изменено без предварительного уведомления. Файлы называются part-00000, part-00001, part-00002 и так далее.

  • В каждой папке последний записываемый файл — это всегда пустой файл с именем _SUCCESS.Этот файл является флагом, указывающим на то, что в папку больше не будет записываться никаких данных. Поэтому не читайте данные в папке, пока не убедитесь, что в ней есть файл _SUCCESS .Примечание: Флаг _SUCCESS также записывается в тех случаях, когда нет данных для записи в папку.

Папка "Поздние события"

Папка "Позже" содержит события предыдущего дня, которые прибыли после 0000 UTC+0 (полночь) в полночь и до 02:00 UTC+0. Он также содержит флаг _SUCCESS, как описано в предыдущем разделе. Автоматизированные процессы должны искать данные в поздней папке, как это делается для всех других папок дня.

 Пример

Событие получено AppsFlyer 21 января в 1:15. Событие имеет метку 20 января в 18:45. Поскольку это событие прибыло поздно, оно будет помещено в папку "Позже" внутри папки /dt=2019-20-01/ h=late.

Структура и формат файла

  • Файлы Data Locker основаны на отчетах по необработанным данным V5 (см. Raw Data Reports V5).
  • Фактический файл данных имеет формат CSV, но не имеет расширения файла.
  • Файлы отчета заархивированы в .gz формате (чтобы сделать процесс загрузки эффективным).
  • Каждый файл имеет строку заголовка.
  • Значения, которые содержат запятую, заключаются в двойные кавычки ("), к примеру "iPhone6,1" .

Получение данных из Data Locker

AppsFlyer создает принцип AWS (ARN в терминах Amazon) и создает учетные данные для этого принципа. Затем устанавливается политика, позволяющая принципу просматривать и извлекать файлы из корзины.

Вы можете получить доступ к корзине, используя инструменты командной строки AWS и большинство FTP-клиентов. Чтобы использовать эти инструменты, получите учетные данные, ключ доступа AWS и секретный ключ AWS из раздела "Учетные данные".

К данным можно получить доступ, используя, среди прочего, следующие инструменты:

  • CLI: AWS CLI
  • Windows: доступно несколько инструментов, например Cyber Duck или Amazon S3 Browser. DragonDisk не полностью поддерживается.

AWS CLI

Прежде чем начать:

  • Установите AWS CLI на ваш компьютер.
  • В AppsFlyer перейдите в Data Locker и получите информацию, содержащуюся на панели учетных данных, так как она необходима для выполнения этой процедуры. 

Чтобы использовать AWS CLI:

  1. Откройте терминал. Для этого в Windows (<Windows> + <R>), нажмите OK.
    Откроется окно командной строки.
  2. Введите aws configure
  3. Введите ключ доступа AWS, как он отображается на панели учетных данных.
  4. Введите ваш ключ доступа AWS, как он отображается на панели учетных данных.
  5. Введите eu-west-1
  6. Нажмите Enter (нет)

Используйте указанные команды CLI по мере необходимости.

В следующих командах можно найти значение {home-folder}

Чтобы перечислить папки в вашей корзине

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

Список файлов и папок

В вашей корзине Data Locker есть три типа папок:

  • Тип отчета t=
  • Дата dt=
  • Час h=

Чтобы вывести список всех отчетов определенного типа:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

Чтобы вывести список всех отчетов определенного типа за определенный день:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Чтобы вывести список всех отчетов определенного типа за определенный час определенного дня:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Cyber Duck

Прежде чем начать:

  • Установка клиента Cyber Duck.
  • В AppsFlyer перейдите в Data Locker и получите информацию, содержащуюся на панели учетных данных.  Эта информация потребуется вам для настройки Cyber Duck.

Чтобы настроить Cyber Duck:

  1. В Cyber Duck нажмите Action (Действие).
  2. Выберите New Bookmark (Новая закладка). Откроется окно.
  3. В первом поле (помечено [1] на следующем снимке экрана) выберите Amazon S3.

    DataDuckSmall2.png

  4. Заполните поля следующим образом:
    • Nickname (Псевдоним): произвольный текст
    • Server (Сервер): s3.amazonaws.com
    • Access Key ID (Ключ доступа): скопируйте ключ доступа AWS, как он отображается на панели учетных данных в AppsFlyer.
    • Secret Access Key (Секретный ключ доступа): скопируйте секретный ключ доступа к корзине, как он отображается на панели учетных данных в AppsFlyer.
    • Путь: {Bucket Name}/{Home Folder} Например: af-ext-reports/1234-abc-ffffffff
  5. Чтобы закрыть окно, нажмите Х в верхнем правом углу.
  6. Выберите соединение.
    Отобразятся каталоги данных.

Браузер Amazon S3

Прежде чем начать:

  • Установите браузер Amazon S3.
  • В AppsFlyer перейдите в Data Locker и получите информацию, содержащуюся на панели учетных данных, так как она необходима для выполнения этой процедуры. 

Чтобы настроить браузер Amazon S3:

  1. В браузере S3 нажмите Accounts (Учетные записи) > Add New Account (Добавить новую учетную запись).
    Откроется окно Add New Account (Добавить новую учетную запись).

    mceclip0.png

  2. Заполните поля следующим образом:
    • Account Name (Имя учетной записи): произвольный текст. 
    • Access Key ID (Ключ доступа): скопируйте ключ доступа AWS, как он отображается на панели учетных данных в AppsFlyer.
    • Secret Access Key (Секретный ключ доступа): скопируйте секретный ключ доступа к корзине, как он отображается на панели учетных данных в AppsFlyer.
    • Выберите Encrypt Access Keys (Шифрование ключей доступа) с помощью пароля и введите пароль. Запишите этот пароль.
    • Выберите Use secure transfer (Безопасная передача данных).
  3.  Нажмите Save changes (Сохранить изменения).
  4. Нажмите Buckets (Корзины) > Add External Bucket (Добавить внешнюю корзину).
    Откроется окно Add External Bucket (Добавить внешнюю корзину).

    mceclip2.png

  5. Введите Bucket name (Имя корзины).Имя корзины имеет следующий формат: {Bucket Name}/{Home Folder}. Значения, необходимые для имени корзины и домашней папки, появятся в окне учетных данных. 
  6. Нажмите Add External bucket (Добавить внешнюю корзину).Корзина создана и отображается на левой панели окна.
    Теперь вы можете получить доступ к файлам Data Locker. 

Доступные в Data Locker типы отчетов

  • В следующей таблице перечислены отчеты, доступные в Data Locker.
  • Отчеты, помеченные ✓+ являются уникальными для Data Locker и не доступны для просмотра другими средствами платформы.
Категория Тип отчета (тема) Описание Органика Неорганические
Привлечение пользователей Clicks (Клики) Клики  - ✓+
Ретаргетинг clicks_retargeting Клики от кампаний ретаргетинга  - ✓+
Привлечение пользователей Показы Показы - ✓+
Ретаргетинг impressions_retargeting Показы от кампаний ретаргетинга - ✓+
Привлечение пользователей Установки Установки 
Привлечение пользователей inapps In-App Events (Внутренние события приложения) 
Привлечение пользователей attributed_ad_revenue Attributed ad revenue -
Привлечение пользователей organic_ad_revenue Organic ad revenue -
Ретаргетинг retargeting_ad_revenue Retargeting ad revenue -
Ретаргетинг conversions_retargeting Ретаргетинг, включая повторное вовлечение и реатрибуции -
Ретаргетинг inapp_retargeting События в приложении от повторных атрибуций и повторного вовлечения -
Привлечение пользователей Sessions (Сеансы) Сессии приложения ✓+ ✓+
Привлечение пользователей Удаления Неорганические удаления  -
Привлечение пользователей organic_uninstalls Органические удаления ✓+ -
Protect360 blocked_installs Заблокированные Protect360 установки -
Protect360 blocked_inapps Заблокированные Protect360 события в приложении -
Protect360 blocked_clicks Заблокированные Protect360 клики -
People-based attribution web_events Веб-события атрибуции People-Based ✓+ ✓+
People-based attribution web_touch_points Веб-точки взаимодействия атрибуции People-Based ✓+ ✓+
People-based attribution web_to_app People-based attribution web to app ✓+ ✓+
Типы отчетов о событиях, доступные в Data Locker

Использование отчетов в качестве источников данных

Вы можете использовать данные из отчетов и добавлять их в свои базы данных. Чтобы извлечь данные и добавить их в ваши базы данных, вам необходимо знать формат отчета. Отчеты Data Locker основаны на отчетах по необработанным данным. Тем не менее, окончательный формат отчета зависит от полей, которые вы решите включить.

Формат отчета

Поля, доступные в Data Locker, перечислены в словаре полей данных V5.0

 Совет

Отчеты содержат данные, которые можно использовать для оптимизации кампании и ретаргетинга.

Примеры

  • Отчет о кликах — отчет о кликах содержит IDFA или Google Advertising ID. Вы можете использовать эти идентификаторы для ретаргетинга пользователей, которые взаимодействуют с вашей рекламой, но не устанавливают приложение.
  • Отчет о показах — как и отчет о кликах, отчет о показах также содержит IDFA или Google Advertising ID. Вы можете использовать отчет по показам для оптимизации кампаний в соответствии с показами, которые не приводят к кликам. Вы также можете направлять этих пользователей к другой рекламе и другим кампаниям.
  • Отчет о ретаргетинге и повторной атрибуции — эти отчеты также содержат IDFA или Google Advertising ID. Вы можете использовать IDFA или Google Advertising ID, чтобы выделить тех пользователей, на которых вам удастся выполнить ретаргетинг. Знание того, каких пользователей вам удается ретаргетировать, может помочь вам оптимизировать кампании ретаргетинга.

Примечание: Чтобы использовать IDFA или Google Advertising ID, как описано выше, убедитесь, что они включены во все ваши ссылки атрибуции.

Почасовые отчеты

Data Locker разделяет данные на почасовые папки. Почасовая папка представляет час обработки, а не час, когда произошло событие. Папка Data Locker записывается в течение шести часов после обработки. 

 Пример

AppsFlyer получает данные для активности с 14:00 до 15:00 17 января 2019 года. Через некоторое время после 15:00 AppsFlyer начинает обрабатывать данные. Из-за обработки данные не сразу записываются в Data Locker. Таким образом, данные в папке /t=installs/dt=2019-17-01/h=14 доступны не 17 января 2019 года в 15:00, а через шесть часов.

Создание почасовых папок

В случае отсутствия данных за определенный час, Data Locker создает папку для этого часа. Это означает, что в этот час не было данных. Папка будет содержать файл `_SUCCESS`, который указывает, что AppsFlyer завершил запись в эту папку. При разработке автоматизированных процессов это следует учитывать, то есть проектировать процессы поиска данных, чтобы они могли обрабатывать пустые почасовые папки.

Клики и показы SRN против не-SRN

  • Не-SRN используют ссылки атрибуции AppsFlyer для кликов и показов. Это предоставляет AppsFlyer полный набор данных проекта, который затем записывается в Data Locker. 
  • SRN (Сети с собственной атрибуцией) не используют ссылки атрибуции AppsFlyer. В результате SRN передает информацию о кликах и показах, которая затем записывается в Data Locker, только после открытия приложения. Обратите внимание, AppsFlyer не знает о кликах и показах, которые не приводят к открытию приложения. Примечание: Отчеты по сводным данным включают все клики и показы, даже если приложение не было открыто.

Клики и показы Amazon

Клики и показы Amazon не поддерживаются. Они не отображаются в отчетах, которые хранятся в Data Locker.

Часовой пояс и валюта

Настройки часового пояса и валюты для приложения не влияют на данные в Data Locker.

Часовой пояс: в отчетах Data Locker используется часовой пояс UTC

Валюта: поле event_revenue_usd в долларах США.

Ограничения и особенности

Особенности
Специфика Заметки 
Рекламным сетям Не для использования в рекламных сетях. 
Агентства Не для использования агентствами
Часовой пояс приложения Не поддерживается
Валюта приложения  Не поддерживается
Ограничения на размер Не применимо
Органические пользователи приложений Поддерживается
Неорганические пользователи приложений Поддерживается
Актуальность данных Файлы обновляются ежечасно с задержкой в шесть часов от времени события.
Исторические данные Не поддерживается. Данные о событиях отправляются после настройки Data Locker. Если вам нужны исторические данные, используйте Pull API.
Доступ члена команды Члены команды не могут настроить Data Locker. 
Одно приложение/Несколько приложений Поддержка нескольких приложений. Data Locker на уровне учетной записи.

Устранение неполадок

  • Симптом: Невозможно получить данные с помощью интерфейса командной строки AWS
  • Сообщение об ошибкеПроизошла ошибка (AccessDenied) при вызове операции ListObjectsV2: доступ запрещен
  • Причина: Используемые учетные данные AWS не соответствуют учетным данным для корзины AppsFlyer. Это может быть вызвано наличием нескольких или неверных учетных данных на вашем компьютере. 
  • Решение:
    1. Используйте другой метод, например, Cyber Duck, чтобы получить доступ к корзине, то есть не CLI. Сделайте это, чтобы убедиться, что используемые учетные данные работают. Если вы можете подключиться с помощью Cyber Duck, это указывает на проблему с кэшем учетных данных. 
    2. Обновите кэш учетных данных AWS.
      Скриншот с AWSmceclip0.png 
Была ли эта статья полезной?