Data Locker для маркетологов

Премиум
Для:
маркетологов маркетологов разработчиков
Последнее обновление:

Краткий обзор: Data Locker отправляет данные отчетов в облачное хранилище для загрузки в ваши системы бизнес-аналитики. Вы можете выбрать между различными вариантами: корзина AppsFlyer в AWS или принадлежащее вам хранилище в AWS, GCS, Яндекс, BigQuery и Snowflake. Data Locker поддерживает различные хранилища. Это означает, что вы можете отправлять все данные в несколько хранилищ, разделять данные по хранилищам или сочетать оба варианта.

Обзор

6133DataLockerForAdvertisers.png

В Data Locker выберите свои приложения, медиа-источники, события и отчеты, данные которых AppsFlyer должен отправлять в указанные вами облачные хранилища. Затем программно загрузите данные из хранилища в свои системы.  

Data Locker: возможности

Функция Описание
Варианты хранилища (облако)

Data Locker может отправить ваши данные в любой из следующих облачных сервисов:

В Data Locker можно указать более одного хранилища. Это означает, что вы можете отправлять все или некоторые данные в несколько хранилищ.

Примеры

  • Разделите данные по типам отчетов. Отправляйте сырые данные в GCS, а агрегированные данные в Snowflake.
  • Разделите данные по приложениям и отправляйте данные по каждой группе приложений в разные корзины. 
Несколько приложений   Отправка данных по одному, нескольким или всем приложениям аккаунта. Когда вы добавляете приложения в аккаунт, они могут включаться автоматически. 
Период доступности 14 дней
Разделение данных

Доступные варианты разделения данных (актуально для облачной корзины):

  • [По умолчанию] Объединенный. Объединённые данные всех приложений. Чтобы определить, к какому приложению относится каждая строка в файле с данными, используется столбец идентификаторов приложений.
  • Разделение по приложениям: для данных каждого приложения предусмотрены отдельные папки. Название папки содержит идентификатор приложения. 
Форматы данных
  • Для облачной корзины:
  • Локальное хранилище данных
Обновление данных

Частота обновления данных зависит от типа отчета. 

  • Каждый час: данные генерируются непрерывно; например, данные об установках и внутренних событиях приложения записываются в течение нескольких часов с момента поступления события в AppsFlyer. 
  • Ежедневно: отчеты, например, об удалениях, генерируются ежедневно и доступны на следующий день. 
  • С контролем версий: если отчет создается несколько раз в рамках одного периода, используется механизм управления версиями.  

Отчеты, доступные через Data Locker

Отчеты, доступные через Data Locker

Настройка параметров отчета Data Locker

Чтобы настроить конфигурацию Data Locker, выполните следующие шаги для подключения вашего облачного сервиса, определения настроек экспорта и настройки содержания отчета:

1. Настройка вашего облачного сервиса

Вы можете подключить свой Data Locker к одному или нескольким поставщикам облачных сервисов. См. ниже инструкции о том, как настроить их для работы с Data Locker:

Важно! Если у вас нет подписки на Data Locker и вы имеете доступ к данным SKAN или когортной аналитике, вы должны выполнить процедуру настройки облачного хранилища, принадлежащего маркетологу.

 

2. Добавьте подключение к вашему облачному сервису

После настройки учетной записи облачного сервиса для работы с Data Locker (см. «Настройка вашего облачного сервиса» выше) создайте соединение в Data Locker, используя учетные данные вашей учетной записи. Вы можете создать до двух соединений.

Примечание

По умолчанию каждая учётная запись может открыть до двух соединений Data Locker. Если вам нужны дополнительные соединения, свяжитесь со своим менеджером по работе с клиентами.

Чтобы создать соединение с вашим облачным провайдером, выполните следующие действия:

  1. В AppsFlyer перейдите из бокового меню в раздел Экспорты > Data Locker.
  2. С правой стороны нажмите на Новое соединение.
  3. В Название соединения введите название для вашего соединения. Используйте только строчные буквы, цифры и дефисы «-».
  4. Нажмите на значок облачного сервиса, к которому вы хотите подключиться.

  5. В зависимости от выбранного вами сервиса введите следующую информацию для подключения.

    Подключение к облачной корзине AWS

    Перед настройкой соединения с AWS создайте корзину в AWS. Чтобы узнать, как, см. здесь.

    Чтобы настроить соединение:

    1. Введите название своей корзины AWS S3. Префикс af- является обязательным и должен быть введен вручную.
    2. Нажмите Тестировать подключение.
    3. Убедитесь в отсутствии сообщения об ошибке, указывающего на неверный путь к корзине.
    4. Выберите, нужно ли сделать это подключение совместимым с Adobe Experience Platform. Если выбрано, нажмите Сохранить и продолжите выбор глобальных фильтров.
    5. Нажмите Сохранить.

    Подключение к облачному хранилищу GCS

    Перед настройкой соединения с GCS создайте бакет в GCS. Чтобы узнать, как, см. здесь.

    Чтобы настроить соединение:

    1. Введите название вашей корзины GCS.
    2. Нажмите Тестировать подключение.
    3. Убедитесь в отсутствии сообщения об ошибке, указывающего на неверный путь к корзине.
    4. Выберите, нужно ли сделать это подключение совместимым с Adobe Experience Platform. Если выбрано, нажмите Сохранить и продолжите выбор глобальных фильтров.
    5. Нажмите Сохранить.

    Подключение к облачной корзине Azure

    Перед настройкой подключения к Azure откройте учетную запись хранения в Azure. Чтобы узнать, как, см. здесь.

    Чтобы настроить соединение:

    1. Введите имя подключения, имя аккаунта хранилища и ключ.
    2. Убедитесь в отсутствии сообщения об ошибке, указывающего на неверный путь к корзине.
    3. Выберите, нужно ли сделать это подключение совместимым с Adobe Experience Platform. Если выбрано, нажмите Сохранить и продолжите выбор глобальных фильтров.
    4. Нажмите Сохранить.

    Подключение к облачной корзине Yandex

    Перед настройкой соединения с AWS создайте сервисный аккаунт в Яндексе. Чтобы узнать, как, см. здесь.

    Чтобы настроить соединение:

    1. Введите Название корзины, Ключ доступа и Секретный ключ.
    2. Убедитесь в отсутствии сообщения об ошибке, указывающего на неверный путь к корзине.
    3. Выберите, нужно ли сделать это подключение совместимым с Adobe Experience Platform. Если выбрано, нажмите Сохранить и продолжите выбор глобальных фильтров.
    4. Нажмите Сохранить.

    Подключение к хранилищу данных BigQuery

    Перед настройкой соединения с BigQuery создайте массив данных в BigQuery. Чтобы узнать, как, см. здесь.

    Чтобы настроить соединение:

    1. Введите идентификатор проекта BigQuery и имя набора данных.
    2. Нажмите Тестировать подключение.
    3. Убедитесь в отсутствии сообщения об ошибке, указывающего на неверный путь к корзине.
    4. Нажмите Сохранить и перейдите к выбору глобальных фильтров.

    Подключение к хранилищу данных Snowflake

    Перед настройкой соединения с Snowflake откройте учетную запись в Snowflake. Чтобы узнать, как, см. здесь.

    Чтобы настроить соединение:

    1. Введите свой регион Snowflake и идентификатор аккаунта.
    2. Нажмите Тестировать подключение.
    3. Убедитесь в отсутствии сообщения об ошибке, указывающего на неверный путь к корзине.
    4. Нажмите Сохранить и перейдите к выбору глобальных фильтров.
  6. Нажмите Сохранить. Отобразится раздел настроек вывода отчета.

Примечание

Вы можете использовать журнал аудита, чтобы проверить, было ли создано, обновлено или удалено соединение, и кто внес изменения.

3. Настройка параметров вывода отчета

После настройки соединения с облачным сервисом вы можете продолжить настройку общих параметров отчетов вашего Data Locker. Если вы используете BigQuery или Snowflake, вы можете пропустить этот шаг.

  1. В разделе Настройки вывода отчета выберите структуру папок (разделение данных):
    • Объединенная (по умолчанию): Отчетные файлы включают записи из всех приложений.
    • Разделение по приложениям: Каждый отчетный файл посвящен одному приложению.
  2. Выберите формат файла отчёта: Parquet (по умолчанию) или CSV.
  3. Выберите тип сжатия файлов отчета:
    • Snappy (доступно только для файлов Parquet)
    • GZIP

  4. Выберите максимальное количество строк для своего файла: 10k, 25k, 50, 100k, 200k или 500k. Большее количество строк в файле означает меньшее количество файлов, но больший размер файла. 

    Примечание

    В Ожидаемом пути вы можете просмотреть шаблоны путей для ваших отчетов. Примечание: Реальный путь может отличаться от отображаемого.

4. Выберите фильтры глобального уровня

Фильтры глобального уровня позволяют вам фильтровать ваши отчеты по приложениям или медиа-источникам. Эти фильтры применяются ко всем отчётам в вашем аккаунте Data Locker, но вы также можете установить их на уровне отчёта (см. выбор фильтров на уровне отчётов ниже). Если один и тот же фильтр применяется на обоих уровнях, фильтр уровня отчёта имеет приоритет.

Чтобы применить фильтр, выполните следующие действия:

  1. В разделе Отчёты нажмите на фильтр и выберите элементы, которые нужно включить в отчёт. Например, нажмите на фильтр Приложения Untitled.png и выберите приложения, которые нужно включать в отчёты.
  2. Затем нажмите кнопку ввода (⏎).

5. Выберите группу отчётов

Выберите отчёты, которые вы хотите получать в своём облачном сервисе. Отчёты разбиты на группы. Нажатие на название группы отчётов разворачивает или сворачивает группы.

  • Чтобы выбрать отчёт, нажмите down.png, чтобы развернуть группу отчётов. По каждому отчёту в группе показана следующая информация:
    • Название отчёта: наименование отчета.
    • Название массива данных: название массива данных, который содержит записи отчёта.
    • Актуальность данных: Как часто обновляется отчёт (например, каждый час, ежедневно или по версиям).
    • Поля: количество полей (или столбцов), которые вы выбрали для отчёта по сравнению с общим количеством доступных для выбора полей.

6. Настройки или дублирование отчёта

После выбора одного или нескольких отчётов из группы отчётов вы можете либо настроить оригинальный отчёт, либо создать отдельную пользовательскую копию, продублировав его. Это позволяет вам адаптировать поля и фильтры отчёта под свои конкретные нужды, не внося изменения в оригинальную версию.

Вариант A: Настройка оригинального отчёта

  1. Нажмите кнопку Настроить customize.png рядом с названием отчёта.
  2. Откроется редактор отчётов, позволяющий вам выбирать поля и применять фильтры.
  3. Изменения будут сохранены в конфигурации оригинального отчёта.

Примечание: таким образом изменяется способ доставки отчёта в ваше облачное хранилище.

Вариант Б: Дублирование отчёта

  • Нажмите Untitled 2.png рядом с названием отчёта.
  • Выберите Дублировать duplicate2.png из выпадающего меню.
  • Будет создана копия отчёта с префиксом copy_of_.
  • Копия отчёта откроется в режиме редактирования для дальнейшей настройки.

Совет: дублирование идеально подходит для создания разных вариантов отчёта для различных целей.

После того, как вы решите, будете ли вы настраивать или дублировать отчёт, настройте поля отчёта, как описано на следующем шаге.

7. Выбор полей отчёта

Как только вы выбрали настройку или дублирование отчёта, следующим шагом будет определение, какие поля данных должны быть включены в него. Каждый отчёт содержит полный набор доступных полей, и вы можете включить только то, что актуально для вашего анализа или интеграции. По умолчанию выбраны все поля, но вы можете настроить отчёт, внеся изменения вручную.

Как выбрать поля для включения в отчёт:

  1. В диалоговом окне выбранного отчёта, во вкладке Поля, наведите курсор на поле, чтобы увидеть его описание.

    HQ1_2024-08-26_15.44.23.png

  2. Отметьте поля, которые вы хотите включить в отчёт, или уберите выделение с полей, которые вы хотите исключить из отчёта.
  3. Нажмите Применить , чтобы сохранить свои настройки.

Копирование выбора полей из другого отчёта

Вы можете скопировать выбор полей из другого отчёта в качестве отправной точки, а затем продолжить вносить необходимые изменения в список полей.

  1. На вкладке Поля отмените выбор любого случайного поля.
  2. Нажмите Получить схему из отчёта.
  3. Выберите отчёт, из которого вы хотите скопировать выбор полей.
  4. Продолжайте выбирать поля или убирать их из списка.
  5. Чтобы восстановить исходный выбор полей отчета, нажмите Обновить Untitled 4.png.

8. Выбор фильтров на уровне отчёта

Фильтры уровня отчета позволяют вам фильтровать данные одного отчёта по приложениям, медиа-источникам и другим параметрам. Вы также можете установить фильтры, которые будут применяться ко всем отчётам в вашей учетной записи; см. выбор глобальных фильтров. По умолчанию фильтры на уровне отчёта установлены аналогично настройкам глобальных фильтров, но вы можете задать пользовательские настройки для отдельно взятого отчета.

Чтобы выбрать фильтры, которые будут применяться к выбранному отчёту:

  1. Наведите курсор на отчёт, который вы хотите настроить.
  2. Нажмите Untitled 2.png, чтобы открыть меню действий, и выберите Untitled 3.png Редактировать отчёт.
  3. Откройте вкладку Фильтры. Фильтры установлены аналогично настройкам глобальных фильтров.
  4. Нажмите на фильтр и выберите элементы, которые нужно включить в отчёт. Например, нажмите на фильтр Приложения Untitled.png и выберите приложения, которые нужно включать в отчёты.
  5. Нажмите кнопку ввода (⏎). Ваши изменения выбор переопределяют настройки глобального уровня.
  6. (Необязательно) Для отчёта Inapps вы можете установить фильтр Внутренние событие приложения. Чтобы выбрать события, введите их точные названия.

  7. Нажмите Применить , чтобы сохранить свои настройки.

9. Удалить устаревшие поля

Устаревшие поля – это поля, которые ранее были включены в схему отчёта, но затем были исключены. Мы рекомендуем удалить эти поля, чтобы ваш отчёт содержал только актуальную информацию. Перед внесением каких-либо изменений проверьте, чтобы ваши рабочие процессы и интеграции не зависели от них.

Как удалить определённые устаревшие поля

  1. Откройте вкладку Устаревшие поля.
  2. Активируйте: Включить устаревшие поля в отчёт.
  3. Снимите выделение с полей, которые вы хотите исключить.
  4. Нажмите Применить.
  5. Сохраните настройки подключения.

Как удалить все устаревшие поля:

  1. Откройте вкладку «Устаревшие поля».
  2. Деактивируйте: Включить устаревшие поля в отчёт.

Примечание

Если вы хотите включить устаревшие поля в отчёт, но не можете, потому что список устаревших полей заблокирован и отображается серым шрифтом, свяжитесь со своим менеджером по работе с клиентами.

Не пустые устаревшие поля

Большинство устаревших полей пустые или содержат значение null. Тем не менее, некоторые из них содержат фактические значения, но все равно считаются устаревшими, потому что:

  • либо они отображаются в отчёте под другим названием (переименованы);
  • либо они были исключены из схемы отчёта (устарели).

Скачать список непустых устаревших полей (CSV).

10. Сохранение подключения

Нажмите Сохранить,, и первая выгрузка данных будет записана в вашу облачную службу в течение 3 часов. Графики последующих обновлений данных различаются между отчётами.

 

Важно!

Изменения в настройках Data Locker вступают в силу в течение 3 часов.

Разрешения для пользователя

Доступ к Data Locker могут получить как администраторы, так и члены команды с необходимыми разрешениями.

Администраторы

Администраторы могут иметь доступ к странице Data Locker, создавать и управлять всеми соединениями, добавлять редакторов и назначать владельцев для существующих соединений.

  • Чтобы предоставить члену команды разрешение на доступ к Data Locker, назначьте ему необходимую роль и задайте значение «Управление» для Data Locker.

  • Чтобы назначить другого владельца или добавить члена команды в качестве редактора для существующего соединения, нажмите на меню параметров (три точки) 3 dots icon.png внутри соединения, а затем выберите Управление правами владельца, чтобы изменить владельца соединения или добавить редактора.

    Примечание

    В соединениях AF–AWS нет опции Управление правами владельца даже для администраторов, так как только администраторы могут редактировать, удалять или создавать новые соединения AF–AWS. Эта мера предосторожности принимается для предотвращения раскрытия учётных данных корзины.

Члены команды

Члены команды могут иметь доступ к странице Data Locker, редактировать существующие подключения, которыми они владеют, или создавать новые подключения. Они не могут управлять правами владельца (устанавливать владельца и редакторов), даже если они являются владельцами учётной записи.

Архитектура хранилища данных

Обзор

Структура данных в хранилище зависит от того, в какое хранилище отправляются данные: облачное или локальное. Описанная здесь структура папок относится к облачному хранилищу (корзинам). В случае локального хранилища данных учитывайте, что ссылка на папки относится к просмотрам. 

Данные записываются в выбранный вами тип хранилища. Если вам нужно облачное хранилище, тогда это хранилище AppsFlyer в AWS или ваше хранилище в AWS, GCS или Яндекс. Вы можете в любой момент перейти с одного варианта на другой или настроить отправку некоторых или всех данные в несколько хранилищ. 

Данные в облачной корзине организованы с помощью иерархической структуры папок по типам отчетов, дате и времени. Ниже представлен пример такой структуры.

DLFolderOVerview.png

Данные конкретного отчета содержатся в папках по часам (h), связанных с этим отчетом:

  • Количество часовых папок зависит от частоты обновления данных (раз в час, ежедневно или с контролем версий).
  • Данные предоставляются в сжатых файлах Snappy или GZIP, или в виде несжатых файлов в формате Parquet или CSV.
  • Файлы с данными состоят из столбцов (полей).
  • Структура схемы (поля) отчетов о пути пользователя идентична и зависит от выбранных вами полей. Другие отчеты имеют свои собственные явные поля, так называемые, отчеты без схемы. Доступные отчеты и ссылки на спецификации отчетов см. в отчетах Data Locker для маркетолога.  

Структура папок

Папка Описание 
Идентификатор подписки

DataLockerFolders.png

  • Название папки верхнего уровня в корзине зависит от владельца хранилища и облачного сервиса. Как правило, папка верхнего уровня является вашим идентификатором подписки, но в некоторых случаях, например, если вы используете Cyberduck, идентификатор устанавливается в закладке и не отображается в структуре папок.
  • Папка data-locker-hourly содержит темы отчетов. Папки выше этого уровня зависят от владельца корзины и облачного сервиса.

 Примеры структуры папок в зависимости от владельца корзины и облачного сервиса

  • Корзина AppsFlyer: <af-ext-reports>/<уникальный_идентификатор>/<data-locker-hourly>
  • Ваша корзина в AWS: <af-datalocker-префикс вашей корзины>/<generated-home-folder><subscription-id>
  • Ваша корзина в GCS: <название вашей корзины>/<generated-home-folder>/<subscription-id>
Тема (t) Тип отчета связан с предметом отчета. 
Дата (dt) Это дата, связанная с данными. Для сырых данных это дата, когда произошло событие. Для агрегированных данных это дата создания отчета.  
Время (h или версия)

Папки дат делятся на почасовые (h) папки или папки версий, в зависимости от типа отчета. 

Почасовые папки

Папки h содержат данные по времени их поступления в AppsFlyer. Например, события установки, полученные с 14:00 до 15:00 UTC, записываются в папку h=14. Примечание! Между моментом поступления данных в AppsFlyer и записью папки h в Data Locker существует задержка около 1–3 часов. Например, папка h=14 записывается на час позже (в 15:00 UTC). 

Характеристики почасовых папок:

  • В ней 24 часовые папки h с номерами от 0 до 23. Например, h=0, h=1 и так далее. 
  • Папка late (h=late) содержит события за предыдущий день, которые поступили после полуночи. Имеются в виду события, поступившие с 00:00 до 02:00 UTC следующего дня. Например, пользователь устанавливает приложение в понедельник в 08:00 UTC, событие поступает во вторник в 01:00 UTC. Это событие записывается в папку late понедельника.
  • Данные, поступающие после 02:00 UTC, записываются в папку, соответствующую фактическим дате и времени получения.
  • Убедитесь, что вы используете данные в папке h=late. Они не дублируются в других папках. 
  • Временная папка _temporary: В некоторых случаях мы создаем в папке h временную папку. Не обращайте на временные папки и подпапки внимания. Пример: /t=impressions/dt=2021-04-11/h=18/_temporary.
  • Примечание:
    • Отчеты с сырыми данными, которые обновляются ежедневно, сохраняются в папку h=23. Отчет по удалениям обычно находится в папке h=2, но может быть и в любой другой папке. 
    • Отчеты по когортам и инкрементальности хранятся непосредственно в папке dt.
    • Для отчетов с контролем версий действует другой принцип, описанный в этом разделе. 

Рекомендации по ежечасным отчетам для приложений, часовой пояс которых отличен от UTC.

Чтобы гарантированно получить все данные за определенный календарный день, необходимо использовать папки согласно дню, определенному по часовому поясу приложения, как подробно описано ниже. 

  • Часовой пояс Восточного полушария: чтобы получить все данные за конкретный календарный день, необходимо импортировать папки в соответствии с датой и временем по UTC. Пример. Часовой пояс приложения UTC+10 (Сидней, Австралия). Чтобы получить все почасовые данные за вторник (Сидней), вы должны импортировать следующие папки: Понедельник: h=14–23 (с 14:00 до 23:00) и late, вторник: h=0–13 (с 00:00 до 13:00) и 14-15 (с 14:00 до 15:00). Почему необходимо импортировать h=14-15 за вторник? Некоторые данные поступают с опозданием. В папках h=14–15 (с 14:00 до 15:00) могут содержаться события, поступившие с опозданием. Отфильтруйте event_time для согласования с календарным днем приложения относительно UTC.
  • Часовой пояс Западного полушария: чтобы получить все данные за конкретный календарный день, необходимо импортировать папки в соответствии с датой и временем по UTC. Пример. Часовой пояс приложения UTC−7 (Лос-Анджелес, США). Чтобы получить все почасовые данные за вторник (Лос-Анджелес), вы должны импортировать следующие папки: Вторник: h=7–23 (с 07:00 до 23:00) и late, среда: h=0–6 (с 00:00 до 06:00) и 7-8 (с 07:00 до 08:00). Почему нужно импортировать h=7–8 за среду? Некоторые данные поступают с опозданием. В папках h=7–8 (с 07:00 до 08:00) могут содержаться события, поступившие с опозданием. Отфильтруйте event_time для согласования с календарным днем приложения относительно UTC.

Папки версий

У некоторых отчетов есть вариант с контролем версий. Это значит, что самые актуальные данные за конкретный день предоставляются несколько раз. Поскольку данные могут продолжить обновляться из-за позднего поступления или уточнения данных, появляется несколько версий одного отчета. При этом последняя версия – самая точная. 

Отчеты за определенный день содержатся в папке версий за этот день. Каждая версия сохраняется в отдельной папке, имя которой задается по метке Unix-времени, позволяющей однозначно идентифицировать этот отчет. 

Учитывайте в своих процессах импорта данных, что данные могут быть записаны задним числом. Так, данные могут записываться в папку за 1 января позже, например, 14 января. Если корзина принадлежит вам, рекомендуем настроить в облачном сервисе уведомление, запускающее процесс импорта (AWS | GCS)

Разделение приложений

Для облачной корзины данные предоставляются в объединенных файлах, включающих данные сразу по всем выбранным приложениям, или с разделением на папки по приложениям. Разделение выполняется в папке h, как описано в следующей таблице.

Тип разделения Описание 
[По умолчанию] Объединенный

Данные по всем приложениям предоставляются в объединенных файлах. Чтобы определить, к какому приложению относятся те или иные данные, используйте поле app_id.

Пример файлов с данными в папке h=2

UnifiedByApp.png

Формат имени файла данных: unique_id.gz.

  • Процесс загрузки данных должен: 
    • Загружать данные после получения флага _SUCCESS.
    • Загружать все файлы в папке с разрешением .gz. Не создавайте свой процесс импорта, используя логику нумерации частей. 
Разделение по приложениям

Папка содержит подпапки по приложениям. Файлы с данными по конкретному приложению содержатся в папке этого приложения. На следующем рисунке в папке h=19 есть папки приложений. Папка каждого приложения содержит файлы с данными по нему. Примечание! В файлах данных не указан app_id, его нужно определять по папке. 

DLSegregateByApp.png

Формат имени файлов в каждой папке приложения: unique_id.gz:  

  • Процесс загрузки данных должен: 
    • Загружать данные после получения флага _SUCCESS.
    • Загружать все файлы в папке с разрешением .gz. Не создавайте свой процесс импорта, используя логику нумерации частей. 

Ограничение: Ограничение: этот параметр недоступен для отчетов по атрибуции People-Based (ориентированная на пользователя).

Файлы с данными

Файлы данных зависят от типа разделения.

Содержимое Подробности
Флаг завершения

Флаг последнего файла (завершения) устанавливается, когда записаны все данные для определенной папки h. 

  • Не просматривайте данные в папке, пока не убедитесь, что у нее есть флаг _SUCCESS.
  • Флаг _SUCCESS устанавливается, даже когда данные для записи в конкретную папку отсутствуют и папка пуста.
  • Примечание! В варианте разделения по приложениям флаг устанавливается на уровне папки h, а не на уровне папок отдельных приложений. См. рисунки в предыдущем разделе. 
Типы файлов
  • Данные предоставляются в сжатых файлах Snappy или GZIP, или в виде несжатых файлов в формате Parquet или CSV.
  • После распаковки файлы с данными имеют формат Parquet или CSV в соответствии с вашими настройками.
Последовательность столбцов (файл CSV) 

Если используется формат CSV, последовательность полей в отчетах всегда одинакова. При добавлении новых полей, они появляются справа от существующих. 

В связи с этим: 

  • У отчетов по пути пользователя идентичная структура столбцов. Это значит, что для разных типов отчетов можно использовать одинаковые процедуры загрузки данных. Какие поля будут в отчетах, выбираете вы. Значение поля описано в словаре по сырым данным.
  • Отчеты с меткой FF в разделе доступности отчетов имеют структуру столбцов, отличную от общей. 
Рекомендации по заполнению полей

Пустые или незаполненные поля: Некоторые поля пусты или имеют значение null. Это говорит об отсутствии данных для предоставления в контексте этого отчета. Как правило, null означает, что соответствующее поле не заполняется в контексте отчета и типа приложения. Пустое значение "" означает, что поле актуально в этом контексте, но данные для его заполнения не найдены. 

При ограничении по медиа-источнику ограниченные поля будут содержать значение null. 

В целом пустое и нулевое поле означают одно и то же: нет доступных данных. 

Часовой пояс и валюта

Настройки часового пояса и валюты приложения не влияют на данные, записываемые в Data Locker. Действуют следующие настройки:  

  • Часовой пояс: даты и часы указаны по поясу UTC.
  • Валюта: значения в поле event_revenue_usd указаны в долларах США.

Значения с запятыми: Эти запятые содержатся в двойных кавычках `"`, например, `"iPhone6,1"`.

Варианты хранилища

Внимание!

Если вы используете хранилище, принадлежащее маркетологу: 

  • Убедитесь, что вы соблюдаете требования законов о защите данных, таких как GDPR, и политики рекламных сетей / SRN в отношении хранения данных.
  • Не используйте хранилище, принадлежащее маркетологу, для отправки данных третьим лицам. 
  • Вы выбираете, кому принадлежит хранилище, в которое будут записываться данные:
    • Хранилище AppsFlyer
    • Хранилище клиента – AWS, GCS, Azure, Яндекс, BigQuery и Snowflake
  • Изменить выбор хранилища можно в любое время.
  • Если вы измените хранилище, произойдет следующее:
    • Мы начнем записывать данные в новое хранилище в течение часа.
    • Мы продолжим записывать данные в прежнее хранилище в течение переходного периода в 7 дней. Время истечения переходного периода отображается в пользовательском интерфейсе. Используйте переходный период, чтобы обновить процессы загрузки данных. При необходимости можно перезапустить переходный период или вновь переключиться на корзину AppsFlyer.
    • Изменение хранилища: вы можете перейти с одного варианта на другой, используя опцию с несколькими хранилищами, при которой данные одновременно отправляются в несколько назначений. После завершения перехода и тестирования удалите вариант хранения, который вам больше не нужен. 
  Хранилище AppsFlyer (AWS)  Хранилище маркетолога (GCS, AWS, Azure, Яндекс, BigQuery, Snowflake)
Название корзины Задается AppsFlyer.
  • GCS: Нет ограничений
  • AWS: Задается вами. Должен иметь префикс af-.

Пример: af-datalocker-your-bucket-name
Владелец хранилища AppsFlyer Маркетолог
Платформа хранилища AWS AWS, GCS, Azure, Яндекс, BigQuery, Snowflake
Учетные данные для вашего доступа к данным Доступны администраторам аккаунта AppsFlyer в пользовательском интерфейсе Data Locker Не известны AppsFlyer. Используйте учетные данные, предоставленные облачным провайдером.
Хранение данных Данные удаляются через 14 дней. Ответственность маркетолога
Запросы на удаление данных Ответственность AppsFlyer Ответственность маркетолога
Безопасность Хранилищем управляет AppsFlyer. У клиента есть доступ для чтения.

Хранилищем управляет маркетолог.

  • AWS: По этой корзине AppsFlyer требуются разрешения GetObject, ListBucket, DeleteObject, PutObject. Корзина должна быть выделена для использования AppsFlyer. Не задействуйте ее для других целей.
  • GCS: см. статью по настройке GCS.
Вместимость хранилища Управляется AppsFlyer Управляется маркетологом
Контроль доступа с помощью конечных точек VPC с политиками корзины Не применимо [Необязательно] Если вы реализуете безопасность конечных точек VPC на уровне корзины в AWS, необходимо внести серверы AppsFlyer в список разрешенных. 

Уведомление сотрудникам службы безопасности о хранилищах, контролируемых клиентом

Обратите внимание:

  • Корзина или хранилище предназначены только для использования AppsFlyer. Никакой другой субъект не должен записывать данные в этот вариант хранения.
  • Вы можете удалить данные в хранилище через 25 часов после того, как мы их запишем.
  • Данные, которые мы записываем в хранилище, являются копией данных, уже находящихся на наших серверах. Данные продолжают находиться на наших серверах в соответствии с нашей политикой хранения данных.
  • По техническим причинам мы иногда удаляем и переписываем данные. По этой причине нам нужны разрешения на удаление и списки. Эти разрешения не несут для вашей безопасности никакой угрозы. В отношении списков мы являемся единственным субъектом, осуществляющим записи в корзине. Что касается удаления, мы можем восстановить данные.
  • Для получения дополнительной информации обратитесь в нашу службу безопасности по адресу hello@appsflyer.com или к своему менеджеру.  

Принципы множественных подключений (более одного пункта назначения)

В Data Locker вы можете отправить некоторые или все ваши данные в два разных хранилища (определенные в настройках подключения). Например, вы можете отправить данные приложения A в AWS, а данные приложения B – в GCS.

Каждое подключение состоит из полного набора настроек Data Locker, включая пункт назначения. Настройки подключений не зависят друг от друга.

При управлении подключениями учитывайте следующее:

  • В настройках Data Locker подключения отображаются на вкладках. Каждое подключение имеет собственную вкладку настроек, на которой можно управлять подключением. Значок каждой вкладки представляет тип хранилища.
  • Чтобы просмотреть сведения о подключении, дублировать или удалить подключение, нажмите ⋮ (опции).

Дополнительные сведения

Отслеживание изменений соединения в журнале аудита

Вы можете просмотреть, какие изменения были внесены в подключение Data Locker в журнале аудита, доступном из Центра безопасности на дэшборде AppsFlyer. Используйте журнал аудита, чтобы проверить, было ли внесено изменение, когда оно произошло и кто его сделал. Это может помочь решить проблемы, такие как отсутствие данных или неожиданные изменения подключения, без необходимости обращаться в службу поддержки.

Для отслеживания доступны следующие события жизненного цикла подключения:

  • создание нового подключения;
  • обновление подключения;
  • деактивация подключения;
  • удаление подключения;

Доступ к журналу аудита:

  1. В верхней навигационной панели откройте меню аккаунта HQ1 2025-05-05 10.48.04.png.
  2. Выберите центр безопасности.
  3. В разделе Журнал аудита нажмите Смотреть журнал аудита.
  4. Фильтрация по сервису: Datalocker, чтобы просмотреть связанные записи.

Более подробную информацию см. здесь: Журнал аудита.

Ограничения и особенности

Специфика Примечания 
Рекламные сети Не для использования рекламными сетями.
Агентства Не для использования агентствами
Часовой пояс конкретного приложения Не применимо Папки Data Locker разделены по часам по часовому поясу UTC. Фактические события содержат время в формате UTC. При необходимости переводите время в любой другой часовой пояс. Независимо от часового пояса вашего приложения, задержка от возникновения события до момента его записи в Data Locker остается неизменной.
Валюта приложения  Не поддерживается
Ограничения на размер Не применимо
Обновление данных Данные обновляются согласно частоте обновления конкретного отчета, указанной в этой статье. 
Исторические данные Не поддерживается. Если вам нужны исторические данные, некоторые отчеты (не все) доступны через Pull API.
Ограниченные данные Поля в некоторых отчетах ограничены из-за требований конфиденциальности. Узнать больше
Доступ пользователя Настраивать Data Locker могут только пользователи аккаунта с необходимыми разрешениями. 
Одно приложение/Несколько приложений Поддержка нескольких приложений. Data Locker на уровне аккаунта.
Максимальное количество подключений По умолчанию каждая учётная запись может открыть до двух соединений Data Locker. Чтобы запросить дополнительные подключения, свяжитесь со своим менеджером по работе с клиентами.

Устранение неполадок

  • Признак Невозможно получить данные с помощью интерфейса командной строки AWS
  • Сообщение об ошибке Произошла ошибка (AccessDenied) при вызове операции ListObjectsV2: Доступ запрещен.
  • Причина: Используемые учетные данные AWS не соответствуют учетным данным для корзины AppsFlyer. Это может быть вызвано наличием нескольких или неверных учетных данных на вашем компьютере.
  • Решение:
    1. Используйте другой инструмент, например, Cyberduck, чтобы получить доступ к корзине, то есть не интерфейс командной строки (CLI). Сделайте это, чтобы убедиться, что используемые учетные данные работают. Если вы можете подключиться с помощью Cyberduck, это указывает на проблему с кэшем учетных данных.
    2. Обновите кэш учетных данных AWS.
      Screenshot from AWS mceclip0.png

Получение данных AWS

Используйте предпочитаемый инструмент извлечения данных AWS, AWS CLI, или один из инструментов, описанных в следующих разделах. Примечание! Данные инструкции применимы к корзинам AppsFlyer. При необходимости измените инструкции, если вы подключаетесь к собственной корзине. 

AWS CLI

Прежде чем начать:

  • Установите AWS CLI на ваш компьютер.
  • В AppsFlyer перейдите в Data Locker и получите информацию с панели учетных данных.

Чтобы использовать AWS CLI:

  1. Откройте терминал. Для этого в Windows (<Windows> + <R>), нажмите OK.
    Откроется окно командной строки.
  2. Введите aws configure.
  3. Введите ключ доступа AWS, как он отображается на панели учетных данных.
  4. Введите ваш ключ доступа AWS, как он отображается на панели учетных данных.
  5. Введите eu-west-1.
  6. Нажмите Enter (нет).

Используйте указанные команды CLI по мере необходимости.

Значение {home-folder} содержится в следующих командах

Чтобы увидеть список папок в вашей корзине:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

Список файлов и папок

В вашей корзине Data Locker есть три типа папок:

  • Тип отчета t=
  • Дата dt=
  • Час h=

Чтобы вывести список всех отчетов определенного типа:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

Чтобы вывести список всех отчетов определенного типа за определенный день:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Чтобы вывести список всех отчетов определенного типа за определенный час определенного дня:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Чтобы скачать файлы за определенную дату:


aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

Cyberduck

Прежде чем начать:

  • Установите клиента Cyberduck.
  • В AppsFlyer перейдите в Data Locker и получите информацию с панели учетных данных.

Чтобы настроить Cyberduck:

  1. В Cyberduck нажмите Action (Действие).
  2. Выберите Новая закладка. Откроется окно.
  3. В первом поле (отмеченном [1] на скриншоте ниже) выберите Amazon S3. DataDuckSmall2.png
  4. Заполните поля следующим образом:
    • Псевдоним: Произвольный текст.
    • Сервер: s3.amazonaws.com
    • Идентификатор ключа доступа: скопируйте ключ доступа AWS, как он отображается на панели учетных данных в AppsFlyer.
    • Секретный ключ доступа Скопируйте секретный ключ корзины, как он отображается на панели учётных данных в AppsFlyer.
    • Путь: {Имя корзины}/{Домашняя папка} Например: af-ext-reports/1234-abc-ffffffff
  5. Закройте окно. Для этого нажмите Х в верхнем правом углу.
  6. Выберите соединение.
    Отобразятся каталоги данных.

Браузер Amazon S3

Прежде чем начать:

  • Установите браузер Amazon S3.
  • В AppsFlyer перейдите в Data Locker и получите информацию с панели учетных данных.

Чтобы настроить браузер Amazon S3:

  1. В браузере S3 нажмите Accounts (Аккаунты) > Add New Account (Добавить новый аккаунт).
    Открывается окно Добавить новый аккаунт.mceclip0.png
  2. Заполните поля следующим образом:
    • Account Name (Имя учетной записи): произвольный текст.
    • Access Key ID (Ключ доступа): скопируйте ключ доступа AWS, как он отображается на панели учетных данных в AppsFlyer.
    • Secret Access Key:скопируйте секретный ключ доступа к корзине, как он отображается на панели учетных данных в AppsFlyer.
    • Выберите Encrypt Access Keys с помощью пароля и введите пароль. Запишите этот пароль.
    • Выберите Use secure transfer (Безопасная передача данных).
  3. Выберите Сохранить изменения.
  4. Нажмите Buckets (Корзины) > Add External Bucket (Добавить внешнюю корзину).
    Откроется окно Add External Bucket (Добавить внешнюю корзину).
    mceclip2.png
  5. Введите Bucket name (Имя корзины). Название корзины имеет следующий формат: {Имя корзины}/{Домашняя папка}. Значения, необходимые для имени корзины и домашней папки, появятся в окне учетных данных.
  6. Нажмите Добавить внешнюю корзину.Корзина создана и отображается на левой панели окна.
    Теперь вы можете получить доступ к файлам Data Locker.  

См. также