Data Locker: настройка облачного сервиса

• Процедуру, описанную в этом разделе, должен выполнить ваш администратор Google Cloud.
• Вы можете удалить файлы из Data Locker через 25 и более часов после их записи. Не удаляйте файлы до истечения этого времени.

Информация для администратора GCS

Data Locker — это решение AppsFlyer для потоковой передачи данных в хранилище.

Требования

• Создайте корзину в GCS исключительно для хранения данных Data Locker. Т. е. никакие другие сервисы не должны записывать данные в эту корзину.  
• Рекомендуемое название корзины: af-datalocker.
• Предоставьте Data Locker необходимые разрешения, используя следующую процедуру.

Чтобы предоставить разрешения Data Locker:

В этой процедуре замените data-locker-example на название корзины, которую вы ранее создали для Data Locker.   

1. Войдите в консоль GCS.
2. Перейдите в хранилище Storage > Storage browser.
   

   

3. Выберите корзину, которую вы создали ранее, например data-locker-example.  
4. Перейдите на вкладку Разрешения. 
5. Нажмите +Добавить.
   Откроется окно Add members (Добавить пользователей).
6. Заполните следующим образом:
   1. New members, вставьте следующий фрагмент.

      af-data-delivery@af-raw-data.iam.gserviceaccount.com

   2. Выберите роль: Cloud storage > Storage Object Admin (Администратор объектов хранилища).  
      

      

7. Нажмите Сохранить. 

• Процедуру, описанную в этом разделе, должен выполнить ваш администратор AWS.
• Вы можете удалить файлы из Data Locker через 25 и более часов после их записи. Не удаляйте файлы до истечения этого времени.

Информация для администратора AWS

Data Locker — это решение AppsFlyer для потоковой передачи данных в хранилище.

Требования

• Создайте корзину с именем af-datalocker-моякорзина. Префикс af-datalocker- обязателен. В суффиксе можно указать любое текстовое значение.
• Рекомендуем использовать формат "af-datalocker-гггг-мм-дд-чч-мм-произвольный-текст". Где "гггг-мм-дд-чч-мм" — это текущие дата и время, а "произвольный-текст" — нужное вам название, как показано на следующем рисунке.

Пользовательский интерфейс в консоли AWS

После создания корзины предоставьте AppsFlyer необходимые разрешения, используя следующую процедуру.   

Чтобы создать корзину и предоставить разрешения AppsFlyer: 

1. Войдите в консоль AWS.
2. Откройте сервис S3.
3. Чтобы создать корзину:
   1. Нажмите Create bucket (Создать корзину).
   2. Заполните название корзины следующим образом: Начните с af-datalocker- и затем добавьте любой другой текст, как описано ранее.
   3. Укажите один из поддерживаемых AWS регионов.
   4. Нажмите Создать корзину.
4. Чтобы предоставить разрешения AppsFlyer:
   1. Выберите корзину. 
   2. Перейдите на вкладку Разрешения. 
   3. В разделе Политика корзины нажмите Редактировать.
      Откроется окно политики корзины.
   4. Вставьте в это окно следующий фрагмент кода.

      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "AF_DataLocker_Direct",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
            "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Resource": [
              "arn:aws:s3:::af-datalocker-my-bucket",
              "arn:aws:s3:::af-datalocker-my-bucket/*"
            ]
          }
        ]
      }
      

5. В этом коде замените af-data-locker-my-bucket на название созданной вами корзины.

6. [Необязательно] Добавьте поддержку корзин, зашифрованных KMS. Для этого в разделе Политика ключей выберите Переключиться в представление политики и вставьте следующий фрагмент в массив Statement.
   

   {
         "Sid": "Allow use of the key",
         "Effect": "Allow",
         "Principal": {
             "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
         },
         "Action": "kms:GenerateDataKey*",
         "Resource": "*"
     }
   

7. Выберите Сохранить изменения.
8. Выполните процедуру настройки Data Locker.

Поддерживаемые регионы AWS

Data Locker поддерживает следующие регионы для AWS:

• Азиатско-Тихоокеанский регион (Токио): ap-northeast-1
• Азиатско-Тихоокеанский регион (Сеул): ap-northeast-2
• Азиатско-Тихоокеанский регион (Мумбаи): ap-south-1
• Азиатско-Тихоокеанский регион (Сингапур): ap-southeast-1
• Азиатско-Тихоокеанский регион (Сидней): ap-southeast-2
• Канада (Центральный): ca-central-1
• ЕС (Франкфурт): eu-central-1
• ЕС (Ирландия): eu-west-1
• ЕС (Лондон): eu-west-2
• Южная Америка (Сан-Паулу): sa-east-1
• США Восток (Северная Вирджиния): us-east-1
• США Восток (Огайо): us-east-2
• США Запад (Северная Калифорния): us-west-1
• США Запад (Орегон): us-west-2

• Процедуру, описанную в этом разделе, должен выполнить ваш администратор Azure Cloud.
• Вы можете удалить файлы из Data Locker через 25 и более часов после их записи. Не удаляйте файлы до истечения этого времени.

Информация для администратора Azure

Data Locker — это решение AppsFlyer для потоковой передачи данных в ваш аккаунт хранилища.

Чтобы определить аккаунт хранилища для Data Locker:

1. В своём портале Azure перейдите к учетным записям Azure Storage. Затем нажмите кнопку Создать, чтобы создать новую учётную запись хранения для получения данных Appsflyer.
2. На вкладке Основные -> Подробности проектавыберите из выпадающих списков:
   1. подписку; 
   2. группу ресурсов.
      [Необязательно]: Если группы ресурсов не существует, нажмите Создать новую, чтобы создать группу ресурсов.
3. В разделе Детали события:
   1. Введите Название учётной записи хранения.
   2. Выберите регион из ниспадающего списка.
4. Нажмите Далее. Advanced (Расширенные настройки) > 
5. Во вкладке Безопасность выберите Включить иерархический список имен.
6. Нажмите Обзор -> Создать.
7. После завершения развертывания вернитесь квашим учётным записям хранилища Azure, и выберите вновь созданную учётную запись хранилища.
8. Перейдите к Ключи доступа, скопируйте своё Название учётной записи хранения и один из ваших ключей.  
9. Перейдите к Storage browser (Обозреватель хранилищ) -> Blob containers (Контейнеры блоб-объектов)и нажмитеДобавить контейнер.
   
   1. Введите Название для нового контейнера.
   2. Нажмите Создать.
10. Свяжитесь со своим менеджером, чтобы активировать Azure в Data Locker.
11. После активации в AppsFlyer перейдите в Data Locker -> Новое соединение.
12. В новом соединении:
    1. Дайте название подключению.
    2. Выберите Azure Blob.
    3. Введите Название контейнера Azure в поле Название корзины (то же самое, что и на шаге 9).
    4. Введите ваше скопированное Название учётной записи хранения из шага 8.
    5. Введите скопированный Ключ из шага 8.
    6. Нажмите Тестировать подключение.
    7. Сохранить.

• Процедуру, описанную в этом разделе, должен выполнить ваш администратор Yandex Cloud.
• Вы можете удалить файлы из Data Locker через 25 и более часов после их записи. Не удаляйте файлы до истечения этого времени.

Информация для администратора Yandex

Data Locker — это решение AppsFlyer для потоковой передачи данных в хранилище.

Чтобы создать корзину и предоставить разрешения Data Locker:

1. В вашей консоли Yandex Cloud перейдите на вкладку Аккаунты службы и нажмите Создать аккаунт службы.
2. Назовите аккаунт службы, например, af-datalocker.
3. Создайте статический ключ доступа для аккаунта службы. В аккаунте:
   1. Нажмите Создать новый ключ.
   2. Выберите Создать статический ключ доступа.
   3. Сохраните идентификатор ключа и секретный ключ.
4. Дайте новому аккаунту службы разрешение storage.editor (редактор хранилища).
   1. В настройках корзины перейдите в раздел Access Bindings (Доступ к привязкам) и нажмите Assign bindings (Привязать).
   2. Для нового аккаунта службы добавьте роль storage.editor и нажмите Сохранить.
5. Свяжитесь с вашим менеджером AppsFlyer, чтобы включить Яндекс в Data Locker.
6. После включения используйте идентификатор ключа и секретный ключ во время настройки Data Locker.

Процедуру, описанную в этом разделе, должен выполнить ваш администратор BigQuery.

Информация для администратора BigQuery

Data Locker — это решение AppsFlyer для потоковой передачи данных в хранилище.

Требования

• Создайте набор данных BigQuery

Чтобы создать набор данных BigQuery: 

1. В BigQuery создайте проект или используйте существующий проект
2. В проекте нажмите CREATE DATASET.

3. Присвойте набору данных подходящий идентификатор.

   Примечание

   Убедитесь, что целевой проект или набор данных связан с активным биллинговым счётом. Без биллингового счёта Data Locker не сможет создавать и записывать таблицы в назначении BigQuery, и процесс настройки подключения может завершиться неудачей.

4. Предоставьте AppsFlyer доступ к этому набору данных. См. инструкции BigQuery
   • Для Add principal (Добавить принципала) используйте следующего пользователя AppsFlyer: datalocker-bq-admin-prod@datalocker-bq-prod.iam.gserviceaccount.com.
   • Для Assign roles (Назначить роли), выберите BigQuery Data Editor (Редактор данных BigQuery).
5. Задайте значения других необходимых параметров. 

Подключите Data Locker к своему аккаунту Snowflake. Данные будут отправляться в Snowflake и останутся доступны в выбранном вами облачном хранилище.

Примечания для разработчиков решений бизнес-аналитики

• Частота обновления данных такая же, как у данных, поступающих в корзину.
• Структура таблицы и столбцов с данными такие же, как у данных, доступных в корзине Data Locker.
• По мере добавления строк в общую папку Snowflake заполняется столбец _ingestion_time. Чтобы обеспечить уникальность строк и не допустить многократный импорт одной и той же строки:
  1. Сохраните max_ingestion_time для таблицы, которая была загружена.
  2. При каждом запуске процесса импорта загружать только те строки, у которых _ingestion_time > max_ingestion_time.

Чтобы подключить Snowflake к Data Locker, выполните указанные ниже действия. 

Процедура для коннектора Snowflake

Чтобы узнать регион и идентификатор аккаунта Snowflake:

1. В Snowflake войдите в свой аккаунт Snowflake.
2. В строке меню выберите свое имя.
   Появятся регион и идентификатор аккаунта.
   

Чтобы подключить Data Locker к Snowflake:

1. В AppsFlyer перейдите в раздел Отчеты > Data Locker.
2. Выберите Snowflake.
3. Укажите регион Snowflake и ID аккаунта Snowflake, используя информацию, которую вы ранее получили от Snowflake.
4. Нажмите Сохранить.

Чтобы создать базу данных из общей папки Snowflake:

1. В Snowflake войдите в свой аккаунт Snowflake.
2. Смените роль на Accountadmin (Админстратор аккаунта). См. раздел Создание базы данных из общей папки.
3. Выберите Shares (Общие папки).
4. Выберите общую папку AppsFlyer. Например, APPSFLYER_ACC_XXX_DATA_LOCKER.
5. Нажмите Create Database from Secure Share (Создать базу данных из защищенной общей папки) и заполните необходимые поля. Важно! Обязательно загрузите данные из общей базы в свои таблицы, поскольку срок их доступности в базе данных ограничен (в настоящее время – 14 днями).  

6. В базе данных отображаются импортированные таблицы. Названия и структура таблиц аналогичны используемым в корзинах Data Locker.