Data Locker: настройка облачного сервиса

• Процедуру, описанную в этом разделе, должен выполнить ваш администратор Google Cloud.
• Вы можете удалить файлы из Data Locker через 25 и более часов после того, как они были созданы. Не удаляйте файлы до истечения этого времени.

Информация для администратора GCS

Data Locker — это решение AppsFlyer для потоковой передачи данных в хранилище.

Требования

• Создайте бакет в GCS исключительно для хранения данных Data Locker. Исключительно означает, что никакие другие сервисы не должны записывать данные в эту корзину. 
• Рекомендуемое название корзины: af-datalocker.
• Предоставьте Data Locker необходимые разрешения, используя следующую процедуру.

Чтобы предоставить разрешения Data Locker:

Для этого замените data-locker-example, используя название бакета, который вы ранее создали для Data Locker.  

1. Войдите в консоль GCS.

2. Перейдите в Хранилище > Обозреватель хранилища
    

   

3. Выберите бакет, который вы создали ранее, например data-locker-example. 
4. Перейдите на вкладку Разрешения. 
5. Нажмите +Добавить.
   Откроется окно Add members (Добавить пользователей).
6. Заполните следующим образом:

   1. Новые члены, вставьте следующий фрагмент.

      af-data-delivery@af-raw-data.iam.gserviceaccount.com

   2. Выберите роль: Cloud storage > Storage Object Admin (Администратор объектов хранилища). Облачное хранилище > Администратор объектов хранения. 

      

7. Нажмите Сохранить. 

• Процедуру, описанную в этом разделе, должен выполнить ваш администратор AWS.
• Вы можете удалить файлы из Data Locker через 25 и более часов после того, как они были созданы. Не удаляйте файлы до истечения этого времени.

Информация для администратора AWS

Data Locker — это решение AppsFlyer для потоковой передачи данных в хранилище.

Требования

• Создайте корзину с именем af-datalocker-моякорзина. Префикс af-datalocker- обязателен. В суффиксе можно указать любое текстовое значение.
• Рекомендуем использовать формат "af-datalocker-гггг-мм-дд-чч-мм-произвольный-текст". Где "гггг-мм-дд-чч-мм" — это текущие дата и время, и вы можете добавить любой текст произвольно, как описано на следующем изображении.

Пользовательский интерфейс в консоли AWS

После создания бакета предоставьте AppsFlyer необходимые разрешения, используя следующие правила.  

Чтобы создать корзину и предоставить разрешения AppsFlyer: 

1. Войдите в консоль AWS.
2. Откройте сервис S3.
3. Чтобы создать корзину:
   1. Нажмите Create bucket (Создать корзину).
   2. Заполните название корзины следующим образом: Начните с af-datalocker- и затем добавьте любой другой текст, как описано выше.
   3. Укажите один из поддерживаемых AWS регионов.
   4. Нажмите Создать корзину.
4. Чтобы предоставить разрешения AppsFlyer:
   1. Выберите корзину. 
   2. Перейдите на вкладку Разрешения. 
   3. В разделе Политика бакета нажмите Редактировать. 
      Откроется окно политики корзины.

   4. Вставьте в это окно следующий фрагмент кода.

      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "AF_DataLocker_Direct",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
            "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Resource": [
              "arn:aws:s3:::af-datalocker-my-bucket",
              "arn:aws:s3:::af-datalocker-my-bucket/*"
            ]
          }
        ]
      }
      

5. В этом коде замените af-data-locker-my-bucket на название созданного вами бакета.

6. [Необязательно] Добавьте поддержку корзин, зашифрованных KMS. Для этого в разделе Политика ключей выберитеПереключиться в режим просмотра политики вставьте следующий фрагмент в Массив утверждений.
    

   {
         "Sid": "Allow use of the key",
         "Effect": "Allow",
         "Principal": {
             "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
         },
         "Action": "kms:GenerateDataKey*",
         "Resource": "*"
     }
   

7. Выберите Сохранить изменения.
8. Выполните процедуру настройки Data Locker.

Поддерживаемые регионы AWS

Data Locker поддерживает следующие регионы для AWS:

• Азиатско-Тихоокеанский регион (Токио): ap-northeast-1
• Азиатско-Тихоокеанский регион (Сеул): ap-northeast-2
• Азиатско-Тихоокеанский регион (Мумбаи): ap-south-1
• Азиатско-Тихоокеанский регион (Сингапур): ap-southeast-1
• Азиатско-Тихоокеанский регион (Сидней): ap-southeast-2
• Канада (Центральный): ca-central-1
• ЕС (Франкфурт): eu-central-1
• ЕС (Ирландия): eu-west-1
• ЕС (Лондон): eu-west-2
• Южная Америка (Сан-Паулу): sa-east-1
• США Восток (Северная Вирджиния): us-east-1
• США Восток (Огайо): us-east-2
• США Запад (Северная Калифорния): us-west-1
• США Запад (Орегон): us-west-2

• Процедуру, описанную в этом разделе, должен выполнить ваш администратор Azure Cloud.
• Вы можете удалить файлы из Data Locker через 25 и более часов после того, как они были созданы. Не удаляйте файлы до истечения этого времени.

Информация для администратора Azure

Data Locker — это решение AppsFlyer для потоковой передачи данных в ваш аккаунт хранилища.

Чтобы определить аккаунт хранилища для Data Locker:

1. В вашем портале Azure перейдите в учетные записи хранилищ Azure. и нажмите Создать, чтобы создать новую учетную запись хранилища для получения данных Appsflyer.
2. На вкладкеБазовый>Детали проекта выберите из выпадающих списков:
   1. подписку; 
   2. группу ресурсов.
      Необязательно: Если группы ресурсов не существует, нажмите Создать новую, чтобы создать группу ресурсов.
3. В разделе Детали события:
   1. Введите Название учётной записи хранения.
   2. Выберите регион из ниспадающего списка.
4. Нажмите Далее. Advanced (Расширенные настройки) > 
5. Во вкладке Безопасность выберите Включить иерархический список имен.
6. НажмитеОбзор -> Создать.
7. После завершения развертывания вернитесь к Учётным записям хранилища Azure , и выберите вновь созданную учётную запись хранилища.
8. Перейдите к Ключи доступа, скопируйте своё Название учётной записи хранилища и один из ваших ключей. 
9. Перейдите к Обозреватель хранилищ -> Blob-контейнерыи нажмитеaltpredict_dashboard_plus_symbol.pngaltДобавить контейнер.
   1. Введите Название для нового контейнера.
   2. Нажмите Создать.
10. Свяжитесь со своим менеджером, чтобы активировать Azure в Data Locker.
11. После активации в AppsFlyer перейдите в Data Locker -> Новое соединение.
12. В новом соединении:
    1. Дайте название подключению.
    2. Выберите Azure Blob.
    3. Введите Название контейнераAzure в поле Название бакета (то же самое, что и на шаге 9).
    4. Введите ваше скопированное Название учётной записи хранения из шага 8.
    5. Введите скопированныйКлюч из шага 8.
    6. Нажмите Тестировать подключение.
    7. Сохранить

• Процедуру, описанную в этом разделе, должен выполнить ваш администратор Yandex Cloud.
• Вы можете удалить файлы из Data Locker через 25 и более часов после того, как они были созданы. Не удаляйте файлы до истечения этого времени.

Информация для администратора Yandex

Data Locker — это решение AppsFlyer для потоковой передачи данных в хранилище.

Чтобы создать корзину и предоставить разрешения Data Locker:

1. В вашей консоли Yandex Cloud перейдите на вкладку Служебная учетная запись и нажмите Создать служебный аккаунт.
2. Назовите аккаунт службы, например, af-datalocker.
3. Создайте статический ключ доступа для аккаунта службы. В служебном аккаунте:
   1. Нажмите Создать новый ключ.
   2. Выберите Создать статический ключ доступа.
   3. Сохраните идентификатор ключа и секретный ключ.
4. Дайте новому аккаунту службы разрешение storage.editor (редактор хранилища).
   1. В настройках бакета откройте раздел «Привязки доступа» и нажмите «Назначить привязки».
   2. Для нового служебного аккаунта добавьте роль редактор хранилища и нажмите Сохранить.
5. Свяжитесь с вашим менеджером AppsFlyer, чтобы включить Яндекс в Data Locker.
6. После включения используйте идентификатор ключа и секретный ключ во время настройки Data Locker.

Процедуру, описанную в этом разделе, должен выполнить ваш администратор BigQuery.

Информация для администратора BigQuery

Data Locker — это решение AppsFlyer для потоковой передачи данных в хранилище.

Требования

• Создайте набор данных BigQuery

Чтобы создать набор данных BigQuery: 

1. В BigQuery создайте проект или используйте существующий проект
2. В проекте нажмите CREATE DATASET.

3. Присвойте набору данных подходящий идентификатор.

   Примечание

   Убедитесь, что целевой проект или набор данных связан с активным биллинговым счётом. Без биллингового счёта Data Locker не сможет создавать и записывать таблицы в назначении BigQuery, и процесс настройки подключения может завершиться неудачей.

4. Предоставьте AppsFlyer доступ к этому набору данных. См. инструкции BigQuery
   • Для Add principal (Добавить принципала) используйте следующего пользователя AppsFlyer: datalocker-bq-admin-prod@datalocker-bq-prod.iam.gserviceaccount.com.
   • Для Assign roles (Назначить роли), выберите BigQuery Data Editor (Редактор данных BigQuery).
5. Задайте значения других необходимых параметров. 

Подключите Data Locker к своему аккаунту Snowflake. Данные будут отправляться в Snowflake и останутся доступны в выбранном вами облачном хранилище.

Примечания для разработчиков решений бизнес-аналитики

• Частота обновления данных такая же, как у данных, поступающих в корзину.
• Структура таблицы и столбцов с данными такие же, как у данных, доступных в корзине Data Locker.
• По мере добавления строк в общий доступ Snowflake, _ingestion_time столбец заполняется в местном часовом поясе системы (не UTC). Чтобы обеспечить уникальность строк и не допустить многократный импорт одной и той же строки:
  1. Сохраните max_ingestion_time для таблицы, которая была загружена.
  2. При каждом запуске процесса импорта загружать только те строки, у которых _ingestion_time > max_ingestion_time.

Чтобы подключить Snowflake к Data Locker, выполните указанные ниже действия. 

Процедура для коннектора Snowflake

Чтобы узнать регион и идентификатор аккаунта Snowflake:

1. В Snowflake войдите в свой аккаунт Snowflake.

2. В строке меню выберите свое имя.
   Появятся регион и идентификатор аккаунта.

   

Чтобы подключить Data Locker к Snowflake:

1. В AppsFlyer перейдите в раздел Отчеты > Data Locker.
2. Выберите Snowflake.
3. Введите регион Snowflake и идентификатор учётной записи, используя сведения, ранее полученные от Snowflake.
4. Нажмите Сохранить.

Чтобы создать базу данных из общей папки Snowflake:

1. В Snowflake войдите в свой аккаунт Snowflake.
2. Смените роль на Accountadmin (Админстратор аккаунта). См. раздел Создание базы данных из общей папки.
3. Выберите Shares (Общие папки).
4. Выберите общую папку AppsFlyer. Например, APPSFLYER_ACC_XXX_DATA_LOCKER.
5. Нажмите Create Database from Secure Share (Создать базу данных из защищенной общей папки) и заполните необходимые поля. Важно! Обязательно загрузите данные из общей базы в свои таблицы, поскольку срок их доступности в базе данных ограничен (в настоящее время – 14 днями).  

6. В базе данных отображаются импортированные таблицы. Названия и структура таблиц аналогичны используемым в корзинах Data Locker.