Data Locker: настройка хранилища

• Процедуру, описанную в этом разделе, должен выполнить ваш администратор Google Cloud.
• Вы можете удалить файлы из Data Locker через 25 и более часов после их записи. Не удаляйте файлы до истечения этого времени.

Информация для администратора GCS

Data Locker — это решение AppsFlyer для потоковой передачи данных в хранилище.

Требования

• Создайте корзину в GCS исключительно для хранения данных Data Locker. Т. е. никакие другие сервисы не должны записывать данные в эту корзину.
• Задайте название корзины, например, af-datalocker (рекомендуется).
• Предоставьте Data Locker необходимые разрешения, используя следующую процедуру.

Чтобы предоставить разрешения Data Locker:

В этой процедуре замените data-locker-example на имя корзины, которую вы ранее создали для Data Locker. 

1. Войдите в консоль GCS.
2. Перейдите в хранилище Storage > Storage browser.
   

   

3. Выберите корзину, которую вы создали ранее, например data-locker-example.
4. Перейдите на вкладку Permissions (Разрешения). 
5. Нажмите + Add (Добавить).
   Откроется окно Add members (Добавить пользователей).
6. Заполните поля следующим образом:
   1. New members, вставьте следующий фрагмент.

      af-data-delivery@af-raw-data.iam.gserviceaccount.com

   2. Выберите роль: Cloud storage > Storage Object Admin (Администратор объектов хранилища). 
      

      

7. Нажмите кнопку Сохранить. 

• Процедуру, описанную в этом разделе, должен выполнить ваш администратор AWS.
• Вы можете удалить файлы из Data Locker через 25 и более часов после их записи. Не удаляйте файлы до истечения этого времени. 

Информация для администратора AWS

Data Locker — это решение AppsFlyer для потоковой передачи данных в хранилище.

Требования

• Создайте корзину с именем af-datalocker-моякорзина. Префикс "af-datalocker-" обязателен. Вместо заполнителя "моякорзина" можно указать любое текстовое значение.
• Рекомендуем использовать формат "af-datalocker-гггг-мм-дд-чч-мм-произвольный-текст". Где "гггг-мм-дд-чч-мм" — это текущие дата и время, а "произвольный-текст" — нужное вам название, как показано на следующем рисунке.
  

Пользовательский интерфейс в консоли AWS

После создания корзины предоставьте AppsFlyer необходимые разрешения, используя следующую процедуру. 

Чтобы создать корзину и предоставить разрешения AppsFlyer: 

1. Войдите в консоль AWS.
2. Откройте сервис S3.
3. Чтобы создать корзину:
   1. Нажмите Create bucket (Создать корзину).
   2. Заполните поле Bucket name (Название корзины) следующим образом: начните с префикса af-datalocker-, затем добавьте оставшуюся часть, как описано выше.
   3. Нажмите Создать корзину.
4. Чтобы предоставить разрешения AppsFlyer:
   1. Выберите корзину. 
   2. Перейдите на вкладку Permissions (Разрешения). 
   3. В разделе Bucket policy (Политика корзины) нажмите Edit (Редактировать). 
      Откроется окно политики корзины.
   4. Вставьте в это окно следующий фрагмент кода.

      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "AF_DataLocker_Direct",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
            "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Resource": [
              "arn:aws:s3:::af-datalocker-my-bucket",
              "arn:aws:s3:::af-datalocker-my-bucket/*"
            ]
          }
        ]
      }
      

5. В этом коде замените af-data-locker-my-bucket на название созданной вами корзины.

6. Выберите Сохранить изменения.

7. Выполните процедуру настройки Data Locker.

В этом разделе представлена пошаговая инструкция по импорту данных из Data Locker в BigQuery. 

Материал по теме: Начало работы с Google Cloud Console

Чтобы загрузить отчет об установках из корзины GCS Data Locker в BigQuery, выполните следующие действия.

Необходимые условия 

• Настроить Data Locker и выбрать в качестве хранилища GCS. 
• Иметь разрешения в Google Cloud, необходимые для настройки набора данных. 

Шаг 1. Создайте набор данных BigQuery

1. Из консоли Google Cloud Platform перейдите в BigQuery.
2. Создайте новый проект или используйте существующий.
3. В проекте нажмите CREATE DATASET (Создать набор данных).

   

4. Присвойте набору данных подходящий идентификатор.
5. Задайте значения других необходимых параметров. 

Шаг 2. Подключите таблицу BigQuery к Data Locker

1. В наборе данных нажмите CREATE TABLE (Создать таблицу).
   

   

2. Задайте источник следующим образом:
   1. Create table from (Создать таблицу из): Google Cloud Storage
   2. Select file from GCS bucket (Выбрать файл из корзины GCS): выберите отчет из вашей корзины. Например, t=installs. 
   3. Используйте символ подстановки *.gz, чтобы получать данные из всех подпапок в папке t=installs.
   4. В поле File format (Формат файла) задайте значение CSV.
   5. Выберите существующий проект или введите имя нового.
   6. В поле Table type (Тип таблицы) задайте значение Native table (Нативная таблица).

Шаг 3. Все готово для запроса данных

Данные загружаются в BigQuery автоматически.

Вы можете подключить Google Data Studio к своим данным Data Locker. Для этого подключите Data Locker к BigQuery, как описано в предыдущем разделе. 

Необходимые условия

• Подключение Data Locker к BigQuery. 

Чтобы настроить отображение данных из Data Locker в Google Data Studio:

1. Создайте отчет в Google Data Studio.
2. Выберите BigQuery в качестве источника данных.
   

   

3. Выберите проект и таблицы в отчете Google Data Studio и приступайте к анализу данных.