Data Locker: configuración del servicio en la nube

De un vistazo: Configura tu servicio en la nube para recibir datos de Data Locker: GCS, AWS, BigQuery o Snowflake.

Data Locker te permite transmitir datos a tu solución de almacenamiento seleccionada y propia, ya sea un bucket o un almacén de datos. Configura tu servicio en la nube usando uno de los siguientes procedimientos.

Almacenamiento en la nube de bucket

Almacenamiento GCS

  • El procedimiento de esta sección debe ser realizado por tu administrador de Google Cloud.
  • Puedes eliminar archivos de Data Locker 25 horas después de su escritura o más. No los borres antes.

Información para el administrador de GCS

Data Locker es la solución de AppsFlyer para la transmisión de datos al almacenamiento.

Requisitos

  • Crea un bucket en GCS para el uso exclusivo de Data Locker. Exclusivo significa que ningún otro servicio escribe datos en el bucket. 
  • Nombre del bucket sugerido: af-datalocker.
  • Otorga permisos de Data Locker mediante el siguiente procedimiento.

Para otorgar permisos de Data Locker:

En este procedimiento, sustituye data-locker-example por el nombre del bucket que creaste anteriormente para Data Locker. 

  1. Inicia sesión en tu consola de GCS.
  2. Ve a Storage > Storage browser.

    mceclip0.png

  3. Selecciona el bucket que creaste anteriormente, por ejemplo, data-locker-example
  4. Ve a la pestaña Permisos
  5. Haz clic en +Add (Agregar +).Se abre la ventana Add members (Agregar miembros).
  6. Completa lo siguiente:
    1. Nuevos miembros, pega el fragmento que sigue.
      af-data-delivery@af-raw-data.iam.gserviceaccount.com
    2. Selecciona un rol: Cloud storage > Storage Object Admin

      mceclip0.png

  7. Haz clic en Guardar

Almacenamiento de AWS

  • Tu administrador de AWS debe llevar a cabo el procedimiento en esta sección.
  • Puedes eliminar archivos de Data Locker 25 o más horas después de su escritura. No los elimines antes.

Información para el administrador de AWS

Data Locker es la solución de AppsFlyer para la transmisión de datos al almacenamiento.

Requisitos

  • Crea un bucket de AWS con el nombre af-datalocker-mybucket. El prefijo af-datalocker- es obligatorio. El sufijo es texto libre.
  • Sugerimos af-datalocker-aaaa-mm-dd-hh-mm-texto-libre. Donde aaaa-mm-dd-hh-mm son la fecha y hora actuales, y luego agregas cualquier otro texto que quieras, como se muestra en la siguiente figura.

Interfaz de usuario en la consola AWS

MyBucket.jpg

Una vez creado el bucket, concede los permisos a AppsFlyer mediante el siguiente procedimiento. 

Para crear un bucket y otorgar permisos a AppsFlyer: 

  1. Inicia sesión en la consola de AWS.
  2. Ve al servicio S3.
  3. Para crear el bucket:
    1. Haz clic en Crear bucket.
    2. Completa el Nombre del bucket de la siguiente manera: Comienza con af-datalocker- y luego agrega cualquier otro texto, tal como se describió anteriormente.
    3. Haz clic en Crear bucket.
  4. Para otorgar permisos a AppsFlyer:
    1. Selecciona el bucket. 
    2. Ve a la pestaña Permisos
    3. En la sección Política del bucket, haz clic en Editar. 
      Se abre la ventana de la Política del bucket.
    4. Pega el siguiente fragmento de código en la ventana.
      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "AF_DataLocker_Direct",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
            "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Resource": [
              "arn:aws:s3:::af-datalocker-my-bucket",
              "arn:aws:s3:::af-datalocker-my-bucket/*"
            ]
          }
        ]
      }
      
  5. En el fragmento de código, reemplaza af-data-locker-my-bucket con el nombre del bucket que creaste.

  6. [Opcional] Agrega soporte para buckets cifrados de KMS. Para ello, en la sección Política de claves, elige Cambiar a la vista de políticas y pega el siguiente fragmento en la matriz Statement.
    {
          "Sid": "Allow use of the key",
          "Effect": "Allow",
          "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
          },
          "Action": "kms:GenerateDataKey*",
          "Resource": "*"
      }
    
  7. Haz clic en Guardar cambios.
  8. Completa la configuración del Data Locker.

[Beta] Almacenamiento en Azure

  • El procedimiento de esta sección debe ser realizado por tu administrador de Azure Cloud.
  • Puedes eliminar archivos de Data Locker 25 horas después de su escritura o más. No los borres antes.

Información para el administrador de Azure

Data Locker es la solución de AppsFlyer para la transmisión de datos a tu cuenta de almacenamiento.

Para definir una cuenta de almacenamiento para Data Locker:

  1. Ve a las cuentas de almacenamiento de Azure.
  2. Crea una nueva cuenta de almacenamiento para obtener tus datos de Appsflyer.
  3. Opcional: crea un nuevo grupo de recursos (si no existe ningún grupo de recursos).
  4. Elige una suscripción, nombra tu nueva cuenta de almacenamiento y selecciona tu región relevante.
  5. Habilita el espacio de nombres jerárquico.
  6. Ponte en contacto con tu CSM para habilitar Azure en Data Locker (una vez habilitado, necesitarás el nombre de la cuenta de almacenamiento anterior y su clave para ingresar en el asistente de nueva conexión de Data Locker).

[Beta] Almacenamiento en la nube de Yandex

  • El procedimiento de esta sección debe ser realizado por tu administrador de Yandex Cloud.
  • Puedes eliminar archivos de Data Locker 25 horas después de su escritura o más. No los borres antes.

Información para el administrador de Yandex

Data Locker es la solución de AppsFlyer para la transmisión de datos al almacenamiento.

Para crear un bucket y otorgar permisos de Data Locker:

  1. En tu consola de Yandex Cloud, ve a la pestaña Service Accounts (Cuentas de servicio) y haz clic en Create service account (Crear cuenta de servicio).
  2. Nombra la cuenta de servicio, por ejemplo, af-datalocker.
  3. Crea una clave de acceso estática para la cuenta de servicio. En la cuenta de servicio:
    1. Haz clic en Create a new key (Crear una nueva clave).
    2. Selecciona Create static access key (Crear clave de acceso estática).
    3. Guarda el ID de clave y la clave secreta.
  4. Dale a tu nueva cuenta de servicio el permiso storage.editor.
    1. En la configuración de tu bucket, ve a Access Bindings (Consolidaciones de acceso) y haz clic en Access Bindings.
    2. Para tu nueva cuenta de servicio, agrega el rol storage.editor y haz clic en Save (Guardar).
  5. Ponte en contacto con tu CSM de AppsFlyer para habilitar Yandex en Data Locker.
  6. Una vez habilitado, usa el ID de clave y la clave secreta durante la configuración de Data Locker.

Almacenamiento en la nube de almacén de datos

BigQuery

El procedimiento de esta sección debe ser realizado por tu administrador de BigQuery.

Información para el administrador de BigQuery

Data Locker es la solución de AppsFlyer para la transmisión de datos al almacenamiento.

Requisitos

  • Crear un conjunto de datos de BigQuery

Para crear un conjunto de datos de BigQuery: 

  1. En BigQuery, crea un proyecto o usa un proyecto existente. 
  2. En el proyecto, haz clic en CREATE DATASET (CREAR CONJUNTO DE DATOS).

    GCSCreateDataSEt_1_.png

  3. Proporciona al conjunto de datos un ID adecuado.
  4. Otorga a AppsFlyer acceso al conjunto de datos. Ver instrucciones de Big Query
  5. Completa la configuración restante según sea necesario. 

Snowflake

Conecta Data Locker a tu cuenta de Snowflake. Al hacerlo, los datos se envían a Snowflake y continúan estando disponibles en tu almacenamiento en la nube seleccionada.

Consideraciones para desarrolladores de BI

  • La tasa de actualización de datos es la misma que la de los datos proporcionados en un bucket. 
  • La estructura de tabla y columna de los datos es equivalente a la que se encuentra en los datos disponibles directamente desde un bucket de Data Locker. 
  • A medida que se agregan filas al recurso compartido de Snowflake, se rellena la columna _ingestion_time. Para garantizar la unicidad de la fila y evitar la ingestión de la misma fila más de una vez:
    1. Guarda el max_ingestion_time por tabla ingerida.
    2. Cada vez que ejecutes tu proceso de ingestión, ingiere solo aquellas filas donde _ingestion_time > max_ingestion_time.

Completa los procedimientos siguientes para conectar Snowflake a Data Locker. 

Procedimientos de conector de Snowplake

Para obtener tu ID de cuenta y región de Snowflake:

  1. En Snowflake, inicia sesión en tu cuenta de Snowflake.
  2. En la barra de menú, selecciona tu nombre.
    Se muestra el ID de tu cuenta y la región.

    SnowflakeAccountId.png

Para conectar Data Locker a Snowflake:

  1. En AppsFlyer, ve a Reportes > Data Locker.
  2. Selecciona Snowflake.
  3. Introduce la región de Snowflake y el ID de cuenta de Snowflake usando la información que obtuviste previamente de Snowflake. 
  4. Haz clic en Guardar.

Para crear una base de datos a partir de un recurso compartido en Snowflake:

  1. En Snowflake, inicia sesión en tu cuenta de Snowflake.
  2. Cambia el rol a Accountadmin. Consulta Crear una base de datos a partir de un recurso compartido.
  3. Selecciona Recursos compartidos.
  4. Selecciona el recurso compartido de AppsFlyer. Por ejemplo, APPSFLYER_ACC_XXX_DATA_LOCKER. 
  5. Haz clic en Crear base de datos desde Secure Share y completa los detalles requeridos. Nota: Debes cargar los datos de la base de datos compartida en tus tablas, porque los datos en la base de datos compartida solo están disponibles por un período limitado (actualmente 14 días).  
  6. En tu base de datos, se muestran las tablas importadas. Los nombres y estructuras de las tablas son equivalentes a los de los buckets de Data Locker.