Data Locker: configuración de almacenamiento

De un vistazo: Transmite datos de Data Locker a tu almacenamiento AWS o GCS. Integra GCS con BigQuery y Google Data Studio. [Beta] Conéctate a Snowflake.

Transmite Data Locker a tu almacenamiento

Lectura relacionada: Data Locker

Data Locker te permite transmitir datos a tu solución de almacenamiento seleccionada y de tu propiedad. Configura tu almacenamiento mediante uno de los siguientes procedimientos. 

Almacenamiento GCS

  • El procedimiento de esta sección debe ser realizado por tu administrador de Google Cloud.
  • Puedes eliminar archivos de Data Locker 25 horas después de su escritura o más. No los borres antes.

Información para el administrador de GCS

Data Locker es la solución de AppsFlyer para la transmisión de datos al almacenamiento.

Requisitos

  • Crea un bucket en GCS para el uso exclusivo de Data Locker. Exclusivo significa que ningún otro servicio escribe datos en el bucket. 
  • Nombre del bucket sugerido: af-datalocker.
  • Otorga permisos de Data Locker mediante el siguiente procedimiento.

Para otorgar permisos de Data Locker:

En este procedimiento, sustituye data-locker-example por el nombre del bucket que creaste anteriormente para Data Locker. 

  1. Inicia sesión en tu consola de GCS.
  2. Ve a Storage > Storage browser.

    mceclip0.png

  3. Selecciona el bucket que creaste anteriormente, por ejemplo, data-locker-example
  4. Ve a la pestaña Permisos
  5. Haz clic en +Add (Agregar +).Se abre la ventana Add members (Agregar miembros).
  6. Completa lo siguiente:
    1. Nuevos miembros, pega el fragmento que sigue.
      af-data-delivery@af-raw-data.iam.gserviceaccount.com
    2. Selecciona un rol: Cloud storage > Storage Object Admin

      mceclip0.png

  7. Haz clic en Guardar

Almacenamiento de AWS

  • Tu administrador de AWS debe llevar a cabo el procedimiento en esta sección.
  • Puedes eliminar archivos de Data Locker 25 horas después de su escritura o más. No los elimines antes. 

Información para el administrador de AWS

Data Locker es la solución de AppsFlyer para la transmisión de datos al almacenamiento.

Requisitos

  • Crear un bucket de AWS con el nombre af-datalocker-mybucket. El prefijo af-datalocker- es obligatorio. El sufijo es texto libre.
  • Sugerimos af-datalocker-aaaa-mm-dd-hh-mm-texto-libre. Donde aaaa-mm-dd-hh-mm son la fecha y hora actuales, y luego agregas cualquier otro texto que quieras, como se muestra en la siguiente figura.

Interfaz de usuario en la consola AWS

MyBucket.jpg

Una vez creado el bucket, concede los permisos a AppsFlyer mediante el siguiente procedimiento. 

Para crear un bucket y otorgar permisos a AppsFlyer: 

  1. Inicia sesión en la consola de AWS.
  2. Ve al servicio S3.
  3. Para crear el bucket:
    1. Haz clic en Crear bucket.
    2. Completa el Nombre del bucket de la siguiente manera: Comienza con af-datalocker- y luego agrega cualquier otro texto, tal como se describió anteriormente.
    3. Haz clic en Crear bucket.
  4. Para otorgar permisos a AppsFlyer:
    1. Selecciona el bucket. 
    2. Ve a la pestaña Permisos
    3. En la sección Política del bucket, haz clic en Editar. 
      Se abre la ventana de la Política del bucket.
    4. Pega el siguiente fragmento de código en la ventana.
      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "AF_DataLocker_Direct",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
            "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Resource": [
              "arn:aws:s3:::af-datalocker-my-bucket",
              "arn:aws:s3:::af-datalocker-my-bucket/*"
            ]
          }
        ]
      }
      
  5. En el fragmento de código, reemplaza af-data-locker-my-bucket con el nombre del bucket que creaste.

  6. Haz clic en Guardar cambios.

  7. Completa la configuración del Data Locker.

Guía básica para conectar BigQuery y Google Data Studio a Data Locker

Las siguientes secciones son una guía básica para conectar tu GCS Data Locker a BigQuery y Google Data Studio. Su objetivo es permitirte ver que la conexión es rápida, directa e inmediata. AppsFlyer no ofrece servicios de soporte en relación con BigQuery y Google Data Studio. 

Conectar el bucket de GCS Data Locker a BigQuery

Los pasos de esta sección son una guía sobre cómo importar datos de tu Data Locker a BigQuery. 

Lectura relacionada: Inicio rápido con Google Cloud Console

Para cargar el reporte de instalaciones desde tu bucket de GCS Data Locker en BigQuery, completa los procedimientos que se indican a continuación.


Requisitos previos 

  • Configura Data Locker con GCS como tu destino de almacenamiento. 
  • Consigue los permisos necesarios en Google Cloud para configurar tu conjunto de datos. 


Paso 1: Crear un conjunto de datos en BigQuery:

  1. En tu consola de Google Cloud Platform, ve a BigQuery.
  2. Crea un proyecto o usa un proyecto existente. 
  3. En el proyecto, haz clic en CREATE DATASET (CREAR CONJUNTO DE DATOS).

    GCSCreateDataSEt_1_.png

  4. Proporciona al conjunto de datos un ID adecuado.
  5. Completa la configuración restante según sea necesario. 


Paso 2: Conectar una tabla de BigQuery a Data Locker:

  1. En el conjunto de datos, haz clic en CREATE TABLE (CREAR TABLA).

    GCScreateTable.png

  2. Establece la fuente de la siguiente manera:
    1. Create table from (Crear tabla desde): Google Cloud Storage
    2. Select file from GCS bucket (Seleccionar archivo del bucket de GCS): busca tu bucket y selecciona un reporte. Por ejemplo, t=installs. 
    3. Puedes configurar el comodín *.gz para obtener datos de todas las subcarpetas en la carpeta t=installs. 
    4. Configura File format (Formato de archivo) en CSV.
    5. Selecciona un proyecto existente o introduce un nuevo nombre de proyecto
    6. Establece Table type (Tipo de tabla) en Native table (Tabla nativa)

 

Paso 3: Ya estás listo para consultar los datos 

Los datos se cargan automáticamente en BigQuery.

Mostrar datos de Data Locker en Google Data Studio

Puedes conectar Google Data Studio a tus datos de Data Locker. Para hacerlo, debes conectar Data Locker a BigQuery como se describe en la sección anterior. 

Requisitos previos

  • Conecta Data Locker a BigQuery. 

Para crear datos de Data Locker de visualización en Google Data Studio:

  1. Crea un reporte en Google Data Studio.
  2. Selecciona BigQuery como la fuente de datos.

    DataStudio.png

  3. Selecciona un proyecto y tablas para tu reporte de Google Data Studio y comienza a analizar los datos.

Conectores

Snowflake

La opción Snowflake está disponible actualmente como versión beta. 

Conecta Data Locker a tu cuenta de Snowflake. Al hacerlo, los datos se envían a Snowflake y continúan estando disponibles en tu almacenamiento en la nube seleccionado. Para participar en el conector beta de Snowflake, contacta con tu CSM. 

Consideraciones para desarrolladores de BI

  • La tasa de actualización de datos es la misma que la de los datos proporcionados en un bucket. 
  • La estructura de tabla y columna de los datos es equivalente a la que se encuentra en los datos disponibles directamente desde un bucket de Data Locker. 
  • A medida que se agregan filas al recurso compartido de Snowflake, se rellena la columna _ingestion_time. Para garantizar la unicidad de la fila y evitar la ingestión de la misma fila más de una vez:
    1. Guarda el max_ingestion_time por tabla ingerida.
    2. Cada vez que ejecutes tu proceso de ingestión, ingiere solo aquellas filas donde _ingestion_time > max_ingestion_time.

Completa los procedimientos siguientes para conectar Snowflake a Data Locker. 

Procedimientos de conector de Snowplake

Para obtener tu ID de cuenta y región de Snowflake:

  1. En Snowflake, inicia sesión en tu cuenta de Snowflake.
  2. En la barra de menú, selecciona tu nombre.
    Se muestra el ID de tu cuenta y la región.

    SnowflakeAccountId.png

  3. Envía tu ID de cuenta y región de Snowflake a tu CSM de AppsFlyer y pídeles que habiliten Snowflake en tu Data Locker. 

Para conectar Data Locker a Snowflake:

  1. En Appsflyer, accede a Integración > Data Locker .
  2. Selecciona Snowflake.
  3. Completa el ID de cuenta de Snowflake y la región de Snowflake con la información que obtuviste anteriormente de Snowflake. 
  4. Haz clic en Guardar.

Para crear una base de datos a partir de un recurso compartido en Snowflake:

  1. En Snowflake, inicia sesión en tu cuenta de Snowflake.
  2. Cambia el rol a Accountadmin. Consulta Crear una base de datos a partir de un recurso compartido.
  3. Selecciona Recursos compartidos.
  4. Selecciona el recurso compartido de AppsFlyer. Por ejemplo, APPSFLYER_ACC_XXX_DATA_LOCKER. 
  5. Haz clic en Crear base de datos desde Secure Share y completa los detalles requeridos. Nota: Debes cargar los datos de la base de datos compartida en tus tablas, porque los datos en la base de datos compartida solo están disponibles por un período limitado (actualmente 14 días).  
  6. En tu base de datos, se muestran las tablas importadas. Los nombres y estructuras de las tablas son equivalentes a los de los buckets de Data Locker.
¿Fue útil este artículo?