Data Locker: configuración del servicio en la nube

En resumen: Configura tu servicio en la nube para recibir datos de Data Locker: GCS, AWS, BigQuery o Snowflake.

Data Locker te permite transmitir datos a tu solución de almacenamiento seleccionada y propia, ya sea un bucket o un almacén de datos. Configura tu servicio en la nube usando uno de los siguientes procedimientos.

Almacenamiento en la nube de bucket

Almacenamiento GCS

  • El procedimiento de esta sección debe ser realizado por el administrador de Google Cloud de tu equipo.
  • Puedes eliminar archivos de Data Locker 25 horas, o más, después de que se hayan generado. No los borres antes.

Información para el administrador de GCS

Data Locker es la solución de AppsFlyer para la transmisión de datos al almacenamiento.

Requisitos

  • Crea un bucket en GCS para el uso exclusivo de Data Locker. Exclusivo significa que ningún otro servicio escribe datos en el bucket. 
  • Nombre del bucket sugerido: af-datalocker.
  • Otorga permisos de Data Locker mediante el siguiente procedimiento.

Para otorgar permisos de Data Locker:

En este procedimiento, remplaza data-locker-example utilizando el nombre del bucket que has creado anteriormente para Data Locker. 

  1. Inicia sesión en tu consola de GCS.
  2. Ve a Almacenamiento > Navegador dealmacenamiento.

    mceclip0.png

  3. Selecciona el bucket que has creado anteriormente, por ejemplo, data-locker-example
  4. Ve a la pestaña Permisos
  5. Haz clic en Agregar.
    Se abre la ventana “Agregar miembros”.
  6. Completa de la siguiente forma:
    1. Nuevos miembros, pega el fragmento que sigue.
      af-data-delivery@af-raw-data.iam.gserviceaccount.com
    2. Selecciona un rol: Almacenamiento en la nube > Administrador de objetos de almacenamiento

      mceclip0.png

  7. Haz clic en Guardar

Almacenamiento AWS

  • El procedimiento de esta sección debe ser realizado por el Administrador de AWS.
  • Puedes eliminar archivos de Data Locker 25 horas, o más, después de que se hayan generado. No los elimines antes.

Información para el administrador de AWS

Data Locker es la solución de AppsFlyer para la transmisión de datos al almacenamiento.

Requisitos

  • Crea un bucket de AWS con el nombre af-datalocker-mybucket. El prefijo af-datalocker- es obligatorio. El sufijo es de texto libre.
  • Sugerimos af-datalocker-aaaa-mm-dd-hh-mm-texto-libre. Donde aaaa-mm-dd-hh-mm es la fecha y hora actuales, y agregas cualquier otro texto que desees como se muestra en la siguiente figura.

Interfaz de usuario en la consola AWS

MyBucket.jpg

Después de crear el bucket, otorga permisos a AppsFlyer usando el procedimiento que sigue. 

Para crear un bucket y otorgar permisos a AppsFlyer: 

  1. Inicia sesión en la consola de AWS.
  2. Ve al servicio S3.
  3. Para crear el bucket:
    1. Haz clic en Crear bucket.
    2. Completa el Nombre del bucket de la siguiente manera: Comienza con af-datalocker- y luego agrega cualquier otro texto como se ha descrito anteriormente.
    3. Especifica una de las regiones AWS admitidas.
    4. Haz clic en Crear bucket.
  4. Para otorgar permisos a AppsFlyer:
    1. Selecciona el bucket.  
    2. Ve a la pestaña Permisos
    3. En la sección Política del bucket, haz clic en Editar.
      Se abre la ventana de Política del bucket.
    4. Pega el siguiente fragmento de código en la ventana.
      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "AF_DataLocker_Direct",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
            "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Resource": [
              "arn:aws:s3:::af-datalocker-my-bucket",
              "arn:aws:s3:::af-datalocker-my-bucket/*"
            ]
          }
        ]
      }
      
  5. En el fragmento, reemplaza af-data-locker-my-bucket con el nombre del bucket que has creado.

  6. [Opcional] Agrega soporte para buckets cifrados de KMS. Para hacerlo, en la sección Política de claves, selecciona Cambiar a vista de política y pega el siguiente fragmento en el array de declaraciones.
    {
          "Sid": "Allow use of the key",
          "Effect": "Allow",
          "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
          },
          "Action": "kms:GenerateDataKey*",
          "Resource": "*"
      }
    
  7. Haz clic en Guardar cambios.
  8. Completa la Configuración el procedimiento de Data Locker.

Regiones AWS admitidas

Data Locker admite las siguientes regiones de AWS:

  • Asia Pacífico (Tokio): ap-northeast-1
  • Asia Pacífico (Seúl): ap-northeast-2
  • Asia Pacífico (Bombay): ap-south-1
  • Asia Pacífico (Singapur): ap-southeast-1
  • Asia Pacífico (Sídney): ap-southeast-2
  • Canadá (Centro): ca-central-1
  • UE (Frankfurt): eu-central-1
  • UE (Irlanda): eu-west-1
  • UE (Londres): eu-west-2
  • América del Sur (Sao Paulo): sa-east-1
  • US East (N. Virginia): us-east-1
  • Estados Unidos Este (Ohio): us-east-2
  • US West (N. California): us-west-1
  • US West (Oregón): us-west-2

[Beta] Almacenamiento en Azure

  • El procedimiento de esta sección debe ser realizado por tu administrador de Azure Cloud.
  • Puedes eliminar archivos de Data Locker 25 horas, o más, después de que se hayan generado. No los borres antes.

Información para el administrador de Azure

Data Locker es la solución de AppsFlyer para la transmisión de datos a tu cuenta de almacenamiento.

Para definir una cuenta de almacenamiento para Data Locker:

  1. En tu portal de Azure, ve a las cuentas de almacenamiento de Azure. y haz clic en predict_dashboard_plus_symbol.pngCrear para crear una cuenta de almacenamiento nueva y obtener los datos de Appsflyer.
  2. En la pestaña Básico -> Detalles del proyecto, selecciona de los desplegables:
    1. Suscripción. 
    2. Grupo de recursos.
      Opcional: Si no existe ningún grupo de recursos, haz clic en Crear nuevo para crear un grupo de recursos.
  3. En Detalles de instancia:
    1. Ingresa un nombre de cuenta de almacenamiento.
    2. Selecciona una región en el menú desplegable.
  4. Haz clic en Siguiente. Avanzado >
  5. En la pestaña Seguridad, selecciona Habilitar el espacio de nombres jerárquico.
  6. Haz clic en Revisar -> Crear.
  7. Una vez finalizada la implementación, vuelve a tus Cuentas de almacenamiento de Azure, y selecciona la cuenta de almacenamiento recién creada.
  8. Ve a Claves de acceso y copia tu Nombre de cuenta y una de tus claves
  9. Ir a Navegador de almacenamiento -> Contenedores Blob y haz clic en predict_dashboard_plus_symbol.pngAñadir contenedor.
    1. Ingresa un Nombre para el contenedor nuevo.
    2. Haz clic en Crear.
  10. Ponte en contacto con tu CSM para habilitar Azure en Data Locker.
  11. Una vez habilitado, en AppsFlyer, ve a Data Locker -> predict_dashboard_plus_symbol.pngNueva conexión.
  12. En la nueva conexión:
    1. Asigna un nombre a tu conexión.
    2. Selecciona Azure Blob.
    3. Ingresa tu nombre de contenedor de Azure en el campo Nombre de bucket (el que has creado en el paso 9).
    4. Ingresa el nombre de cuenta copiado del paso 8.
    5. Ingresa tu clave copiada del paso 8.
    6. Haz clic en Probar conexión.
    7. Guardar.

[Beta] Almacenamiento en la nube de Yandex

  • El procedimiento de esta sección debe ser realizado por el Administrador de Yandex Cloud.
  • Puedes eliminar archivos de Data Locker 25 horas, o más, después de que se hayan generado. No los borres antes.

Información para el administrador de Yandex

Data Locker es la solución de AppsFlyer para la transmisión de datos al almacenamiento.

Para crear un bucket y otorgar permisos de Data Locker:

  1. En tu Consola Yandex Cloud, ve a la pestaña Cuentas de servicio y haz clic en Crear la cuenta de servicio.
  2. Nombra la cuenta de servicio, por ejemplo, af-datalocker.
  3. Crea una clave de acceso estática para la cuenta de servicio. En la cuenta de servicio:
    1. Haz clic en Crear una nueva clave.
    2. Selecciona Crear clave de acceso estática.
    3. Guarda el ID de clave y la Clave secreta.
  4. Dale a tu nueva cuenta de servicio el permiso storage.editor.
    1. En la configuración de tu bucket, ve a Enlaces de acceso y haz clic en Asignar enlaces.
    2. Para tu cuenta de servicio nueva, agrega el rol de storage.editor y clic en Guardar.
  5. Ponte en contacto con tu CSM de AppsFlyer para habilitar Yandex en Data Locker.
  6. Una vez habilitado, usa el ID de clave y la clave secreta durante la configuración de Data Locker.

Almacenamiento en la nube de almacén de datos

BigQuery

El procedimiento de esta sección debe ser realizado por tu administrador de BigQuery.

Información para el administrador de BigQuery

Data Locker es la solución de AppsFlyer para la transmisión de datos al almacenamiento.

Requisitos

  • Crear un conjunto de datos de BigQuery

Para crear un conjunto de datos de BigQuery: 

  1. En BigQuery, crea un proyecto o usa un proyecto existente. 
  2. En el proyecto, haz clic en CREAR CONJUNTO DE DATOS. GCSCreateDataSEt_1_.png
  3. Proporciona al conjunto de datos un ID adecuado.

     Note

    Asegúrate de que el proyecto o conjunto de datos objetivo esté vinculado a una cuenta de facturación activa. Sin una cuenta de facturación, Data Locker no puede crear ni escribir tablas en el destino de BigQuery, y el proceso de configuración de la conexión puede fallar.

  4. Otorga a AppsFlyer acceso al conjunto de datos. Ver instrucciones de Big Query
  5. Completa la configuración restante según sea necesario.  

Snowflake

Conecta Data Locker a tu cuenta de Snowflake. Al hacerlo, los datos se envían a Snowflake y continúan estando disponibles en tu almacenamiento en la nube seleccionado.

Consideraciones para desarrolladores de BI

  • La tasa de actualización de datos es la misma que la de los datos proporcionados en un bucket. 
  • La estructura de tabla y columna de los datos es equivalente a la que se encuentra en los datos disponibles directamente desde un bucket de Data Locker. 
  • A medida que se agregan filas al recurso compartido de Snowflake, se rellena la columna _ingestion_time. Para garantizar que cada fila sea única y evitar la ingestión de la misma fila más de una vez:
    1. Guarda el max_ingestion_time por tabla ingerida.
    2. Cada vez que ejecutes tu proceso de ingestión, añade solo aquellas filas en las que _ingestion_time > max_ingestion_time

Completa los procedimientos siguientes para conectar Snowflake a Data Locker.  

Procedimientos de conector de Snowplake

Para obtener tu ID de cuenta y región de Snowflake:

  1. En Snowflake, inicia sesión en tu cuenta de Snowflake.
  2. En la barra de menú, selecciona tu nombre.
    Se muestra el ID de tu cuenta y la región.
    SnowflakeAccountId.png

Para conectar Data Locker a Snowflake:

  1. En AppsFlyer, ve a Reportes > Data Locker.
  2. Selecciona Snowflake.
  3. Introduce la región de Snowflake y el ID de cuenta de Snowflake usando la información que obtuviste previamente de Snowflake. 
  4. Haz clic en Guardar.

Para crear una base de datos a partir de un recurso compartido en Snowflake:

  1. En Snowflake, inicia sesión en tu cuenta de Snowflake.
  2. Cambia el rol a Accountadmin. Consulta Crear una base de datos a partir de un recurso compartido.
  3. Selecciona Recursos compartidos.
  4. Selecciona el recurso compartido de AppsFlyer. Por ejemplo, APPSFLYER_ACC_XXX_DATA_LOCKER. 
  5. Haz clic en Crear base de datos desde Secure Share y completa los detalles requeridos. ¡Importante! Debes cargar los datos de la base de datos compartida en tus tablas, porque los datos en la base de datos compartida solo están disponibles por un período limitado (actualmente 14 días).    
  6. En tu base de datos, se muestran las tablas importadas. Los nombres y estructuras de las tablas son equivalentes a los de los buckets de Data Locker.

     

Rasgos y limitaciones

Característica Observaciones
Conexión a la nube de AppsFlyer Los reportes no se pueden almacenar sin comprimir
Cambio de ubicación del conjunto de datos de BigQuery Si cambias la ubicación del conjunto de datos en BigQuery, necesitas volver a guardar tu conexión en AppsFlyer. Dado que no se requiere ningún cambio real en la configuración de conexión de AppsFlyer, el botón Guardar está deshabilitado. Para habilitar el botón, realiza un cambio temporal, guarda la conexión y, a continuación, revierte el cambio y vuelve a guardar la conexión.
Regiones admitidas de Snowflake Regiones compatibles
  • us-east-1
  • us-east-2
  • us-west-2
  • eu-west-1
  • eu-west-2
  • eu-west-3
  • eu-central-1
  • eu-north-1
  • ca-central-1
  • sa-east-1
  • ap-sur-1
  • ap-southeast-1
  • ap-southeast-2
  • ap-northeast-1
  • ap-northeast-2
  • ap-northeast-3
Regiones compatibles con Azure:
  • east-us-2
Regiones compatibles con GCP:
  • Soporte limitado. Contacta con el soporte técnico de AppsFlyer para verificar la disponibilidad de tu región.