Data Locker V2.0 high volume multi-app raw-data delivery

At a glance: AppsFlyer deposits the raw data of all your apps into an AWS bucket in near real-time. Data is stored in folders by report type, days, and hours. There is no limitation as to the volume of events that Data Locker supports. Use scripts or other software solutions to ingest the data. 

Tipos de reportes de eventos disponibles en Data Locker

DataLockerReports.jpg

Data Locker

Principales características

  • Aplicaciones: admite múltiples aplicaciones.
  • Simplicidad: los datos se depositan en un bucket de Amazon S3, el cual administra los requisitos de almacenamiento.
  • Confiabilidad: los datos se almacenan en AWS, lo que garantiza la persistencia de los datos.
  • Flexibilidad: elige qué datos deseas incluir en los reportes por campo y evento in-app.
  • Granularidad: los datos se segmentan en tipos de reportes, días y horas.
  • Accesibilidad: se pueden extraer datos cuando sea necesario.

Segmentación de datos

Los datos en Data Locker se segmentan en carpetas de la siguiente manera:

  • Tipos de reportes
  • Días
  • Horas

Esto significa que para cada tipo de reporte, en un día determinado, los datos se separan en carpetas separadas por hora de llegada y no por la hora del evento de datos. Por ejemplo, ../t=installs/dt=2019-01-17/ contiene 25 carpetas. Hay 24 carpetas para cada hora del día, de 0 a 23 y una carpeta adicional para los datos que llegan tarde.

Data freshness: Data is separated into arrival hour folders. That is the hour that the event was deposited to Data Locker. Data Locker folders are written about six hours after the actual event time for real-time events and for Daily reports at about 06:00 UTC. 

Implementación de Data Locker

Configuración de Data Locker

Requisito previo: debes ser el administrador de la cuenta para configurar Data Locker.

Para configurar Data Locker:

  1. En Appsflyer, accede a Integración > Data Locker.
  2. Selecciona una o más aplicaciones. 
  3. Haz clic en Aplicar
  4. (opcional) Fuentes de medios (predeterminada=All): Selecciona una o más Fuentes de medios para incluir en los reportes. 
  5. Haz clic en Aplicar
  6. Selecciona el tipo de reporte entre las siguientes opciones:
    • Acquisition: Clicks, Impressions, Installs, In-App Events, Sessions, Uninstalls, Attributed Ad Revenue, Organic Ad Revenue
    • Retargeting: Retargeting Clicks, Retargeting Impressions. Retargeting Conversions, Retargeting In-App Events, Retargeting Ad Revenue
    • Protect 360: instalaciones bloqueadas, eventos in-app bloqueados, clics bloqueados.
    • Atribución basada en las personas: conversiones web (disponible si la Atribución basada en las personas está habilitada). Los datos de la atribución basada en las personas son agregados. Este reporte se encuentra en la carpeta h=23. Ejemplo t=web_touch_points/dt=2019-07-19/h=23.

      Protect 360 es una solución premium de AppsFlyer. 
  7. (opcional) Eventos in-app (predeterminada=All) Selecciona los eventos in-app a incluir.
  8. Haz clic en Aplicar
  9. (opcional) Campos (predeterminada=All): selecciona los campos para incluir en los reportes. Nota: Ocasionalmente agregamos campos nuevos.
  10. (opcional) Destinatarios Lista de correo electrónico de las personas a notificar cuando los reportes estén listos. Para agregar más de un destinatario, escribe los correos electrónicos con una coma, por ejemplo, usuario1@ejemplo.com, usuario2@ejemplo.com.
  11. Haz clic en Crear bucket.

Credenciales del bucket

Una vez que se guarda la configuración, se crea un bucket de AWS exclusivo. Los detalles del bucket aparecen en la esquina superior derecha de la pantalla. Incluyen el Nombre del bucket, Carpeta de inicio y credenciales para acceder a los datos.

data-credentials.png

Solo se puede acceder al bucket utilizando las credenciales del cliente (por razones de seguridad). Además, se audita todo el acceso al bucket.

Disponibilidad de datos

  • Los datos se actualizan cada hora después de un retraso de seis horas.
  • Cada archivo incluye las aplicaciones seleccionadas 
  • Retención: los archivos y las carpetas están disponibles durante 30 días. Después de 30 días, los datos se eliminan.

Formato y estructura de las carpetas

  • La estructura de la carpeta es: af-ext-reports/<Home Folder>/data-locker-hourly/t=<event-type>/dt=<date YYYY-MM-dd>/h=<Hour h>
  • La Carpeta de inicio es la Carpeta de inicio que aparece en la ventana Credenciales (consulta las instrucciones de configuración en la sección anterior) 
  • Por ejemplo, para la fecha 2016-08-12 el reporte relevante aparece en: s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly/t=installs/dt=2016-08-12/
  • La carpeta dt=yyyy-mm-dd se divide en 25 carpetas por hora. Estas carpetas representan la hora de llegada del evento, no la hora del evento en sí. Las carpetas se denominan h=0, h=1, h=2, etc., hasta h=23, and h=late (tarde). Por ejemplo, la carpeta h=0 contiene los eventos que llegan entre las 00:00 y la 01:00, de la misma manera, la carpeta h=20 contiene los eventos que llegan entre las 20:00 y las 21:00.
  • En cada carpeta, los datos pueden dividirse en múltiples archivos para evitar archivos grandes. Dependiendo del tipo de datos exportados, las carpetas pueden contener hasta 1000 archivos. Este número puede cambiar sin previo aviso. Los archivos se denominan part-00000, part-00001, part-00002, y así sucesivamente.

  • En cada carpeta, el último archivo a escribir siempre es un archivo vacío llamado _SUCCESS. Este archivo es un indicador que señala que no se escribirán más datos en la carpeta. Como tal, no leas datos en una carpeta antes de verificar que el archivo _SUCCESS  existe. Nota: El indicador _SUCCESS también se escribe en los casos en que no hay datos para escribir en la carpeta. 

Carpeta Late

La carpeta Late contiene eventos del día anterior que llegaron después de las 00:00 UTC +0 (medianoche) medianoche y hasta las 02:00 UTC +0. También contiene el indicador _SUCCESS como se describe en la sección anterior. Los procesos automatizados deben buscar datos en la carpeta Late como se hace para todas las demás carpetas del día. 

 Ejemplo

AppsFlyer recibe un evento el 21 de enero a la 1:15 a. m. El evento tiene una marca de tiempo del 20 de enero a las 18:45. Debido a que este evento llegó tarde, se colocará en la carpeta late dentro de la carpeta /dt=2019-20-01/ h=late.

Formato y estructura de archivos

  • Los archivos de Data Locker se basan en Reportes de raw data V5 (ver: Reportes de raw data V5).
  • El archivo de datos real está en formato CSV pero no tiene extensión de archivo.
  • Los archivos de reportes se comprimen en formato .gz (para que el proceso de descarga sea eficiente).
  • Cada archivo tiene una fila de encabezado.
  • Los valores que tienen una coma están contenidos por comillas dobles `"`, por ejemplo `"iPhone6,1"`.

Recuperar datos de Data Locker

AppsFlyer crea un principio de AWS (ARN en términos de Amazon) y genera credenciales para ese principio. Luego se establece una política que permite que el principio explore y recupere archivos del bucket.

Puedes acceder al bucket utilizando las herramientas de línea de comandos de AWS y la mayoría de los clientes FTP. Para usar estas herramientas, recupera las credenciales, la clave de acceso de AWS y la clave secreta de AWS, desde la sección Credenciales.

Se puede acceder a los datos utilizando las siguientes herramientas, entre otras:

AWS CLI

Antes de comenzar:

  • Instala AWS CLI en tu computadora.
  • En AppsFlyer, accede a Data Locker, recupera la información incluida en el panel de credenciales, ya que es necesaria para realizar este procedimiento. 

Para usar AWS CLI:

  1. Abre la terminal. Para hacerlo en Windows, <Windows>+<R>, haz clic en Aceptar.
    Se abre la ventana de línea de comando.
  2. Ingresa aws configure
  3. Ingresa la clave de acceso de AWS tal como aparece en el panel de credenciales.
  4. Ingresa tu clave secreta de AWS tal como aparece en el panel de credenciales.
  5. Ingresa eu-west-1
  6. Presiona Entrar (Ninguno)

Usa los comandos de CLI que siguen según sea necesario.

En los siguientes comandos, se puede encontrar el valor de {home-folder}

Para enumerar carpetas en tu bucket

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

Enumeración de archivos y carpetas

Hay tres tipos de carpetas en tu bucket de Data Locker:

  • Tipo de reporte t=
  • Fecha dt=
  • Hora h=

Para enumerar todos los reportes de un tipo de reporte específico:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

Para enumerar todos los reportes de un tipo de reporte específico para un día específico:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Para enumerar todos los reportes de un tipo de reporte específico en un hora específica para un día específico:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Cyber Duck

Antes de comenzar:

  • Instala el cliente Cyber Duck.
  • En AppsFlyer, accede a Data Locker y recupera la información incluida en el panel de credenciales. Necesitarás esta información cuando configures Cyber Duck. 

Para configurar Cyber Duck:

  1. En Cyber Duck, haz clic en Acción.
  2. Selecciona Marcador nuevo. Se abre la ventana.
  3. En el primer campo, (marcado como [1] en la captura de pantalla a continuación), selecciona Amazon S3.

    DataDuckSmall2.png

  4. Completa los campos de la siguiente manera:
    • Apodo: texto libre
    • Servidor: s3.amazonaws.com
    • ID de clave de acceso: copia la clave de acceso de AWS tal como aparece en el panel de credenciales en AppsFlyer.
    • ID de clave secreta: copia la clave de acceso de AWS tal como aparece en el panel de credenciales en AppsFlyer.
    • Ruta: {Bucket Name}/{Home Folder} Por ejemplo: af-ext-reports/1234-abc-ffffffff
  5. Cierra la ventana, para hacerlo, usa la X en la esquina superior derecha de la ventana.
  6. Selecciona la conexión.
    Se muestran los directorios de datos.

Navegador Amazon S3

Antes de comenzar:

  • Instala el navegador Amazon S3.
  • En AppsFlyer, accede a Data Locker, recupera la información incluida en el panel de credenciales, ya que es necesaria para realizar este procedimiento. 

Para configurar el navegador Amazon S3:

  1. En el navegador S3, haz clic en Cuentas > Agregar Cuenta nueva.
    Se abre la ventana Agregar cuenta nueva.

    mceclip0.png

  2. Completa los campos de la siguiente manera:
    • Nombre de cuenta: texto libre. 
    • ID de clave de acceso: copia la clave de acceso de AWS tal como aparece en el panel de credenciales. 
    • Clave secreta de acceso: copia la clave secreta del bucket tal como aparece en el panel de credenciales.
    • Selecciona Cifrar claves de acceso con una contraseña e ingresa una contraseña. Anota esta contraseña.
    • Selecciona Usar transferencia segura.
  3.  Haz clic en Guardar cambios.
  4. Haz clic en Buckets > Agregar bucket externo.
    Se abre la ventana Agregar bucket externo.

    mceclip2.png

  5. Ingresa el Nombre del bucket.El nombre del bucket tiene el siguiente formato: {Bucket Name}/{Home Folder}. Los valores necesarios para el nombre del bucket y la carpeta de inicio aparecen en la ventana de credenciales. 
  6. Haz clic en Agregar bucket externo.
    El bucket se crea y se muestra en el panel izquierdo de la ventana.
    Ahora puedes acceder a los archivos de Data Locker. 

Tipos de reportes disponibles en Data Locker

  • La siguiente tabla enumera los reportes disponibles en Data Locker
  • Los reportes marcados con ✓ + son exclusivos de Data Locker y no están disponibles por otros medios en la plataforma.
Categoría Tipo de reporte (tema) Descripción Orgánico No orgánico
Adquisición Clics Clics  - ✓+
Retargeting clicks_retargeting Clics procedentes de campañas de retargeting  - ✓+
Adquisición Impresiones Impresiones - ✓+
Retargeting impressions_retargeting Impresiones de campañas de retargeting - ✓+
Adquisición Instalaciones Instalaciones 
Adquisición inapps Eventos in-app 
Adquisición attributed_ad_revenue Attributed ad revenue -
Adquisición organic_ad_revenue Organic ad revenue -
Retargeting retargeting_ad_revenue Retargeting ad revenue -
Retargeting conversions_retargeting Retargeting incluye re-engagements y reatribuciones -
Retargeting inapp_retargeting Eventos in-app de reatribuciones y re-engagements -
Adquisición Sesiones Sesiones de aplicaciones ✓+ ✓+
Adquisición Desinstalar Desinstalaciones no orgánicas  -
Adquisición organic_uninstalls Desinstalaciones orgánicas ✓+ -
Protect360 blocked_installs Instalaciones bloqueadas Protect360 -
Protect360 blocked_inapps Eventos in-app bloqueados Protect360 -
Protect360 blocked_clicks Clics bloqueados Protect360 -
Atribución basada en las personas. web_events Eventos web de atribución basada en las personas ✓+ ✓+
Atribución basada en las personas. web_touch_points Puntos de contacto web de atribución basada en las personas ✓+ ✓+
Atribución basada en las personas. web_to_app People-based attribution web to app ✓+ ✓+
Tipos de reportes de eventos disponibles en Data Locker

Usar reportes como fuentes de datos

Puedes usar los datos de los reportes y agregarlos a tus propias bases de datos. Para extraer los datos y agregarlos a tus bases de datos, debes conocer el formato del reporte. Los reportes de Data Locker se basan en reportes de raw data. Sin embargo, el formato del reporte final depende de los campos que elijas incluir.

Formato de reportes

Los campos disponibles en Data Locker se enumeran en el diccionario de campo de datos V5.0

 Consejo

Los reportes contienen datos que puedes utilizar para la optimización de la campaña y el retargeting.

Ejemplos

  • Reporte de clics: el reporte de clics contiene el Identificador de anunciante (IDFA) o el Google Advertising ID. Puedes usar estos ID para reorientar a los usuarios que se involucran con tus anuncios pero no instalan la aplicación.
  • Reporte de impresiones: al igual que el reporte de clics, el reporte de impresiones también contiene el IDFA o el ID de publicidad de Google. Puedes usar el reporte de impresiones para optimizar las campañas de acuerdo con las impresiones que no generan clics. También puedes reorientar a estos usuarios con diferentes anuncios y en diferentes campañas.
  • Reporte de retargeting y reatribución: estos reportes también contienen el Identificador de anunciante (IDFA) o el Google Advertising ID. Puedes usar el IDFA o el Google Advertising ID para resaltar aquellos usuarios que logras reorientar. Saber qué usuarios logras reorientar puede ayudarte a optimizar las campañas de retargeting.

Nota: Para beneficiarte del identificador de anunciante (IDFA) o el Google Advertising ID como se explicó anteriormente, asegúrate de que estén incluidos en todos tus enlaces de atribución.

Reportes por hora

Data Locker separa los datos en carpetas por hora. La carpeta por hora representa la hora de procesamiento y no la hora en que ocurrió el evento. Los datos se escriben en Data Locker dentro de las seis horas posteriores al procesamiento. 

 Ejemplo

AppsFlyer recibe datos por actividad entre las 14:00 y las 15:00 el 17 de enero de 2019. En algún momento después de las 15:00, AppsFlyer comienza a procesar los datos. Debido al procesamiento, los datos no se escriben en Data Locker de inmediato. Por lo tanto, los datos en la carpeta /t=installs/dt=2019-17-01/h=14 no están disponibles el 17 de enero de 2019 a las 15:00, sino seis horas más tarde.

Creación de carpetas por hora

En los casos en que no hay datos para una hora específica, Data Locker crea una carpeta para esa hora. Esto es para indicarte que no había datos en esa hora. La carpeta contendrá un archivo _SUCCESS que indica que AppsFlyer ha completado la escritura en esta carpeta. Al diseñar procesos automatizados, esto debe tenerse en cuenta, es decir, diseñar tus procesos de recuperación de datos para que puedan manejar carpetas por hora vacías.

Clics e impresiones de SRN frente a no SRN

  • No SRN  usan enlaces de atribución de AppsFlyer para clics e impresiones. Esto proporciona a AppsFlyer el conjunto completo de datos del engagement que luego se escribe en Data Locker. 
  • SRN (Redes de autorreporte) no usan enlaces de atribución de AppsFlyer. Como resultado, solo después de que se abre una aplicación, la SRN comparte información de clics e impresiones, que luego se escribe en Data Locker. Para ser claros, AppsFlyer no está al tanto de los clics e impresiones que no resultan en una aplicación abierta. Nota: Los reportes de datos agregados incluyen todos los clics e impresiones, incluso si no se abrió ninguna aplicación. 

Clics e impresiones de Amazon

Los clics e impresiones de Amazon no son compatibles. No aparecen en los reportes que están almacenados en Data Locker.

Zona horaria y moneda

La configuración de la zona horaria y moneda específicas de la aplicación no afecta los datos en Data Locker.

Zona horaria: los reportes de Data Locker usan la zona horaria UTC.

Moneda: el campo event_revenue_usd está en USD. 

Rasgos y limitaciones

Características
Característica Observaciones 
Redes de publicidad No apto para el uso por parte de redes de publicidad. 
Agencias No apto para el uso por parte de agencias.
Zona horaria específica de la aplicación No se admite
Divisa específica de la aplicación  No se admite
Limitaciones de tamaño No correponde
Usuarios orgánicos de aplicaciones Compatible
Usuarios no orgánicos de aplicaciones Compatible
Actualización de los datos Los archivos se actualizan cada hora con un retraso de seis horas desde la hora del evento.
Historial de datos No se admite. Los datos del evento se envían después de configurar Data Locker. Si necesitas datos históricos, utiliza la Pull API. 
Acceso de miembros del equipo Los miembros del equipo no pueden configurar Data Locker. 
Aplicación única/múltiples aplicaciones Admite múltiples aplicaciones. Data Locker está a nivel cuenta

Resolución de Problemas

  • Síntoma: no se pueden recuperar datos con AWS CLI
  • Mensaje de errorSe produjo un error (AccessDenied) al solicitar la operación ListObjectsV2 operation: Acceso denegado
  • Causa: las credenciales de AWS que se utilizan no son las credenciales correctas para el bucket de AppsFlyer. Esto puede ser causado por tener credenciales múltiples o inválidas en tu máquina. 
  • Solución:
    1. Utiliza un método diferente, como Cyber Duck para acceder al bucket, es decir, que no sea CLI. Haz esto para verificar que las credenciales que estás utilizando funcionen. Si puedes conectarte con Cyber Duck, esto indica un problema con la caché de credenciales. 
    2. Actualiza la caché de credenciales de AWS.
      Captura de pantalla de AWSmceclip0.png 
¿Fue útil este artículo?