Data Locker V2.0 high volume multi-app raw-data delivery

At a glance: AppsFlyer deposits the raw data of all your apps into an AWS bucket in near real-time. Data is stored in folders by report type, days, and hours. There is no limitation as to the volume of events that Data Locker supports. Use scripts or other software solutions to ingest the data. 

Tipos de relatório de eventos disponíveis no Data Locker

DataLockerReports.jpg

Data Locker

Principais características

  • Aplicativos: suporta vários aplicativos
  • Simplicidade: os dados são depositados em um repositório da Amazon S3 que gerencia os requisitos de armazenamento
  • Confiabilidade: os dados são armazenados na AWS, o que garante a persistência dos dados
  • Flexibilidade: escolha quais dados você deseja incluir nos relatórios de acordo com o campo e evento in-app
  • Granularidade: os dados são segmentados em tipos de relatório, dias e horas
  • Acessibilidade: extraia dados quando necessário

Segmentação de dados

Os dados no Data Locker são segmentados em pastas da seguinte maneira:

  • Tipos de relatório
  • Dias
  • Horas

Isso significa que, para cada tipo de relatório, em um determinado dia, os dados são separados em pastas separadas pela hora de chegada e não pela hora do evento de dados. Por exemplo,  ../t=installs/dt=2019-01-17/ contém 25 pastas. Existem 24 pastas para cada hora do dia, de 0 a 23, e uma pasta adicional para dados que chegam atrasados.

Data freshness: Data is separated into arrival hour folders. That is the hour that the event was deposited to Data Locker. Data Locker folders are written about six hours after the actual event time for real-time events and for Daily reports at about 06:00 UTC. 

Como implementar o Data Locker

Como configurar o Data Locker

Pré-requisito: Você precisa ser o administrador da conta para configurar o Data Locker.

Para configurar o Data Locker:

  1. Na Appsflyer, acesse  Integração > Data Locker. 
  2. Selecione um ou mais aplicativos. 
  3. Clique em Aplicar
  4. (opcional) Fontes de mídia (padrão=Tudo):  Selecione uma ou mais Fontes de Mídiapara incluir nos relatórios. 
  5. Clique em Aplicar
  6. Selecione o tipo de relatório: Selecionar de;
    • Acquisition: Clicks, Impressions, Installs, In-App Events, Sessions, Uninstalls, Attributed Ad Revenue, Organic Ad Revenue
    • Retargeting: Retargeting Clicks, Retargeting Impressions. Retargeting Conversions, Retargeting In-App Events, Retargeting Ad Revenue
    • Protect 360: Instalações bloqueadas, Eventos bloqueados no aplicativo, Cliques bloqueados
    • Atribuição baseada em pessoas:  Conversões na Web (disponível se a atribuição baseada em pessoas estiver ativada). Os dados da atribuição baseada em pessoas são agregados. Este relatório está localizado na pasta h=23. Exemplo t=pontos_touch_ web/dt=19/07/2019/h=23.

      Protect 360 é uma solução premium da AppsFlyer. 
  7. (opcional)Eventos in-app(padrão=Todos) Selecione os eventos in-app a serem incluídos.
  8. Clique em Aplicar
  9. (opcional) Campos(padrão = Todos): selecione os campos a serem incluídos nos relatórios. Observação: adicionamos campos de tempos em tempos.
  10. (opcional) DestinatáriosLista de e-mails das pessoas a serem notificadas quando os relatórios estiverem prontos. Para adicionar mais de um destinatário, classifique os e-mails usando uma vírgula, por exemplo, usuário1@exemplo.com, usuário2@exemplo.com.
  11. Clique em Criar Repositório.

Credenciais do Repositório

Depois que a configuração é salva, um repositório dedicado da AWS é criado. Os detalhes do repositório aparecem no canto superior direito da tela. Eles incluem o Nome do Repositório, Pasta Inicial e credenciais para acessar dados.

data-credentials.png

O repositório é acessível apenas usando credenciais do cliente (por motivos de segurança). Além disso, todo o acesso ao repositório é auditado.

Disponibilidade de dados

  • Os dados são atualizados a cada hora após um atraso de seis horas
  • Cada arquivo inclui os aplicativos selecionados 
  • Retenção: arquivos e pastas ficam disponíveis por 30 dias. Após 30 dias, os dados são excluídos

Estrutura e formato da pasta

  • A estrutura da pasta é: af-ext-reports/<Pasta pessoal>/data-locker-hourly/t=<tipo de evento>/dt=<datas AAAA-MM-dd>/h=<horas h >
  • A Pasta Inicial é a Pasta Inicial que aparece na janela Credenciais  (consulte as instruções de instalação na seção anterior) 
  • Por exemplo, para a data 12/08/2016 o relatório relevante aparece em: s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly/t=installs/dt=2016-08-12/
  • A pasta dt = aaaa-mm-dd é dividida em 25 pastas por hora. Essas pastas representam a hora de chegada do evento, não a hora do evento em si. As pastas são nomeadas h=0, h=1, h=2 e assim por diante, até h=23 e h=atrasado. Por exemplo, a pasta h=0 contém os eventos que chegam entre 00:00 e 01:00, da mesma forma, a pasta h=20 contém os eventos que chegam entre 20:00 e 21:00.
  • Em cada pasta, os dados podem ser divididos em vários arquivos para evitar arquivos grandes. Dependendo do tipo de dados exportados, as pastas podem conter até 1.000 arquivos. Este número pode mudar sem aviso prévio. Os arquivos são nomeados parte-00000, parte-00001, parte-00002 e assim por diante.

  • Em cada pasta, o último arquivo a ser gravado é sempre um arquivo vazio chamado _SUCCESS. Este arquivo é um sinalizador para indicar que nenhum dado adicional será gravado na pasta. Como tal, não leia dados em uma pasta antes de verificar se o arquivo _SUCCESS  existe. Observação: O sinalizador_SUCCESStambém é gravado nos casos em que não há dados a serem gravados na pasta. 

Pasta Atrasados

A pasta Atrasados contém eventos do dia anterior que chegaram após 0000 UTC +0 (meia-noite) meia-noite e até 02:00 UTC +0. Ela também contém o sinalizador _SUCCESS, conforme descrito na seção anterior. Os processos automatizados devem procurar dados na pasta Atrasados, como é feito para todas as outras pastas do dia. 

 Exemplo

Um evento é recebido pela AppsFlyer em 21 de janeiro às 01h15. O evento tem uma data e hora de 20 de janeiro às 18h45. Como esse evento chegou atrasado, ele será colocado na pasta Atrasados dentro da pasta /dt=2019-20-01/h=late.

Estrutura e formato do arquivo

  • Os arquivos do Data Locker são baseados no relatório de dados brutos V5 (veja o relatório de dados brutos V5).
  • O arquivo de dados real está no formato CSV, mas não possui extensão.
  • Os arquivos de relatório são compactados em formato .gz (para tornar o processo de download eficiente).
  • Cada arquivo possui uma linha de cabeçalho.
  • Valores que possuem uma vírgula estão contidos entre aspas `"`, por exemplo `"iPhone6,1"`.

Recuperando dados do Data Locker

A AppsFlyer cria um princípio da AWS (ARN em termos da Amazon) e gera credenciais para esse princípio. Uma política é então definida, permitindo que o princípio procure e recupere arquivos do repositório.

Você pode acessar o repositório usando as ferramentas de linha de comando da AWS e a maioria dos clientes de FTP. Para usar essas ferramentas, recupere as credenciais AWS Access Key e AWS Secret, na  seção Credenciais.

Os dados podem ser acessados usando as seguintes ferramentas, entre outras:

CLI da AWS

Antes de começar:

  • Instale a CLI da AWS no seu computador.
  • Na AppsFlyer, vá para o Data Locker e recupere as informações contidas no painel de credenciais, conforme necessário, para executar este procedimento. 

Para usar o AWS CLI:

  1. Abra o terminal. Para fazer isso no Windows, <Windows> + <R>, clique em OK.
    A janela da linha de comando é aberta.
  2. Digite configurar aws
  3. Digite a Chave de acesso da AWS como aparece no painel de credenciais.
  4. Digite sua chave secreta da AWS conforme aparece no painel de credenciais.
  5. Digite eu-west-1
  6. Pressione Enter (Nenhum)

Use os comandos da CLI a seguir, conforme necessário.

Nos seguintes comandos, o valor de {home-folder} pode ser encontrado

Para listar pastas no seu repositório

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

Para listar arquivos e pastas

Há três tipos de pastas no seu repositório do Data Locker:

  • Tipo de relatório t=
  • Data dt=
  • Hora h=

Para listar todos os relatórios de um tipo de relatório específico:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

Para listar todos os relatórios de um tipo de relatório específico para um dia específico:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Para listar todos os relatórios de um relatório específico, em uma hora específica de um dia específico:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=instalações/dt=2019-01-17/h=23

Cyber Duck

Antes de começar:

  • Instale o cliente Cyber Duck.
  • Na AppsFlyer, vá para o Data Locker, recupere as informações contidas no painel de credenciais. Você precisará dessas informações ao configurar o Cyber Duck. 

Para configurar o Cyber Duck:

  1. No Cyber Duck, clique em Ação.
  2. Selecione Novo Marcador. A janela será aberta.
  3. No primeiro campo, (marcado [1] na captura de tela a seguir), selecione Amazon S3.

    DataDuckSmall2.png

  4. Preencha os campos da seguinte maneira:
    • Apelido:texto livre
    • Servidor: s3.amazonaws.com
    • ID da chave de acesso: copie a chave de acesso da AWS conforme exibida no painel de credenciais na AppFlyer
    • Chave de acesso secreto: copie a Chave Secreta do Repositório conforme ela aparece no painel de credenciais na AppsFlyer.
    • Caminho: {Bucket Name}/{Home Folder} Por exemplo:af-ext-reports/1234-abc-ffffffff
  5. Feche a janela. Para fazer isso, use o X no canto superior direito da janela.
  6. Selecione a conexão.
    Os diretórios de dados são exibidos.

Navegador Amazon S3

Antes de começar:

  • Instale o navegador Amazon S3.
  • Na AppsFlyer, vá para o Data Locker e recupere as informações contidas no painel de credenciais, conforme necessário, para executar este procedimento. 

Para configurar o navegador Amazon S3:

  1. No navegador S3, clique em  Contas>Adicionar Nova conta.
    A janela Adicionar Nova Conta é aberta.

    mceclip0.png

  2. Preencha os campos da seguinte maneira:
    • Nome da Conta: texto livre. 
    • ID da chave de acesso: copie a chave de acesso da AWS conforme exibida no painel de credenciais. 
    • Chave de acesso secreto: copie a Chave Secreta do repositório conforme ela aparece no painel de credenciais.
    • Selecione Criptografar Chaves de Acesso com uma senha e insira uma senha. Anote esta senha.
    • Selecione Usar transferência segura. 
  3.  Clique emSalvar alterações.
  4. Clique em Repositórios>Adicionar RepositórioExterno.
    A janela Adicionar Repositório Externo é aberta.

    mceclip2.png

  5. Digite o nome do Repositório. O nome do Repositório tem o seguinte formato: {Bucket Name}/{Home Folder}. Os valores necessários para o nome do repositório e a pasta inicial aparecem na janela de credenciais. 
  6. Clique em Adicionar repositório externo.
    O repositório é criado e exibido no painel esquerdo da janela.
    Agora você pode acessar os arquivos do Data Locker. 

Tipos de relatório disponíveis no Data Locker

  • A tabela a seguir lista os relatórios disponíveis no Data Locker
  • Os relatórios marcados com ✓+  são exclusivos do Data Locker e não estão disponíveis por outros meios na plataforma.
Categoria Tipo de relatório (tópico) Descrição Orgânico Não orgânica
Aquisição Cliques Cliques  - ✓+
Redirecionamento clicks_retargeting Cliques provenientes de campanhas de retargeting  - ✓+
Aquisição Impressões Impressões - ✓+
Redirecionamento impressions_retargeting Impressões de campanhas de retargeting - ✓+
Aquisição instalações Instalações 
Aquisição inapps Eventos in-app 
Aquisição attributed_ad_revenue Attributed ad revenue -
Aquisição organic_ad_revenue Organic ad revenue -
Redirecionamento retargeting_ad_revenue Retargeting ad revenue -
Redirecionamento conversions_retargeting O retargeting inclui reengajamentos e reatribuições -
Redirecionamento inapp_retargeting Eventos in-app de reatribuições e reengajamentos -
Aquisição Sessões Sessões de aplicativos ✓+ ✓+
Aquisição Desinstalações Desinstalações não orgânicas  -
Aquisição organic_uninstalls Desinstalações orgânicas ✓+ -
Protect360 locked_installs Instalações bloqueadas do Protect360 -
Protect360 locked_inapps Eventos in-app bloqueados pelo Protect360 -
Protect360 locked_clicks Cliques bloqueados pelo Protect360 -
Atribuição baseada em pessoas web_events Eventos de atribuição da web baseados em pessoas ✓+ ✓+
Atribuição baseada em pessoas web_touch_points Pontos de contato de atribuição da web baseado em pessoas ✓+ ✓+
Atribuição baseada em pessoas web_to_app People-based attribution web to app ✓+ ✓+
Tipos de relatório de eventos disponíveis no Data Locker

Usando relatórios como fontes de dados

Você pode usar os dados dos relatórios e adicioná-los aos seus próprios bancos de dados. Para extrair os dados e adicioná-los aos seus bancos de dados, você precisa conhecer o formato do relatório. Os relatórios do Data Locker são baseados em relatórios de dados brutos. No entanto, o formato final do relatório depende dos campos que você escolher incluir.

Formato de relatório

Os campos disponíveis no Data Locker estão listados no dicionário de campos de dados V5.0

 Dica

Os relatórios contêm dados que você pode usar para otimização de campanhas e retargeting.

Exemplos

  • Relatório de cliques - o relatório de cliques contém o IDFA ou o ID de publicidade do Google. Você pode usar esses IDs para redirecionar os usuários que engajam com seus anúncios, mas não instalam o aplicativo.
  • Relatório de impressão - como o relatório de cliques, o relatório de impressão também contém o IDFA ou o ID de publicidade do Google. Você pode usar o relatório de impressões para otimizar campanhas de acordo com impressões que não levam a cliques. Você também pode redirecionar esses usuários com anúncios diferentes e em campanhas diferentes.
  • Relatório de retargeting e reatribuição - esses relatórios também contêm a IDFA ou o ID de publicidade do Google. Você pode usar a IDFA ou o ID de publicidade do Google para destacar os usuários que você consegue redirecionar. Saber quais usuários você gerencia para o retargeting pode ajudar a otimizar campanhas de retargeting.

Observação: Para se beneficiar da IDFA ou da ID de publicidade do Google, conforme explicado acima, verifique se elas estão incluídas em todos os seus links de atribuição.

Relatórios por hora

O Data Locker separa os dados em pastas por hora. A pasta por hora representa a hora de processamento e não a hora em que o evento ocorreu. Os dados são gravados no Data Locker dentro de seis horas após o processamento.

 Exemplo

A AppsFlyer recebe dados para atividade entre 14h e 15h em 17 de janeiro de 2019. Depois das 15h, a AppsFlyer começa a processar os dados. Devido ao processamento, os dados não são gravados no Data Locker imediatamente. Portanto, os dados na pasta  /t=instala/dt=2019-17-01/h=14 não estão disponíveis em 17 de janeiro de 2019 às 15h, mas sim seis horas depois.

Criando pastas por hora

Nos casos em que não há dados para uma hora específica, o Data Locker cria uma pasta para essa hora. Isso é para indicar que não havia dados naquela hora. A pasta conterá um arquivo `_SUCCESS` que indica que a AppsFlyer concluiu a gravação nesta pasta. Ao projetar processos automatizados, isso deve ser levado em consideração, ou seja, projetar seus processos de recuperação de dados para que eles possam lidar com pastas por hora vazias.

Cliques e impressões de SRNs vs. não SRNs

  • Não-SRNs usam links de atribuição da AppsFlyer para cliques e impressões. Isso fornece à AppsFlyer o conjunto completo de dados do trabalho, que é gravado no Data Locker.
  • SRNs (self-reporting networks ou redes de auto-relato) nãousam o links de atribuição da AppsFlyer. Como resultado, somente após a abertura do aplicativo o SRN compartilha as informações de clique e impressão, que são gravadas no Data Locker. Para deixar claro, a AppsFlyer não tem conhecimento de cliques e impressões que não resultam em um aplicativo aberto. Observação: os relatórios de dados agregados incluem todos os cliques e impressões, mesmo que nenhuma inicialização de aplicativo tenha ocorrido. 

Cliques e impressões da Amazon

Cliques e impressões da Amazon não são suportados. Eles não aparecem nos relatórios armazenados no Data Locker.

Fuso horário e moeda

As configurações de fuso horário e moeda específicas do aplicativo não afetam os dados no Data Locker.

Fuso horário: Os relatórios do Data Locker usam o fuso horário UTC

Moeda: o campo event_revenue_usd está em USD. 

Características e Limitações

Características
Característica Observações 
Ad Networks Não deve ser usado por ad networks. 
Agências Não deve ser usado por agências
Fuso horário específico do aplicativo Não suportado
Moeda específica do aplicativo  Não suportado
Limitações de tamanho Não aplicável
Usuários orgânicos de aplicativos Suportado
Usuários não orgânicos de aplicativos Suportado
Atualização de dados Os arquivos são atualizados a cada hora com um atraso de seis horas a partir da hora do evento.
Dados históricos Não suportado. Os dados do evento são enviados após a configuração do Data Locker. Se você precisar de histórico de dados, use a Pull API. 
Acesso de membro da equipe Os membros da equipe não podem configurar o Data Locker. 
Aplicativo único/aplicativo múltiplo Suporte para vários aplicativos. O Data Locker está no nível da conta

Solução de problemas

  • Sintoma: não é possível recuperar dados usando o AWS CLI
  • Mensagem de erroOcorreu um erro (AccessDenied) ao chamar a operação ListObjectsV2: Acesso Negado
  • Causa: as  credenciais da AWS que estão sendo usadas não as credenciais corretas para o repositório da AppsFlyer. Isso pode ser causado por ter credenciais múltiplas ou inválidas na sua máquina. 
  • Solução:
    1. Use um método diferente, como Cyber Duck para acessar o repositório, ou seja, não a CLI. Faça isso para verificar se as credenciais que você está usando estão funcionando. Se você conseguir se conectar usando o Cyber Duck, isso indica um problema no cache das credenciais. 
    2. Atualize o cache de credenciais da AWS.
      Screenshot da AWS`mceclip0.png 
Este artigo foi útil?