Usando o Data Locker—dados brutos depositados em um repositório S3

Visão geral: o Data Locker deposita dados brutos  em um repositório AWS S3 quase em tempo real (atraso de 6 horas). O volume de dados é ilimitado. A retenção de dados é de 30 dias. 

Data Locker

Principais recursos do Data Locker

  • Aplicativos: possui suporte para vários aplicativos, que podem ser adicionados automaticamente à medida que você acrescenta novos aplicativos.
  • Simplicidade: os dados são depositados em um repositório da Amazon S3 que gerencia os requisitos de armazenamento
  • Confiabilidade: os dados são armazenados na AWS, o que garante a persistência dos dados
  • Flexibilidade: escolha quais dados você deseja incluir nos relatórios de acordo com o campo e evento in-app
  • Granularidade: os dados são segmentados em tipos de relatório, dias e horas
  • Acessibilidade: extraia dados quando necessário
  • Atualização dos dados: atraso de 6 horas após o uso ou diariamente, dependendo do tipo de relatório.  O tempo de atraso é o mesmo (6 horas) independentemente do fuso horário específico do aplicativo. 
Categoria Tipo de relatório (tópico) Atualização de dados* Orgânico* Não orgânico*
Aquisição de usuário Cliques Atraso de 6 horas - ✓+
Redirecionamento clicks_retargeting Atraso de 6 horas - ✓+
Aquisição de usuário Impressões Atraso de 6 horas - ✓+
Redirecionamento impressions_retargeting Atraso de 6 horas - ✓+
Aquisição de usuário instalações Atraso de 6 horas
Aquisição de usuário inapps Atraso de 6 horas
Aquisição de usuário attributed_ad_revenue Daily* -
Aquisição de usuário organic_ad_revenue Daily* -
Redirecionamento retargeting_ad_revenue Daily* -
Redirecionamento conversions_retargeting Atraso de 6 horas -
Redirecionamento inapps_retargeting Atraso de 6 horas -
Redirecionamento retargeting_sessions Atraso de 6 horas - ✓+
Aquisição de usuário Sessões Atraso de 6 horas ✓+ ✓+
Aquisição de usuário Desinstalações Atraso de 6 horas -
Aquisição de usuário organic_uninstalls Diariamente ✓+ -
Protect360 locked_installs Atraso de 6 horas -
Protect360 locked_inapps Atraso de 6 horas -
Protect360 locked_clicks Atraso de 6 horas -
Protect360 [FF*] [AG*] post_attribution_installs Diariamente -
People-Based Attribution web_events Diariamente ✓+ ✓+
People-Based Attribution web_touch_points  Diariamente ✓+ ✓+
People-Based Attribution [FF*] web_to_app Diariamente ✓+ ✓+
People-Based Attribution [FF*] conversion-paths Diariamente ✓+ ✓+

* Essencial para abreviaturas

✓+ relatórios exclusivos do Data Locker

[FF] Report fields are fixed by Appsflyer. They are not related to the fields selected for inclusion in reports.

[AG] Agency transparency not supported.

Atraso de 6 horas: os dados são separados em pastas por hora de chegada. Essa é a hora em que o evento foi depositado no Data Locker. Algumas pastas do Data Locker são gravadas cerca de seis horas após o horário real do evento para eventos em tempo real. Existem 24 pastas para cada hora do dia, de 0 a 23, e uma pasta adicional para dados transmitidos com atraso. O tempo de atraso é o mesmo, independentemente do fuso horário específico do aplicativo.

Daily: Reports having a data freshness rate of daily are written to the h=23 folder. These reports are typically available at 06:00-12:00 UTC in the h=23 folder of the preceding day. For example, the report for data generated during Monday is in the Monday H=23 folder. The data is available after 06:00 UTC on Tuesday.

Daily*: Ad revenue data is available after 2 days, meaning that data generated during Monday, becomes available in the Monday H=23 folder after 06:00 UTC on Wednesday.

Tipos de relatório disponíveis no Data Locker

Segmentação de dados

DataLockerFolders_us-en.png

Os dados no repositório são segmentados em pastas da seguinte forma:

  • t=tópico
  • dt=data
  • h=hora

Isso significa que, para cada tipo de relatório, em um determinado dia, os dados são separados em pastas separadas pela hora de chegada e não pela hora do evento de dados. Por exemplo,  ../t=installs/dt=2019-01-17/ contém 25 pastas. 

Para entender a estrutura da pasta e como a segmentação por hora funciona, consulte estrutura e formato da pasta.

Como implementar o Data Locker

Como configurar o Data Locker

Pré-requisito: o administrador precisa configurar o Data Locker. Os membros da equipe podem visualizar as configurações. 

AppsFlyerAdmin_us-en.png Para configurar o Data Locker,

  1. Na Appsflyer, acesse  Integração > Data Locker. 
  2. Selecione um ou mais aplicativos ou todos os aplicativos.  Selecione todos para incluir automaticamente os aplicativos que você adicionar no futuro.
  3. Clique em Aplicar
  4. [opcional] Fontes de Mídia (padrão=Todos. Significa que as fontes de mídia adicionadas no futuro serão automaticamente incluídas.): Selecione uma ou mais Fontes de Mídia para incluir nos relatórios. 
  5. Clique em Aplicar
  6. Selecione um ou mais tipos de relatório.
  7. [opcional] Eventos in-app (padrão=Todos. Significa que os eventos in-app adicionados no futuro são adicionados automaticamente.): Selecione os eventos in-app a serem incluídos. Se você tiver mais de 100 tipos de eventos in-app,  não será possível procurá-los. Digite seus nomes exatamente para selecioná-los.  
  8. Clique em Aplicar
  9. [optional] Fields (default=All): Select the fields to include in the reports. Note: We add fields from time to time take this into account in your data import process..
  10. Clique em Criar Repositório.

Credenciais do Repositório

Depois que a configuração é salva, um repositório dedicado da AWS é criado. Os detalhes do repositório aparecem no canto superior direito da tela. Eles incluem o Nome do Repositório, Pasta Inicial e credenciais para acessar dados.

data-credentials.png

  • O repositório pode ser acessado com o uso das credenciais.
  • O acesso ao repositório é auditado. 
  • O proprietário do repositório é a AppsFlyer. Nós temos a permissão de visualizar/editar.
  • O proprietário do aplicativo tem permissão para visualizar. 

Disponibilidade de dados

  • Os dados são atualizados a cada hora após um atraso de seis horas
  • Cada arquivo inclui os aplicativos selecionados 
  • Retenção: arquivos e pastas ficam disponíveis por 30 dias. Após 30 dias, os dados são excluídos

Estrutura e formato da pasta

  • A estrutura da pasta é: af-ext-reports/<Pasta pessoal>/data-locker-hourly/t=<tipo de evento>/dt=<datas AAAA-MM-dd>/h=<horas h >
  • A Pasta Inicial é a Pasta Inicial que aparece na janela Credenciais  (consulte as instruções de instalação na seção anterior) 
  • Por exemplo, para a data 12/08/2016 o relatório relevante aparece em: s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly/t=installs/dt=2016-08-12/
  • A pasta dt = aaaa-mm-dd é dividida em 25 pastas por hora. Essas pastas representam a hora de chegada do evento, não a hora do evento em si. As pastas são nomeadas h=0, h=1, h=2 e assim por diante, até h=23 e h=atrasado. Por exemplo, a pasta h=0 contém os eventos que chegam entre 00:00 UTC e 01:00 UTC, da mesma forma, a pasta h=20 contém os eventos que chegam entre 20:00 UTC e 21:00 UTC.
  • Em cada pasta:

    • Os dados podem ser separados em vários arquivos para evitar arquivos grandes.  Os nomes dos arquivos são: part-00000, part-00001, part-00002 e assim por diante. Pode haver até 1000 arquivos. No futuro, podemos aumentar esse número máximo sem aviso prévio.

    • O último arquivo a ser gravado é um arquivo vazio chamado _SUCCESS. Esse arquivo é um sinalizador indicando que nenhum outro dado será gravado na pasta. Por isso, não leia dados em uma pasta antes de verificar se o arquivo _SUCCESS existe. Observação: O sinalizador_SUCCESStambém é gravado nos casos em que não há dados a serem registrados na pasta. 

Pasta Atrasados

A pasta Atrasados contém eventos do dia anterior que chegaram após 0000 UTC +0 (meia-noite) meia-noite e até 02:00 UTC +0. Ela também contém o sinalizador _SUCCESS, conforme descrito na seção anterior. Os processos automatizados devem procurar dados na pasta Atrasados, como é feito para todas as outras pastas do dia. 

 Exemplo

Um evento é recebido pela AppsFlyer em 21 de janeiro às 01h15. O evento tem uma data e hora de 20 de janeiro às 18h45. Como esse evento chegou atrasado, ele será colocado na pasta Atrasados dentro da pasta /dt=2019-20-01/h=late.

Estrutura e formato do arquivo

  • Os arquivos do Data Locker são baseados no relatório de dados brutos V5 (veja o relatório de dados brutos V5).
  • O arquivo de dados real está no formato CSV, mas não possui extensão.
  • Os arquivos de relatório são compactados em formato .gz (para tornar o processo de download eficiente).
  • Cada arquivo possui uma linha de cabeçalho.
  • Valores que possuem uma vírgula estão contidos entre aspas `"`, por exemplo `"iPhone6,1"`.

Recuperando dados do Data Locker

A AppsFlyer cria um princípio da AWS (ARN em termos da Amazon) e gera credenciais para esse princípio. Uma política é então definida, permitindo que o princípio procure e recupere arquivos do repositório.

Você pode acessar o repositório usando as ferramentas de linha de comando da AWS e a maioria dos clientes de FTP. Para usar essas ferramentas, recupere as credenciais AWS Access Key e AWS Secret, na  seção Credenciais.

Os dados podem ser acessados usando as seguintes ferramentas, entre outras:

CLI da AWS

Antes de começar:

  • Instale a CLI da AWS no seu computador.
  • Na AppsFlyer, vá para o Data Locker e recupere as informações contidas no painel de credenciais, conforme necessário, para executar este procedimento. 

Para usar o AWS CLI:

  1. Open the terminal. To do so in Windows, <Windows>+<R>, click OK.
    The command line window opens.
  2. Digite configurar aws
  3. Digite a Chave de acesso da AWS como aparece no painel de credenciais.
  4. Digite sua chave secreta da AWS conforme aparece no painel de credenciais.
  5. Digite eu-west-1
  6. Pressione Enter (Nenhum)

Use os comandos da CLI a seguir, conforme necessário.

Nos seguintes comandos, o valor de {home-folder} pode ser encontrado

Para listar pastas no seu repositório

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

Para listar arquivos e pastas

Há três tipos de pastas no seu repositório do Data Locker:

  • Tipo de relatório t=
  • Data dt=
  • Hora h=

Para listar todos os relatórios de um tipo de relatório específico:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

Para listar todos os relatórios de um tipo de relatório específico para um dia específico:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Para listar todos os relatórios de um relatório específico, em uma hora específica de um dia específico:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=instalações/dt=2019-01-17/h=23

Para fazer o download de arquivos de uma data específica:

aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

Cyber Duck

Antes de começar:

  • Instale o cliente Cyber Duck.
  • Na AppsFlyer, vá para o Data Locker, recupere as informações contidas no painel de credenciais. Você precisará dessas informações ao configurar o Cyber Duck. 

Para configurar o Cyber Duck:

  1. No Cyber Duck, clique em Ação.
  2. Selecione Novo Marcador. A janela será aberta.
  3. No primeiro campo, (marcado [1] na captura de tela a seguir), selecione Amazon S3.

    DataDuckSmall2.png

  4. Preencha os campos da seguinte maneira:
    • Apelido:texto livre
    • Servidor: s3.amazonaws.com
    • ID da chave de acesso: copie a chave de acesso da AWS conforme exibida no painel de credenciais na AppFlyer
    • Chave de acesso secreto: copie a Chave Secreta do Repositório conforme ela aparece no painel de credenciais na AppsFlyer.
    • Caminho: {Bucket Name}/{Home Folder} Por exemplo:af-ext-reports/1234-abc-ffffffff
  5. Feche a janela. Para fazer isso, use o X no canto superior direito da janela.
  6. Select the connection.
    The data directories are displayed.

Navegador Amazon S3

Antes de começar:

  • Instale o navegador Amazon S3.
  • Na AppsFlyer, vá para o Data Locker e recupere as informações contidas no painel de credenciais, conforme necessário, para executar este procedimento. 

Para configurar o navegador Amazon S3:

  1. In the S3 browser, Click Accounts > Add New Account.
    The Add New Account window opens.

    mceclip0.png

  2. Preencha os campos da seguinte maneira:
    • Nome da Conta: texto livre. 
    • ID da chave de acesso: copie a chave de acesso da AWS conforme exibida no painel de credenciais. 
    • Chave de acesso secreto: copie a Chave Secreta do repositório conforme ela aparece no painel de credenciais.
    • Selecione Criptografar Chaves de Acesso com uma senha e insira uma senha. Anote esta senha.
    • Selecione Usar transferência segura. 
  3.  Clique emSalvar alterações.
  4. Click Buckets > Add External Bucket.
    The Add External Bucket window opens.

    mceclip2.png

  5. Digite o nome do Repositório. O nome do Repositório tem o seguinte formato: {Bucket Name}/{Home Folder}. Os valores necessários para o nome do repositório e a pasta inicial aparecem na janela de credenciais. 
  6. Click Add External bucket.
    The bucket is created and displays in the left panel of the window.
    You can now access the Data Locker files. 

Formato do relatório e pastas

Usando relatórios como fontes de dados

Você pode usar os dados dos relatórios e adicioná-los aos seus próprios bancos de dados. Para extrair os dados e adicioná-los aos seus bancos de dados, você precisa conhecer o formato do relatório. Os relatórios do Data Locker são baseados em relatórios de dados brutos. No entanto, o formato final do relatório depende dos campos que você escolher incluir.

Formato de relatório

Os campos disponíveis no Data Locker estão listados no dicionário de campos de dados V5.0

 Dica

Os relatórios contêm dados que você pode usar para otimização de campanhas e retargeting.

Relatórios por hora

O Data Locker separa os dados em pastas por hora. A pasta por hora representa a hora de processamento e não a hora em que o evento ocorreu. Os dados são gravados no Data Locker dentro de seis horas após o processamento.

 Exemplo

A AppsFlyer recebe dados para atividade entre 14h e 15h em 17 de janeiro de 2019. Depois das 15h, a AppsFlyer começa a processar os dados. Devido ao processamento, os dados não são gravados no Data Locker imediatamente. Portanto, os dados na pasta  /t=instala/dt=2019-17-01/h=14 não estão disponíveis em 17 de janeiro de 2019 às 15h, mas sim seis horas depois.

Criando pastas por hora

Nos casos em que não há dados para uma hora específica, o Data Locker cria uma pasta para essa hora. Isso é para indicar que não havia dados naquela hora. A pasta conterá um arquivo `_SUCCESS` que indica que a AppsFlyer concluiu a gravação nesta pasta. Ao projetar processos automatizados, isso deve ser levado em consideração, ou seja, projetar seus processos de recuperação de dados para que eles possam lidar com pastas por hora vazias.

Fuso horário e moeda

As configurações de fuso horário e moeda específicas do aplicativo não afetam os dados no Data Locker.

Fuso horário: Os relatórios do Data Locker usam o fuso horário UTC

Moeda: o campo event_revenue_usd está em USD. 

Características e Limitações

Características
Característica Observações 
Ad Networks Não deve ser usado por ad networks. 
Agências Não deve ser usado por agências
Fuso horário específico do aplicativo Não aplicável. As pastas do Data Locker são divididas em horas usando UTC. Os eventos reais contêm horários em UTC. Você pode converter os horários para qualquer outro fuso horário conforme necessário. Independentemente do fuso horário do aplicativo, o atraso da ocorrência do evento - até que ele seja registrado no Data Locker - permanece o mesmo, ou seja, 6 horas. 
Moeda específica do aplicativo  Não suportado
Limitações de tamanho Não aplicável
Atualização de dados Os arquivos são atualizados a cada hora com um atraso de seis horas a partir da hora do evento.
Dados históricos Não suportado. Os dados do evento são enviados após a configuração do Data Locker. Se você precisar de histórico de dados, use a Pull API. 
Acesso de membro da equipe Os membros da equipe não podem configurar o Data Locker. 
Aplicativo único/aplicativo múltiplo Suporte para vários aplicativos. O Data Locker está no nível da conta

Solução de problemas

  • Sintoma: não é possível recuperar dados usando o AWS CLI
  • Mensagem de erroOcorreu um erro (AccessDenied) ao chamar a operação ListObjectsV2: Acesso Negado
  • Causa: as  credenciais da AWS que estão sendo usadas não as credenciais corretas para o repositório da AppsFlyer. Isso pode ser causado por ter credenciais múltiplas ou inválidas na sua máquina. 
  • Solução:
    1. Use um método diferente, como Cyber Duck para acessar o repositório, ou seja, não a CLI. Faça isso para verificar se as credenciais que você está usando estão funcionando. Se você conseguir se conectar usando o Cyber Duck, isso indica um problema no cache das credenciais. 
    2. Refresh the AWS credentials cache.
      Screenshot from AWS`mceclip0.png 
Este artigo foi útil?