Data Locker para profissionais de marketing

Relatórios disponíveis via Data Locker

A estrutura dos dados no armazenamento depende de se os dados são enviados para armazenamento em nuvem ou para um data warehouse. A estrutura de pastas descrita aqui se aplica ao armazenamento (buckets). No caso de armazenamento em data warehouse, considere que a referência a pastas se aplica a exibições. 

Os dados são registrados na opção de armazenamento selecionada por você. No caso de cloud storage, o armazenamento é de propriedade da AppsFlyer na AWS ou de sua propriedade na AWS, GCS ou Yandex. Você pode mudar as opções de armazenamento a qualquer momento ou enviar alguns ou todos os seus dados para múltiplas opções de armazenamento.  

Os dados de bucket cloud storage são organizados em uma estrutura de pastas hierárquica, de acordo com o tipo de relatório, data e hora. A figura a seguir contém um exemplo dessa estrutura:

Os dados de um determinado relatório estão contidos nas pastas de hora (h) associadas a esse relatório:

• O número de pastas de hora depende da atualização dos dados do relatório (por hora ou diária).
• Os dados são fornecidos em arquivos compactados Snappy ou GZIP, ou arquivos não compactados, com formato Parquet ou CSV.
• Os arquivos de dados consistem em colunas (campos). 
• A estrutura do esquema (campo) dos relatórios de jornada do usuário é idêntica entre si e depende dos campos selecionados por você. Cada um dos outros relatórios tem seus próprios campos explícitos, também conhecidos como relatórios sem esquema. Consulte os relatórios de marketing do Data Locker para ver relatórios disponíveis e links para as especificações do relatório.  

Para armazenamento em bucket na nuvem, os dados são fornecidos em arquivos de dados unificados contendo os dados de todos os aplicativos selecionados ou segregados em pastas por aplicativo. A segregação está dentro da pasta h, conforme descrito na tabela a seguir.

Os arquivos de dados dependem do tipo de segregação.

• Os dados são registrados em um proprietário de armazenamento de sua escolha da seguinte forma:
  • Armazenamento da AppsFlyer
  • Armazenamento do cliente — AWS, GCS, Azure, Yandex, BigQuery e Snowflake
• Você pode alterar a seleção de armazenamento a qualquer momento.
• Se você alterar o armazenamento, acontecerá o seguinte:
  • Começamos a registrar no armazenamento recém-selecionado dentro de uma hora.
  • Continuamos registrando no armazenamento existente durante um período de transição de 7 dias. O tempo de expiração do período de transição é exibido na interface do usuário. Use o período de transição para atualizar seus processos de carregamento de dados. Você pode reiniciar o período de transição ou reverter para o bucket da AppsFlyer, se necessário.  
  • Mudança de armazenamento: você pode migrar de uma opção de armazenamento para outra usando a opção de multi-armazenamento e enviando dados para múltiplos destinos simultaneamente. Uma vez concluídos a migração e os testes, exclua a opção de armazenamento de que você não precisa mais.  

Aviso aos agentes de segurança no caso de armazenamento controlado pelo cliente

Considere:

• O bucket ou destino é de uso exclusivo da AppsFlyer. Não deve haver outra entidade envolvida em um determinando destino.
• Você pode excluir dados no destino 25 horas após gravarmos os dados.
• Os dados que gravamos no destino são uma cópia dos dados que já estão em nossos servidores. Os dados continuam em nossos servidores de acordo com nossa política de retenção.  
• Por razões técnicas, às vezes deletamos e reescrevemos os dados. Por isso, precisamos de permissões de exclusão e listagem. Nenhuma permissão é um risco de segurança para você. No caso da lista, somos a única entidade escrevendo no bucket. No caso de exclusão, podemos regenerar os dados.
• Para informações adicionais, você pode entrar em contato com nossa equipe de segurança através do e-mail hello@appsflyer.com ou do seu CSM.    

No Data Locker você pode enviar alguns ou todos os seus dados para dois destinos (definidos nas configurações de conexão). Por exemplo, você pode enviar dados do App A para AWS, e dados do App B para GCS.

Cada conexão consiste em um conjunto completo de configurações do Data Locker, incluindo um destino. As configurações de conexão são independentes umas das outras.

Ao administrar suas conexões, considere:

• Nas configurações do Data Locker, as conexões são mostradas em abas. Cada conexão tem sua própria aba de configuração a partir da qual você pode gerenciar a conexão. O ícone de cada aba representa o tipo de armazenamento.
• Para ver os detalhes da conexão, duplicar uma conexão, ou excluir uma conexão, clique em ⋮ (opções).

Tanto os administradores quanto os membros da equipe, com as permissões corretas, podem acessar o Data Locker.

Administradores

Os administradores podem acessar a página do Data Locker, criar e gerenciar todas as conexões, adicionar editores e atribuir proprietários a conexões existentes.

Membros da equipe

Os membros da equipe podem acessar a página do Data Locker, editar conexões existentes ou criar novas conexões.

Fornecendo permissões

• Para fornecer a um membro da equipe permissão para acessar o Data Locker, atribua a ele um papel de gestão no Data Locker.
• Para transferir a propriedade ou adicionar um membro da equipe como editor em uma conexão existente, clique no ícone do menu de opções dentro da conexão existente e, em seguida, clique em Gerenciar propriedade para alterar o proprietário da conexão ou adicionar editores. 
• Na conexão AF AWS, a opção Gerenciar propriedade não existe, pois apenas administradores têm acesso a ela.

Siga esse procedimento para configurar o Data Locker. As alterações nas configurações do Data Locker levam até 3 horas para entrar em vigor.  

Pré-requisitos

Para criar um armazenamento próprio:

Se você estiver configurando o Data Locker usando um serviço de cloud storage de propriedade própria, conclua um ou mais dos seguintes procedimentos.  

• Configure:
  • Bucket da AWS
  • Bucket do GCS
  • [Beta] Azure Blob
  • [Beta] Bucket dp Yandex
  • Data warehouse do BigQuery
  • Warehouse do Snowflake

Atenção! Se você não tiver uma assinatura do Data Locker e tentar acessar a análise de cohort ou os dados da SKAN, você deve completar um dos procedimentos acima. 

 Para configurar o Data Locker:

1. Um administrador precisa realizar a configuração.  
2. Na AppsFlyer, no menu lateral, vá para Relatórios > Data Locker.
3. [Opcional] Se você já tiver um destino ativo do Data Locker e quiser adicionar um destino, clique em Adicionar conexão. Dê um nome à sua conexão.
4. Selecione um destino de dados de cloud service. Faça uma das seguintes opções:
   • Selecione o bucket da AppsFlyer AWS (opção disponível apenas para assinantes do Data Locker). Clique em Salvar e vá para a etapa 5.  
   • Selecione S3.
     1. Insira o nome do seu bucket S3 da AWS. O prefixo af- é obrigatório e deve ser inserido manualmente.
     2. Clique em Testar conexão.
     3. Verifique se uma mensagem de erro indicando que o caminho do bucket é inválido não é exibida.
     4. Selecione se deseja tornar esta conexão compatível com a Adobe Experience Platform. Se selecionado, clique em Salvar e vá para a Etapa 6.
     5. Clique em Salvar.
   • Selecione GCS.
     1. Insira o nome do bucket do GCS.
     2. Clique em Testar conexão.
     3. Verifique se uma mensagem de erro indicando que o caminho do bucket é inválido não é exibida.
     4. Selecione se deseja tornar esta conexão compatível com a Adobe Experience Platform. Se selecionado, clique em Salvar e vá para a Etapa 6.
     5. Clique em Salvar.
   • [Beta] Selecione Azure.
     1. Insira seu Nome de conexão, Nome da conta de armazenamento e Chave.
     2. Verifique se uma mensagem de erro indicando que o caminho do bucket é inválido não é exibida.
     3. Selecione se deseja tornar esta conexão compatível com a Adobe Experience Platform. Se selecionado, clique em Salvar e vá para a Etapa 6.
     4. Clique em Salvar.
   • [Beta] Selecione Yandex.
     1. Insira o nome do bucket, a chave de acessoe a chave secreta.
     2. Verifique se uma mensagem de erro indicando que o caminho do bucket é inválido não é exibida.
     3. Selecione se deseja tornar esta conexão compatível com a Adobe Experience Platform. Se selecionado, clique em Salvar e vá para a Etapa 6.
     4. Clique em Salvar.
   • Selecione BigQuery.
     1. Insira o project ID do BigQuery e o nome do conjunto de dados.
     2. Clique em Testar conexão.
     3. Verifique se uma mensagem de erro indicando que o caminho do bucket é inválido não é exibida.
     4. Clique em Salvar e vá para a etapa 6. 
   • Selecione Snowflake.
     1. Insira sua região e account ID do Snowflake.
     2. Clique em Testar conexão.
     3. Verifique se uma mensagem de erro indicando que o caminho do bucket é inválido não é exibida.
     4. Clique em Salvar e vá para a etapa 6. 
5. Conclua a seção Configurações dos dados:
   1. Selecione o formato de arquivo desejado:
      • [Padrão] Parquet
      • CSV
   2. Selecione o tipo de compactação de arquivo que você deseja:
      • Snappy (disponível apenas para arquivos Parquet)
      • GZIP
      • Descompactado
   3. Selecione o máximo de linhas que deseja em seu arquivo. 10 mil, 25 mil, 50 mil, 100mil, 200 mil ou 500 mil. Mais linhas significam menos arquivos, mas um tamanho de arquivo maior.
   4. Selecione a estrutura de pastas (segregação de dados):
      • [Padrão] Unificado
      • Segregado por aplicativo
6. Complete a seção de conteúdo do Data Locker:
7. Selecione um ou mais aplicativos para incluir nos relatórios. Selecione tudo para incluir automaticamente os aplicativos adicionados no futuro. 
8. Clique em Aplicar. 
9. [Opcional] Selecione uma ou mais fontes de mídia para incluir nos relatórios.
   • Padrão = Tudo. Isso significa que as fontes de mídia adicionadas no futuro serão automaticamente adicionadas.
10. Clique em Aplicar. 
11. [Opcional] Selecione os campos a serem incluídos nos relatórios. Atenção: às vezes disponibilizamos campos adicionais. Leve isso em consideração no processo de importação de dados.
12. Clique em Aplicar. 
13. Selecione os tipos de relatório. Você deve selecionar pelo menos 1.  
14. [Opcional] Para o relatório de eventos in-app, selecione os eventos in-app a serem incluídos. Se você tiver mais de 100 tipos de eventos in-app,  não será possível procurá-los. Digite seus nomes de maneira precisa para selecioná-los.  
    • Padrão = Tudo. Isso significa que os eventos no aplicativo adicionados no futuro serão adicionados automaticamente.
15. Clique em Aplicar. 
16. Clique em Salvar conexão. Ocorre uma das seguintes situações:
    • Se você selecionou o AWS bucket da AppsFlyer:
      • Um AWS bucket dedicado é criado. As credenciais do bucket são exibidas.
      • O repositório pode ser acessado com o uso das credenciais. As credenciais permitem acesso ao bucket somente para leitura.
    • Se você selecionou um dos seus serviços de cloud storage: Os dados serão gravados dentro de 3 horas. 

Um administrador pode redefinir as credenciais do bucket da AppsFlyer a qualquer momento. Atenção! Se você redefinir as credenciais, deverá atualizar seus scripts de importação de dados com as credenciais atualizadas.

Para redefinir as credenciais do armazenamento de propriedade da AppsFlyer:

1. Na AppsFlyer, acesse relatórios >Data Locker. 
2. Selecione o destino de propriedade da AppsFlyer.
3. Na seção Credenciais, clique em Redefinir credenciais.
   Uma janela de confirmação é exibida.
4. Clique em Redefinir.
5. Aguarde (cerca de 20 segundos) até que a mensagem Credenciais redefinidas com sucesso apareça.
   As credenciais atualizadas estarão disponíveis.

• Sintoma: não é possível recuperar dados usando o AWS CLI
• Mensagem de erro: ocorreu um erro (AccessDenied) ao chamar a operação ListObjectsV2: Acesso negado.
• Causa: as credenciais AWS que estão sendo usadas não são as credenciais corretas para o bucket da AppsFlyer. Isso pode ser causado por ter credenciais múltiplas ou inválidas no seu dispositivo.  
• Solução:
  1. Use um método diferente, como Cyberduck para acessar o bucket, ou seja, não a CLI. Faça isso para verificar se as credenciais que você está usando estão funcionando. Se você conseguir se conectar usando o Cyberduck, isso indica um problema no cache das credenciais.  
  2. Atualize o cache de credenciais do AWS.
     Captura de tela do AWS

Antes de começar:

• Instale o CLI da AWS no seu computador.
• Na AppsFlyer, acesse o Data Locker e recupere as informações contidas no painel de credenciais.

Para usar o AWS CLI:

1. Abra o terminal. Para fazer isso no Windows, <Windows> + <R>, clique em OK.
   A janela da linha de comando é aberta.
2. Digite aws configure.
3. Digite a Chave de acesso da AWS como aparece no painel de credenciais.
4. Digite sua chave secreta da AWS conforme aparece no painel de credenciais.
5. Digite eu-west-1.
6. Clique em Enter (None).

Use os comandos da CLI a seguir, conforme necessário.

Nos comandos a seguir, o valor de {home-folder} pode ser encontrado

Para listar pastas em seu bucket:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

Para listar arquivos e pastas

Há três tipos de pastas no seu repositório do Data Locker:

• Tipo de relatório t=
• Data dt=
• Hora h=

Para listar todos os relatórios de um tipo de relatório específico:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

Para listar todos os relatórios de um tipo de relatório específico para um dia específico:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Para listar todos os relatórios de um relatório específico, em uma hora específica de um dia específico:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Para fazer o download de arquivos de uma data específica:

aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

Antes de começar:

• Instale o cliente Cyberduck.
• Na AppsFlyer, acesse o Data Locker e recupere as informações contidas no painel de credenciais.

Para configurar o Cyberduck:

1. No Cyberduck, clique em Action.
2. Selecione New Bookmark. A janela será aberta.
3. No primeiro campo (marcado como [1] na captura de tela abaixo) selecione Amazon S3.
4. Preencha os campos da seguinte maneira:
   • Nickname: texto livre
   • Server: s3.amazonaws.com
   • Access Key ID: copie a chave de acesso da AWS como ela aparece no painel de credenciais na AppsFlyer
   • Secret Access Key: copie a chave secreta do bucket conforme ela aparece no painel de credenciais da AppsFlyer.
   • Path: {Nome do bucket}/{pasta Home} Por exemplo: af-ext-reports/1234-abc-ffffffff
5. Feche a janela. Para fazer isso, clique no X no canto superior direito da janela.
6. Selecione a conexão.
   Os diretórios de dados são exibidos.

Antes de começar:

• Instale o navegador Amazon S3.
• Na AppsFlyer, acesse o Data Locker e recupere as informações contidas no painel de credenciais.

Para configurar o navegador Amazon S3:

1. No navegador S3, clique em Accounts > Add New Account.
   A janela Add New Account é aberta.
2. Preencha os campos da seguinte maneira:
   • Account Name: texto livre. 
   • Access Key ID: copie a chave de acesso da AWS conforme exibida no painel de credenciais.  
   • Secret Access Key: copie a Chave Secreta do bucket conforme ela aparece no painel de credenciais.
   • Selecione Encrypt Access Keys com uma senha e insira uma senha. Anote essa senha.
   • Selecione Use secure transfer.  
3.  Clique em Save changes.
4. Clique em Buckets > Add External Bucket.
   A janela Add External Bucket é aberta.
   
5. Digite o nome do bucket. O nome do bucket tem o seguinte formato: {Nome do Bucket}/{Pasta Home}. Os valores necessários para o nome do bucket e a pasta Home aparecem na janela de credenciais.  
6. Clique em Add External Bucket.
   O bucket é criado e exibido no painel esquerdo da janela.
   Agora você pode acessar os arquivos do Data Locker.