Data Locker para parceiros

Resumo: o Data Locker para parceiros (ad networks e agências) fornece dados de aplicativos para o armazenamento do parceiro na AWS, GCS ou BigQuery.

6133DataLockerForPartners.png

Data Locker para parceiros

O Data Locker para parceiros envia dados de aplicativos para o armazenamento em nuvem. Os anunciantes definem permissões que fazem com que a AppsFlyer possa compartilhar dados selecionados com um determinado parceiro. 

Recursos do Data Locker

Funcionalidade Descrição
Opções de armazenamento (nuvem)

Armazenamento (bucket) de sua propriedade em:

  • AWS 
  • GCS
  • Yandex
  • BigQuery

Sobre opções de armazenamento

Suporte para vários aplicativos

Compatível com dados de aplicativos que são integrados com você. O anunciante deve permitir que você acesse cada relatório para que você obtenha os dados. 

Opções de formato
  • Para armazenamento em bucket na nuvem:
    • CSV
    • Parquet
    • Adobe
  • Data warehouse
Atualização dos dados

A atualização depende do tipo de relatório:

  • Por hora: Dados gerados continuamente
  • Diária: alguns relatórios são preparados diariamente e ficam prontos no dia seguinte

Relatórios disponíveis para parceiros

Os relatórios disponíveis e as permissões necessárias para obter os relatórios são diferentes para cada tipo de parceiro. No entanto, o mecanismo do Data Locker, as opções de armazenamento e as configurações necessárias são as mesmas, independentemente do tipo de parceiro. Consulte os artigos por tipo de parceiro abaixo:  

Arquitetura de armazenamento de dados

Visão geral

Os dados são registrados na opção de armazenamento selecionada por você. Você pode alternar de uma opção para outra a qualquer momento. A mudança ocorre em poucas horas. 

Os dados no armazenamento em bucket na nuvem são organizados em uma estrutura de pastas hierárquica, de acordo com o tipo de relatório, data e hora. A figura a seguir contém um exemplo dessa estrutura:

DLFolderOVerview.png

Os dados de um determinado relatório estão contidos nas pastas de hora (h) associadas a esse relatório.

  • O número de pastas de hora varia se o relatório é transmitido por hora ou por dia.
  • Os dados são fornecidos em arquivos compactados Snappy ou GZIP, ou arquivos não compactados, com formato Parquet ou CSV.
  • Os arquivos de dados consistem em colunas (campos).
  • A estrutura da coluna é definida por tipo de relatório. 

Estrutura de pastas

Pasta Descrição 
data-locker-hourly

DLHourly.png

  • A pasta de nível superior no bucket depende do provedor do armazenamento.
  • A pasta data-locker-hourly contém os tópicos do relatório. 

Exemplos de estrutura de pastas com base no proprietário do bucket e no provedor de nuvem:

  • Seu repositório AWS: <af-datalocker-your bucket prefix>/<generated-home-folder><subscription-id>
  • Seu repositório GCS: <your bucket name>/<generated-home-folder>/<subscription-id>
t (topic) O tipo de relatório está relacionado ao assunto do relatório. 
dt (date)

Essa é a data dos dados relacionados. Na maioria dos casos, isso significa a data em que o evento ocorreu. 

h (hour)

As pastas h estão relacionadas ao horário em que a AppsFlyer recebeu os dados. Por exemplo, eventos de instalação recebidos entre 14:00-15:00 UTC são transmitidos para o arquivo h=14. Atenção! Há um atraso, de cerca de 6 horas, entre o momento em que os dados chegam à AppsFlyer até o momento em que a pasta h é transmitida para o Data Locker. Por exemplo, a pasta h=14 é transmitida seis horas depois, às 23:00 UTC. 

Características da pasta:

  • Existem 24 pastas h enumeradas de 0 a 23. Por exemplo, h=0, h=1 e assim por diante. 
  • Além disso, a pasta "late" contém eventos do dia anterior que chegaram depois da meia-noite (em outras palavras, eventos que chegam entre 00:00 - 02:00 UTC do dia seguinte). Por exemplo, se um usuário instalar um aplicativo na segunda-feira às 08:00 e o evento chegar na terça-feira às 01:00, o evento será registrado na pasta "late" de segunda-feira. 
  • Os dados que chegam depois das 02:00 UTC são gravados na pasta da data e hora reais de chegada. 
  • Você deve usar os dados na pasta "late". Eles não estão contidos em nenhuma outra pasta.
  • Pasta _temporary: Em alguns casos, geramos uma pasta temporária (temporary) dentro de uma pasta h. Desconsidere pastas e subpastas temporárias. Exemplo: /t=impressions/dt=2021-04-11/h=18/_temporary.
Dados unificados

Os dados de todos os aplicativos são fornecidos em arquivos de dados unificados. Ao carregar os dados, use o campo app_id no nível da linha para distinguir entre aplicativos.

Exemplo de arquivos de dados estão na pasta h=2

UnifiedByApp.png

  • No processo de carregamento dos dados, certifique-se do seguinte:
    • Você começa a consumir dados somente após a flag _SUCCESS ser configurada.
    • Você carrega todos os arquivos com uma extensão .gz
Sinalização de conclusão

O último sinalizador de arquivo (conclusão) é definido quando todos os dados de uma determinada pasta h tiverem sido gravados. 

  • Não leia dados em uma pasta antes de verificar se a flag _SUCCESS existe.

  • A flag _SUCCESS é definida mesmo em casos onde nenhum dado é escrito na pasta. Isso significa que a pasta está vazia.

Compactar

Os arquivos são compactados usando o GZ. Depois de descompactar:

  • Os arquivos não têm extensão.
  • Cada arquivo tem uma linha de cabeçalho contendo os nomes da coluna (campo). 
Sequência de coluna

A sequência de campos nos relatórios é sempre a mesma. Novos campos são adicionados à direita dos campos existentes. 

As definições de coluna (campo) são definidas por relatório. Verifique o artigo do relatório relevante para a descrição. 

Considerações sobre o preenchimento de campos

Campos em branco ou vazios: Alguns campos são preenchidos com null ou estão vazios. Isso significa que, no contexto de um certo relatório, não há dados a reportar. Em geral, null significa que esse campo não é preenchido no contexto de um determinado relatório e tipo de aplicativo. Em branco "" significa que o campo é relevante em seu contexto, mas nenhum dado foi encontrado para preenchê-lo. 

Fuso horário e moeda:

As configurações de fuso horário e moeda específicas do aplicativo não afetam os dados gravados no Data Locker. Tais como:  

  • Fuso horário: As datas e horas estão em UTC.
  • Moeda: o campo event_revenue_usd fica em USD.

Valores com vírgulas: As vírgulas estão contidas entre aspas duplas ", por exemplo,`"iPhone6,1"`.

Arquivos de dados

Os arquivos de dados dependem do tipo de segregação.

Conteúdo Detalhes
Flag de conclusão

A última flag de arquivo (conclusão) é definida quando todos os dados de uma determinada pasta h tiverem sido gravados.  

  • Não leia dados em uma pasta antes de verificar se a flag _SUCCESS existe.

  • A flag _SUCCESS é definida mesmo nos casos em que não há dados para gravar em uma determinada pasta e a pasta está vazia.  

  • Atenção! Na opção segregação por aplicativo, a flag é definida na pasta h e não nas pastas individuais do aplicativo. Consulte as figuras na seção anterior.  
Tipos de arquivo
  • Os dados são fornecidos em arquivos compactados Snappy ou GZIP, ou arquivos não compactados, com formato Parquet ou CSV.
  • Depois de descompactar, os arquivos de dados estarão no formato Parquet ou CSV de acordo com suas configurações.
Sequência de colunas (arquivos CSV) 

No caso de arquivos CSV, a sequência de campos nos relatórios é sempre a mesma. Quando adicionamos novos campos, eles são adicionados à direita dos campos existentes. 

Sobre isso: 

  • A estrutura de colunas dos relatórios de jornada do usuário é idêntica. Isso significa que você pode ter procedimentos de carregamento de dados semelhantes para diferentes tipos de relatório. Você seleciona os campos contidos nos relatórios. O significado do campo é detalhado no dicionário de dados brutos
  • Os relatórios que têm uma indicação de FF na seção de disponibilidade do relatório não aderem à estrutura de coluna comum. 
Considerações sobre o preenchimento de campos

Campos em branco ou vazios: Alguns campos são preenchidos com null ou estão vazios. Isso significa que, no contexto de um certo relatório, não há dados a reportar. Em geral, null significa que esse campo não é preenchido no contexto de um determinado relatório e tipo de aplicativo. Em branco "" significa que o campo é relevante em seu contexto, mas nenhum dado foi encontrado para preenchê-lo. 

No caso da fonte de mídia restrita, o conteúdo dos campos restritos é definido como null. 

No geral, considere null e em branco como a mesma coisa. Não há dados disponíveis. 

Fuso horário e moeda

As configurações de fuso horário e moeda específicas do aplicativo não afetam os dados gravados no Data Locker. O seguinte se aplica: 

  • Fuso horário: As datas e horas estão em UTC.
  • Moeda: o campo event_revenue_usd fica em USD.

Valores com vírgulas: As vírgulas estão contidas entre aspas duplas ", por exemplo,`"iPhone6,1"`.

Opções de armazenamento

  • Os dados são registrados em um proprietário de armazenamento de sua escolha da seguinte forma: AWS, GCS e BigQuery.
  • Você pode alterar a seleção de armazenamento a qualquer momento.
  • Se você alterar o armazenamento, acontecerá o seguinte:
    • Começamos a registrar no armazenamento recém-selecionado dentro de uma hora.
    • Continuamos registrando no armazenamento existente durante um período de transição de 7 dias. O tempo de expiração do período de transição é exibido na interface do usuário. Use o período de transição para atualizar seus processos de carregamento de dados. 
    • Alterar buckets: se você alterar o armazenamento, os dados serão enviados para ambos por um período de transição de 7 dias, permitindo que você alinhe o processo de consumo de dados.  
  Partner-owned storage (GCS, AWS, BigQuery)
Nome do bucket
  • GCS: Sem restrição
  • AWS: Definido por você. Deve ter o prefixo af-.

Exemplo: af-datalocker-your-bucket-name

Proprietário do armazenamento Parceiro 
Plataforma de armazenamento AWS, GCS, Yandex, BigQuery
Credenciais para acessar dados por você Não conhecido pela AppsFlyer. Use credenciais fornecidas pelo provedor de armazenamento.
Retenção de dados Controlado por você
Segurança

Você controla o armazenamento. 

  • AWS: AppsFlyer requer a permissão getObject, ListBucket, DeleteObject, PutObject para o bucket. O bucket deve ser dedicado ao uso da AppsFlyer. Não o use para outros fins.
  • GCS

Aviso aos agentes de segurança

Considere: 

  • O bucket ou destino é para uso exclusivo da AppsFlyer. Nenhuma outra entidade pode fazer registros no bucket.
  • Você pode excluir dados no bucket cerca de 25 horas após gravarmos os dados.
  • Os dados que gravamos no destino são uma cópia dos dados que já estão em nossos servidores. Os dados continuam em nossos servidores de acordo com nossa política de retenção.
  • Por razões técnicas, às vezes deletamos e reescrevemos os dados. Por isso, temos permissões de excluir e listar. Isso não implica em um risco de segurança para você. No caso da lista, somos a única entidade que escreve no bucket. No caso de exclusão, podemos gerar os dados novamente.

Princípios de conexões múltiplas (mais de um destino)

No Data Locker você pode enviar alguns ou todos os seus dados para mais de um destino (definido nas configurações de conexão). Por exemplo, você pode enviar dados do App A para AWS, e dados do App B para GCS.

Cada conexão consiste em um conjunto completo de configurações do Data Locker, incluindo um destino. As configurações de conexão são independentes umas das outras.

Ao administrar suas conexões, considere:

  • Nas configurações do Data Locker, as conexões são mostradas em abas. Cada conexão tem sua própria aba de configurações a partir da qual você pode gerenciar a conexão. A aba padrão é "Data Locker".
  • Para criar uma nova conexão:
    1. Clique em Adicionar conexão.
    2. Forneça um nome para a conexão e escolha o tipo de armazenamento.
    3. Clique em Salvar.
      Uma vez salva, a conexão é exibida ao lado da aba padrão "Data Locker". O ícone de cada aba representa o tipo de armazenamento.
  • Para ver os detalhes da conexão, duplicar uma conexão, ou excluir uma conexão, clique em ⋮ (opções).

Procedimentos

Configure o Data Locker

Use este procedimento para configurar o Data Locker. As alterações nas configurações entram em vigor dentro de 3 horas.  

Pré-requisito:

Complete um ou mais dos seguintes procedimentos de armazenamento:

AppsFlyerAdmin_us-en.png Para configurar o Data Locker:

  1. Faça login no dashboard da AppsFlyer.
  2. Vá para:
    • Anunciantes: No AppsFlyer, na barra lateral, abra Exportar > Data Locker.
    • Parceiros de marketing: Clique no botão Menu da conta > Data Locker.
  3. Siga as etapas 3 a 16 das instruções de configuração do Data Locker.

Informações adicionais

Características e limitações

Características Observações 
Fuso horário específico do aplicativo Não aplicável
Moeda específica da aplicação  Não suportado
Limitações de tamanho Não aplicável
Atualização dos dados Os dados são atualizados de acordo com a atualização específica dos dados do relatório, detalhada neste artigo.
Dados históricos

Não suportado

Acesso de membro da equipe Os membros da equipe não podem configurar o Data Locker. 

Resolução de problemas