Data Locker para parceiros

• A pasta de nível superior no bucket depende do provedor do armazenamento.
• A pasta data-locker-hourly contém os tópicos do relatório. 

Exemplos de estrutura de pastas com base no proprietário do bucket e no provedor de nuvem:

• Seu repositório AWS: <af-datalocker-your bucket prefix>/<generated-home-folder><subscription-id>
• Seu repositório GCS: <your bucket name>/<generated-home-folder>/<subscription-id>

Essa é a data dos dados relacionados. Na maioria dos casos, isso significa a data em que o evento ocorreu. 

As pastas h estão relacionadas ao horário em que a AppsFlyer recebeu os dados. Por exemplo, eventos de instalação recebidos entre 14:00-15:00 UTC são transmitidos para o arquivo h=14. Atenção! Há um atraso, de cerca de 6 horas, entre o momento em que os dados chegam à AppsFlyer até o momento em que a pasta h é transmitida para o Data Locker. Por exemplo, a pasta h=14 é transmitida seis horas depois, às 23:00 UTC. 

Características da pasta:

• Existem 24 pastas h enumeradas de 0 a 23. Por exemplo, h=0, h=1 e assim por diante. 
• Além disso, a pasta "late" contém eventos do dia anterior que chegaram depois da meia-noite (em outras palavras, eventos que chegam entre 00:00 - 02:00 UTC do dia seguinte). Por exemplo, se um usuário instalar um aplicativo na segunda-feira às 08:00 e o evento chegar na terça-feira às 01:00, o evento será registrado na pasta "late" de segunda-feira. 
• Os dados que chegam depois das 02:00 UTC são gravados na pasta da data e hora reais de chegada. 
• Você deve usar os dados na pasta "late". Eles não estão contidos em nenhuma outra pasta.
• Pasta _temporary: Em alguns casos, geramos uma pasta temporária (temporary) dentro de uma pasta h. Desconsidere pastas e subpastas temporárias. Exemplo: /t=impressions/dt=2021-04-11/h=18/_temporary.

Os dados de todos os aplicativos são fornecidos em arquivos de dados unificados. Ao carregar os dados, use o campo app_id no nível da linha para distinguir entre aplicativos.

Exemplo de arquivos de dados estão na pasta h=2

• No processo de carregamento dos dados, certifique-se do seguinte:
  • Você começa a consumir dados somente após a flag _SUCCESS ser configurada.
  • Você carrega todos os arquivos com uma extensão .gz

O último sinalizador de arquivo (conclusão) é definido quando todos os dados de uma determinada pasta h tiverem sido gravados. 

• Não leia dados em uma pasta antes de verificar se a flag _SUCCESS existe.

• A flag _SUCCESS é definida mesmo em casos onde nenhum dado é escrito na pasta. Isso significa que a pasta está vazia.

Os arquivos são compactados usando o GZ. Depois de descompactar:

• Os arquivos não têm extensão.
• Cada arquivo tem uma linha de cabeçalho contendo os nomes da coluna (campo). 

A sequência de campos nos relatórios é sempre a mesma. Novos campos são adicionados à direita dos campos existentes. 

As definições de coluna (campo) são definidas por relatório. Verifique o artigo do relatório relevante para a descrição. 

Campos em branco ou vazios: Alguns campos são preenchidos com null ou estão vazios. Isso significa que, no contexto de um certo relatório, não há dados a reportar. Em geral, null significa que esse campo não é preenchido no contexto de um determinado relatório e tipo de aplicativo. Em branco "" significa que o campo é relevante em seu contexto, mas nenhum dado foi encontrado para preenchê-lo. 

Fuso horário e moeda:

As configurações de fuso horário e moeda específicas do aplicativo não afetam os dados gravados no Data Locker. Tais como:  

• Fuso horário: As datas e horas estão em UTC.
• Moeda: o campo event_revenue_usd fica em USD.

Valores com vírgulas: As vírgulas estão contidas entre aspas duplas ", por exemplo,`"iPhone6,1"`.

A última flag de arquivo (conclusão) é definida quando todos os dados de uma determinada pasta h tiverem sido gravados.  

• Não leia dados em uma pasta antes de verificar se a flag _SUCCESS existe.

• A flag _SUCCESS é definida mesmo nos casos em que não há dados para gravar em uma determinada pasta e a pasta está vazia.  

• Atenção! Na opção segregação por aplicativo, a flag é definida na pasta h e não nas pastas individuais do aplicativo. Consulte as figuras na seção anterior.  

• Os dados são fornecidos em arquivos compactados Snappy ou GZIP, ou arquivos não compactados, com formato Parquet ou CSV.
• Depois de descompactar, os arquivos de dados estarão no formato Parquet ou CSV de acordo com suas configurações.

No caso de arquivos CSV, a sequência de campos nos relatórios é sempre a mesma. Quando adicionamos novos campos, eles são adicionados à direita dos campos existentes. 

Sobre isso: 

• A estrutura de colunas dos relatórios de jornada do usuário é idêntica. Isso significa que você pode ter procedimentos de carregamento de dados semelhantes para diferentes tipos de relatório. Você seleciona os campos contidos nos relatórios. O significado do campo é detalhado no dicionário de dados brutos. 
• Os relatórios que têm uma indicação de FF na seção de disponibilidade do relatório não aderem à estrutura de coluna comum. 

Campos em branco ou vazios: Alguns campos são preenchidos com null ou estão vazios. Isso significa que, no contexto de um certo relatório, não há dados a reportar. Em geral, null significa que esse campo não é preenchido no contexto de um determinado relatório e tipo de aplicativo. Em branco "" significa que o campo é relevante em seu contexto, mas nenhum dado foi encontrado para preenchê-lo. 

No caso da fonte de mídia restrita, o conteúdo dos campos restritos é definido como null. 

No geral, considere null e em branco como a mesma coisa. Não há dados disponíveis. 

Fuso horário e moeda

As configurações de fuso horário e moeda específicas do aplicativo não afetam os dados gravados no Data Locker. O seguinte se aplica: 

• Fuso horário: As datas e horas estão em UTC.
• Moeda: o campo event_revenue_usd fica em USD.

Valores com vírgulas: As vírgulas estão contidas entre aspas duplas ", por exemplo,`"iPhone6,1"`.

• GCS: Sem restrição
• AWS: Definido por você. Deve ter o prefixo af-.

Exemplo: af-datalocker-your-bucket-name

Você controla o armazenamento. 

• AWS: AppsFlyer requer a permissão getObject, ListBucket, DeleteObject, PutObject para o bucket. O bucket deve ser dedicado ao uso da AppsFlyer. Não o use para outros fins.
• GCS