Data Locker para parceiros

• A pasta de nível superior no bucket depende do provedor do armazenamento.
• A pasta data-locker-hourly contém os tópicos do relatório. 

Exemplos de estrutura de pastas com base no proprietário do bucket e no provedor de nuvem:

• Seu repositório AWS: <af-datalocker-your bucket prefix>/<generated-home-folder><subscription-id>
• Seu repositório GCS: <your bucket name>/<generated-home-folder>/<subscription-id>

Essa é a data dos dados relacionados. Na maioria dos casos, isso significa a data em que o evento ocorreu. 

As pastas h estão relacionadas ao horário em que a AppsFlyer recebeu os dados. Por exemplo, eventos de instalação recebidos entre 14:00-15:00 UTC são transmitidos para o arquivo h=14. Atenção! Há um atraso de cerca de 6 horas entre o momento em que os dados chegam à AppsFlyer até o momento em que a pasta h é transmitida para o Data Locker. Por exemplo, a pasta h=14 é transmitida seis horas depois, às 23:00 UTC. 

Características da pasta:

• Existem 24 pastas h enumeradas de 0 a 23. Por exemplo, h=0, h=1 e assim por diante. 
• Além disso, a pasta "late" contém eventos do dia anterior que chegaram depois da meia-noite (em outras palavras, eventos que chegam entre 00:00 - 02:00 UTC do dia seguinte). Por exemplo, se um usuário instalar um aplicativo na segunda-feira às 08:00 e o evento chegar na terça-feira às 01:00, o evento será registrado na pasta "late" de segunda-feira. 
• Os dados que chegam depois das 02:00 UTC são gravados na pasta da data e hora reais de chegada. 
• Você deve usar os dados na pasta "late". Eles não estão contidos em nenhuma outra pasta. 
• _temporary folder: em alguns casos, geramos uma pasta temporária dentro de uma pasta h. Desconsidere pastas e subpastas temporárias. Exemplo: /t=impressions/dt=2021-04-11/h=18/_temporary.

Os dados de todos os aplicativos são fornecidos em arquivos de dados unificados. Ao carregar os dados, use o campo app_id no nível da linha para distinguir entre aplicativos.

Exemplo de arquivos de dados estão na pasta h=2

• No processo de carregamento dos dados, certifique-se do seguinte:
  • Você começa a consumir dados somente após o sinalizador _SUCCESS ser configurado.
  • Você carrega todos os arquivos com uma extensão .gz

O último sinalizador de arquivo (conclusão) é definido quando todos os dados de uma determinada pasta h tiverem sido gravados. 

• Não leia dados em uma pasta antes de verificar se o sinalizador _SUCCESS existe.

• O sinalizador _SUCCESS é definido mesmo nos casos em que não há nenhum dado gravado na pasta, ou seja, em que a pasta fica vazia.

Os arquivos são compactados usando o GZ. Depois de descompactar:

• Os arquivos não têm extensão.
• Cada arquivo tem uma linha de cabeçalho contendo os nomes da coluna (campo). 

A sequência de campos nos relatórios é sempre a mesma. Novos campos são adicionados à direita dos campos existentes. 

As definições de coluna (campo) são definidas por relatório. Verifique o artigo do relatório relevante para a descrição. 

Campos em branco ou vazios: alguns campos são preenchidos com nulo  ou estão vazios. Isso significa que, no contexto de um certo relatório, não há dados a reportar. Em geral, nulo significa que esse campo não é preenchido no contexto de um determinado relatório e tipo de aplicativo. "Em branco" significa que o campo é relevante em seu contexto, mas nenhum dado foi encontrado para preenchê-lo. 

Fuso horário e moeda:

As configurações de fuso horário e moeda específicas do aplicativo não afetam os dados gravados no Data Locker. Tais como: 

• Fuso-horário: dados de data e hora ficam em UTC.
• Moeda: o campo event_revenue_usd fica em USD.

Valores com vírgulas: essas vírgulas estão contidas entre aspas duplas `"`, por exemplo, `"iPhone6,1"`.

O último sinalizador de arquivo (conclusão) é definido quando todos os dados de uma determinada pasta h tiverem sido gravados. 

• Não leia dados em uma pasta antes de verificar se o sinalizador _SUCCESS existe.

• O sinalizador _SUCCESS é definido mesmo nos casos em que não há dados para gravar em uma determinada pasta e a pasta está vazia. 

• Atenção! Na opção segregação por aplicativo, o sinalizador é definido na pasta h e não nas pastas individuais do aplicativo. Consulte as figuras na seção anterior. 

• Os dados são fornecidos em arquivos compactados Snappy ou GZIP, ou arquivos não compactados, com formato Parquet ou CSV.
• Depois de descompactar, os arquivos de dados estarão no formato Parquet ou CSV de acordo com suas configurações.

No caso de arquivos CSV, a sequência de campos nos relatórios é sempre a mesma. Quando adicionamos novos campos, eles são adicionados à direita dos campos existentes.

Sobre isso: 

• A estrutura de colunas dos relatórios de jornada do usuário é idêntica. Isso significa que você pode ter procedimentos de carregamento de dados semelhantes para diferentes tipos de relatório. Você seleciona os campos contidos nos relatórios.  O significado do campo é detalhado no dicionário de dados brutos.
• Os relatórios que têm uma indicação de FF na seção de disponibilidade do relatório não aderem à estrutura de coluna comum. 

Campos em branco ou vazios: alguns campos são preenchidos com nulo  ou estão vazios. Isso significa que, no contexto de um certo relatório, não há dados a reportar. Em geral, nulo significa que esse campo não é preenchido no contexto de um determinado relatório e tipo de aplicativo. "" em branco significa que o campo é relevante em seu contexto, mas nenhum dado foi encontrado para preenchê-lo. 

No caso da fonte de mídia restrita, o conteúdo dos campos restritos é definido como nulo. 

No geral, considere nulo e em branco como a mesma coisa. Não há dados disponíveis. 

Fuso horário e moeda

As configurações de fuso horário e moeda específicas do aplicativo não afetam os dados gravados no Data Locker. O seguinte se aplica: 

• Fuso-horário: dados de data e hora estão em UTC.
• Moeda: o campo event_revenue_usd está em USD.

Valores com vírgulas: essas vírgulas estão contidas entre aspas duplas `"`, por exemplo, `"iPhone6,1"`.

• GCS: sem restrição
• AWS: definido por você. Deve ter o prefixo af-.

Exemplo: af-datalocker-nome-do-seu-bucke

Você controla o armazenamento. 

• AWS: a AppsFlyer requer permissão GetObject, ListBucket, DeleteObject, PutObject para o bucket. O bucket deve ser dedicado ao uso da AppsFlyer. Não o use para outros fins.
• GCS