Data Locker—para anunciantes

Recurso	Descrição
Opções de armazenamento (nuvem)	Várias opções de armazenamento estão disponíveis. Você pode alternar entre as opções a qualquer momento. As diferenças de opção estão relacionadas ao provedor de serviços em nuvem e à propriedade do bucket. Opções disponíveis:  Armazenamento de propriedade da AppsFlyer: AWS Armazenamento de sua propriedade: AWS  GCS
Multiaplicativos	Envie dados de 1, mais ou todos os aplicativos na sua conta. Quando você adiciona aplicativos à conta, eles podem ser incluídos automaticamente.
Segregação de dados	Opções de segregação de dados disponíveis [Padrão] Unificado: dados de todos os aplicativos combinados. O campo ID do aplicativo em nível de linha é usado para identificar o aplicativo em arquivos de dados.  Segregado por aplicativo: os dados de cada aplicativo estão em uma pasta separada. O nome da pasta consiste no ID do aplicativo.
Opções de formato de dados	CSV PARQUET
Atualização de dados	A atualização depende do tipo de relatório  Por hora: dados gerados continuamente; por exemplo, instalações e dados de eventos in-app são transmitidos poucas horas após o evento chegar à AppsFlyer.  Diariamente: alguns relatórios, por exemplo, o de desinstalações, são gerados diariamente e ficam prontos no dia seguinte.
Big query e Google Data Studio	Se você gravar seus dados no armazenamento GCS, o Big Query poderá carregar diretamente seus arquivos do Data Locker sem nenhum processamento intermediário. Você pode usar outras ferramentas no Big Query, como o Google Data Studio, para visualizar seus dados.

Os dados são gravados na opção de armazenamento selecionada por você. O armazenamento é propriedade da AppsFlyer no AWS ou de sua propriedade no AWS ou GCS. Você pode alternar de uma opção de armazenamento para outra a qualquer momento. A mudança ocorre em poucas horas. 

Os dados no armazenamento são organizados em uma estrutura de pastas hierárquica, de acordo com o tipo de relatório, data e hora. A figura a seguir contém um exemplo dessa estrutura:

Os dados de um determinado relatório estão contidos nas pastas de hora (h) associadas a esse relatório:

• O número de pastas de hora depende da atualização dos dados do relatório (por hora ou diariamente).
• Os dados são fornecidos em arquivos compactados GZ com formato Parquet ou CSV.
• Os arquivos de dados consistem de colunas (campos). 
• A estrutura da coluna dos relatórios das principais mensurações é idêntica. Isso significa que você pode ter procedimentos de carregamento de dados semelhantes para diferentes tipos de relatório. Os campos reais (colunas) contidos nos dados fornecidos são selecionados por você. 
• Os relatórios designados com FF têm sua própria estrutura de colunas exclusiva que não pode ser definida por você.

Pasta	Descrição
data-locker-hourly	A pasta de nível superior no bucket depende do proprietário e do provedor do armazenamento. A pasta data-locker-hourly contém os tópicos do relatório. As pastas acima desse nível dependem da propriedade do bucket e do provedor de serviços cloud. Exemplos de estrutura de pastas com base no proprietário do bucket e no provedor cloud Bucket da AppsFlyer: <af-ext-reports>/<unique_identifier>/<data-locker-hourly> Seu bucket AWS: <af-datalocker-your folder name>/<data-locker-hourly> Seu bucket GCS: <data-locker-hourly>
t (tópico)	O tipo de relatório está relacionado ao assunto do relatório.
dt (data)	Essa é a data dos dados relacionados. Na maioria dos casos, isso significa a data em que o evento ocorreu.
h (hora)	As pastas h estão relacionadas ao horário em que os dados foram recebidos pela AppsFlyer. Por exemplo, eventos de instalação recebidos entre 14:00 e 15:00 UTC são gravados no arquivo h=14. Atenção! Há um atraso de cerca de 1 a 3 horas, entre o momento em que os dados chegam à AppsFlyer até que a pasta h seja registrada no Data Locker. Por exemplo, a pasta h=14 é escrita 1 hora depois às 15:00 UTC.  Características da pasta: Existem 24 pastas h enumeradas de 0 a 23. Por exemplo, h=0, h=1 e assim por diante.  Uma pasta tardia, h=late, contém eventos do dia anterior que chegam depois da meia-noite. Ou seja, eventos que chegam das 00:00 às 02:00 UTC do dia seguinte. Por exemplo, se um usuário instalar um aplicativo na segunda-feira às 08:00 UTC e o evento chegar na terça-feira às 01:00 UTC, o evento será gravado na pasta tardia de segunda-feira.  Os dados que chegam depois das 02:00 UTC são transmitidos para a pasta da data e hora reais de chegada.  Certifique-se de que os dados na pasta h=late sejam consumidos. Eles não estão contidos em nenhuma outra pasta.  _temporary folder: em alguns casos, geramos uma pasta temporária dentro de uma pasta h. Desconsidere pastas e subpastas temporárias. Exemplo: /t=impressions/dt=2021-04-11/h=18/_temporary. Considerações sobre o relatório por hora para aplicativos que não usam o horário UTC. Para garantir que você obtenha todos os dados de um determinado dia do calendário, você deve consumir as pastas de acordo com o dia definido pelo fuso horário do aplicativo conforme detalhado:  Fuso horário do hemisfério oriental: para obter todos os dados de uma determinada data do calendário, você deve consumir pastas de acordo com a hora e a data UTC. Exemplo: o fuso horário do aplicativo é UTC+10 (Sydney, Austrália). Para obter todos os dados por hora relacionados à terça-feira (Sydney), você deve consumir as seguintes pastas: segunda-feira h=14—23 e atrasados, terça-feira h=0—13 e 14-15. Por que você deve consumir terça-feira h=14-15? Alguns dados podem chegar atrasados. Portanto, as pastas h=14—15 podem conter eventos que chegam atrasados. Você deve filtrar event_time para alinhar com o dia do calendário do aplicativo em relação a UTC.  Fuso horário do hemisfério ocidental: para obter todos os dados de uma determinada data do calendário, você deve consumir pastas de acordo com a hora e a data UTC. Exemplo: o fuso horário do aplicativo é UTC-7 (Los Angeles). Para obter todos os dados por hora relacionados à terça-feira (Los Angeles), você deve consumir as seguintes pastas: terça-feira h=7—23 e atrasados, quarta-feira h=0—6 e 7-8. Por que você deve consumir quarta-feira h=7-8? Alguns dados podem chegar atrasados. Portanto, as pastas h=7—8 podem conter eventos que chegam atrasados. Você deve filtrar event_time para alinhar com o dia do calendário do aplicativo em relação a UTC.

Os dados são fornecidos em arquivos de dados unificados contendo os dados de todos os aplicativos selecionados ou segregados em pastas por aplicativo. A segregação está dentro da pasta h, conforme descrito na tabela a seguir.

Tipo de segregação	Descrição
[Padrão] Unificado	Os dados de todos os aplicativos são fornecidos em arquivos de dados unificados. Ao consumir os dados, use o campo app_id no nível da linha para distinguir entre aplicativos. Exemplo de arquivos de dados estão na pasta h=2 A convenção de nomenclatura de arquivos de dados é unique_id.gz. Seu processo de carregamento de dados deve:  Carregar dados depois que o sinalizador _SUCCESS for definido Carregar todos os arquivos na pasta que tenham uma extensão .gz Não desenvolva seu processo de importação usando lógica de numeração de part.
Segregado por aplicativo	A pasta contém subpastas por aplicativo. Os arquivos de dados de um determinado aplicativo estão contidos na pasta do aplicativo. Na figura a seguir, a pasta h=19 contém pastas de aplicativos. Cada pasta do aplicativo contém os arquivos de dados associados. Em cada pasta do aplicativo, a convenção de nomenclatura é: unique_id.gz:  Seu processo de carregamento de dados deve:  Carregar dados depois que o sinalizador _SUCCESS for definido Carregar todos os arquivos na pasta que tenham uma extensão .gz Não desenvolva seu processo de importação usando lógica de numeração de part.  Limitação: esta opção não está disponível para relatórios de People-Based Attribution.

Os arquivos de dados dependem do tipo de segregação

Conteúdo	Detalhes
Sinalização de conclusão	O último sinalizador de arquivo (conclusão) é definido quando todos os dados de uma determinada pasta h tiverem sido gravados.  Não leia dados em uma pasta antes de verificar se o sinalizador _SUCCESS existe. O sinalizador _SUCCESS é definido mesmo nos casos em que não há dados para gravar em uma determinada pasta e a pasta está vazia.  Atenção! Na opção segregação por aplicativo, o sinalizador é definido na pasta h e não nas pastas individuais do aplicativo. Consulte as figuras na seção anterior.
Tipos de arquivo	Os arquivos de parte são compactados usando o GZ. Depois de descompactar, os arquivos de dados estarão no formato Parquet ou CSV de acordo com suas configurações.
Sequência de colunas (arquivos CSV)	No caso de arquivos CSV, a sequência de campos nos relatórios é sempre a mesma. Quando adicionamos novos campos, eles são adicionados à direita dos campos existentes. Sobre isso:  A estrutura de colunas dos relatórios de jornada do usuário é idêntica. Isso significa que você pode ter procedimentos de carregamento de dados semelhantes para diferentes tipos de relatório. Você seleciona os campos contidos nos relatórios.  O significado do campo é detalhado no dicionário de dados brutos. Os relatórios que têm uma indicação de FF na seção de disponibilidade do relatório não aderem à estrutura de coluna comum.
Considerações sobre o preenchimento de campos	Campos em branco ou vazios: alguns campos são preenchidos com nulo  ou estão vazios. Isso significa que, no contexto de um certo relatório, não há dados a reportar. Em geral, nulo significa que esse campo não é preenchido no contexto de um determinado relatório e tipo de aplicativo. "" em branco significa que o campo é relevante em seu contexto, mas nenhum dado foi encontrado para preenchê-lo.  No caso da fonte de mídia restrita, o conteúdo dos campos restritos é definido como nulo.  No geral, considere nulo e em branco como a mesma coisa. Não há dados disponíveis.  Fuso horário e moeda As configurações de fuso horário e moeda específicas do aplicativo não afetam os dados gravados no Data Locker. O seguinte se aplica:  Fuso-horário: dados de data e hora estão em UTC. Moeda: o campo event_revenue_usd está em USD. Valores com vírgulas: essas vírgulas estão contidas entre aspas duplas `"`, por exemplo, `"iPhone6,1"`.

• Os dados são registrados em um proprietário de armazenamento de sua escolha da seguinte forma:
  • Armazenamento da AppsFlyer
  • Armazenamento do cliente—AWS ou GCS
• Você pode alterar a seleção de armazenamento a qualquer momento.
• Se você alterar o armazenamento, acontecerá o seguinte:
  • Começamos a registrar no armazenamento recém-selecionado dentro de uma hora.
  • Continuamos registrando no armazenamento existente durante um período de transição de 7 dias. O tempo de expiração do período de transição é exibido na interface do usuário. Use o período de transição para atualizar seus processos de carregamento de dados. Você pode reiniciar o período de transição ou reverter para o bucket da AppsFlyer, se necessário. 
  • Alterar buckets: se você alterar o armazenamento, os dados serão enviados para ambos por um período de transição de 7 dias, permitindo que você alinhe o processo de consumo de dados. 

	Armazenamento de propriedade da AppsFlyer (AWS)	Armazenamento de propriedade do anunciante (GCS ou AWS)
Nome do repositório	Definido pela AppsFlyer	GCS: sem restrição AWS: definido por você. Deve ter o prefixo af-datalocker-. Exemplo: af-datalocker-nome-do-seu-bucke
Propriedade de armazenamento	AppsFlyer	Anunciante
Plataforma de armazenamento	AWS	AWS ou GCS
Credenciais para acessar dados por você	Disponível na interface de usuário Data Locker para o Admin	Não conhecido pela AppsFlyer. Use credenciais fornecidas pelo provedor de armazenamento.
Retenção de dados	Os dados são excluídos após 14 dias	Responsabilidade do anunciante
Solicitações de exclusão de dados	Responsabilidade da AppsFlyer	Responsabilidade do anunciante
Segurança	A AppsFlyer controla o armazenamento. O cliente tem acesso de leitura.	O anunciante controla o armazenamento. AWS: a AppsFlyer requer permissão GetObject, ListBucket, DeleteObject, PutObject para o bucket. O bucket deve ser dedicado ao uso da AppsFlyer. Não o use para outros fins. GCS: consulte o artigo de configuração do GCS.
Capacidade de armazenamento	Gerenciado pela AppsFlyer	Gerenciado pelo anunciante
Controle de acesso usando endpoints VPC com políticas de bucket	Não aplicável	[Opcional] No AWS, se você implementar a segurança de endpoint VPC no nível do bucket, será necessário dar permissão aos servidores da AppsFlyer.
Relatórios SKAN	Exige uma assinatura do Data Locker	Disponível se você tiver uma assinatura de dados brutos. Ou seja, não há necessidade de uma assinatura do Data Locker.

Aviso aos agentes de segurança no caso de armazenamento controlado pelo cliente

Considere:

• O bucket é para o uso exclusivo da AppsFlyer. Não deve haver outra entidade gravando no bucket.
• Você pode excluir dados no bucket 25 horas após gravarmos os dados.
• Os dados que gravamos no bucket são uma cópia dos dados que já estão em nossos servidores. Os dados continuam em nossos servidores de acordo com nossa política de retenção. 
• Por motivos técnicos, às vezes excluímos e reescrevemos os dados. Por esse motivo, precisamos excluir e listar permissões. Nenhuma das permissões é um risco de segurança para você. No caso da lista, somos a única entidade que grava no repositório. No caso de exclusão, podemos regenerar os dados. 
• Para obter informações adicionais, você pode entrar em contato com nossa equipe de segurança através do e-mail hello@appsflyer.com ou do seu CSM. 

Faça esse procedimento para configurar o Data Locker. As alterações nas configurações do Data Locker levam até 3 horas para entrar em vigor. 

Pré-requisitos

Para configurar o armazenamento de propriedade do anunciante:

Se você estiver configurando o Data Locker usando o armazenamento de propriedade do anunciante, ou seja, um bucket de sua propriedade, conclua um dos seguintes procedimentos agora. 

• Seu bucket AWS.
• Seu bucket GCS.

Atenção! Se você não tiver uma assinatura do Data Locker e acessar a análise de coortes ou os dados SKAN, deverá concluir um procedimento de armazenamento de propriedade do anunciante. 

Para configurar o Data Locker:

1. O administrador precisa executar a configuração. 
2. Na AppsFlyer, vá para Integração > Data Locker. 
3. Selecione um destino de dados de cloud service. Siga um dos procedimentos abaixo:
   
   • Selecione o repositório AWS da AppsFlyer (opção disponível somente para assinantes do Data Locker.) Continue para a etapa 4. 
   • Selecione Seu bucket AWS.
     1. Insira o nome do seu bucket AWS. Não insira o prefixo af-datalocker-.
     2. Clique em Testar.
     3. Verifique se uma mensagem de erro indicando que o caminho do bucket é inválido não é exibida.
   • Selecione Seu bucket GCS, insira seu nome do bucket GCS e, finalmente, clique em testar. 
4. Selecione a estrutura de pastas (segregação de dados):
   • [Padrão] Unificado.
   • Segregado por aplicativo.
5. Selecione o formato do arquivo:
   • [Padrão] Parquet.
   • CSV. 
6. Selecione os aplicativos necessários. Selecione todos para incluir automaticamente aplicativos adicionados no futuro. 
7. Clique em Aplicar. 
8. [opcional] Fontes de mídia: selecione uma ou mais fontes de mídia para incluir nos relatórios.
   • Default=Tudo. Isso significa que as fontes de mídia adicionadas no futuro serão automaticamente adicionadas.
9. Selecione os tipos de relatório necessários. Você deve selecionar pelo menos 1. 
10. [opcional] Eventos in-app: Selecione os eventos in-app para incluir. Se você tiver mais de 100 tipos de eventos in-app,  não será possível procurá-los. Digite seus nomes de maneira precisa para selecioná-los. 
    • Padrão=Tudo. Isso significa que os eventos no aplicativo adicionados no futuro serão adicionados automaticamente.
11. Clique em Aplicar. 
12. [Opcional] Campos: selecione os campos a serem incluídos nos relatórios. Observação: às vezes, disponibilizamos campos adicionais. Leve isso em consideração no processo de importação de dados.
13. Clique em Salvar configuração. Uma das opções seguintes ocorre:
    
    • Se você selecionou o AWS bucket da AppsFlyer:
      • Um AWS bucket dedicado é criado. As credenciais do bucket são exibidas.
      • O repositório pode ser acessado com o uso das credenciais. As credenciais permitem acesso ao bucket somente para leitura.
    • Se você selecionou Bucket do cliente: os dados serão gravados para o seu bucket dentro de 3 horas. 

O administrador pode redefinir as credenciais do bucket da AppsFlyer a qualquer momento. Atenção! Se você redefinir as credenciais, deverá atualizar seus scripts de importação de dados com as credenciais atualizadas.

Para redefinir as credenciais:

1. Na AppsFlyer, vá para Integração > Data Locker. 
2. Na seção Credenciais, clique em Redefinir credenciais.
   Uma janela de confirmação é exibida.
3. Clique em Redefinir.
4. Aguarde (cerca de 20 segundos) até que a mensagem Credenciais reiniciadas com sucesso apareça.
   As credenciais atualizadas estarão disponíveis.

Características

Característica	Observações
Ad Networks	Não deve ser usado por ad networks
Agências	Não deve ser usado por agências
Fuso horário específico do aplicativo	Não aplicável. As pastas do Data Locker são divididas em horas usando UTC. Os eventos reais contêm horários em UTC. Você pode converter os horários para qualquer outro fuso horário conforme necessário. Independentemente do fuso horário do aplicativo, o atraso da ocorrência do evento até que seja registrado no Data Locker permanece o mesmo.
Moeda específica do aplicativo	Não suportado
Limitações de tamanho	Não aplicável
Atualização de dados	Os dados são atualizados de acordo com a atualização específica dos dados do relatório, detalhada neste artigo.
Dados históricos	Não suportado. Os dados do evento são enviados após a configuração do Data Locker. Se você precisar de histórico de dados, use a Pull API.
Acesso de membro da equipe	Os membros da equipe não podem configurar o Data Locker.
Aplicativo único/aplicativo múltiplo	Suporte para multiaplicativos. O Data Locker está no nível da conta

• Sintoma: não é possível recuperar dados usando o AWS CLI
• Mensagem de erro: Ocorreu um erro (AccessDenied) ao chamar a operação ListObjectsV2: Acesso Negado
• Causa: as  credenciais da AWS que estão sendo usadas não as credenciais corretas para o repositório da AppsFlyer. Isso pode ser causado por ter credenciais múltiplas ou inválidas na sua máquina. 
• Solução:
  1. Use um método diferente, como Cyberduck para acessar o bucket, ou seja, não a CLI. Faça isso para verificar se as credenciais que você está usando estão funcionando. Se você conseguir se conectar usando o Cyberduck, isso indica um problema no cache das credenciais. 
  2. Atualize o cache de credenciais do AWS.
     Captura de tela do AWS

Antes de começar:

• Instale a CLI da AWS no seu computador.
• Na AppsFlyer, acesse o Data Locker e recupere as informações contidas no painel de credenciais.

Para usar o AWS CLI:

1. Abra o terminal. Para fazer isso no Windows, <Windows> + <R>, clique em OK.
   A janela da linha de comando é aberta.
2. Digite aws configure.
3. Digite a Chave de acesso da AWS como aparece no painel de credenciais.
4. Digite sua chave secreta da AWS conforme aparece no painel de credenciais.
5. Digite eu-west-1.
6. Clique em Enter (Nenhum).

Use os comandos da CLI a seguir, conforme necessário.

Nos seguintes comandos, o valor de {home-folder} pode ser encontrado

Para listar pastas em seu bucket:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

Para listar arquivos e pastas

Há três tipos de pastas no seu repositório do Data Locker:

• Tipo de relatório t=
• Data dt=
• Hora h=

Para listar todos os relatórios de um tipo de relatório específico:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

Para listar todos os relatórios de um tipo de relatório específico para um dia específico:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Para listar todos os relatórios de um relatório específico, em uma hora específica de um dia específico:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=instalações/dt=2019-01-17/h=23

Para fazer o download de arquivos de uma data específica:

aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

Antes de começar:

• Instale o cliente Cyberduck.
• Na AppsFlyer, acesse o Data Locker e recupere as informações contidas no painel de credenciais.

Para configurar o Cyberduck:

1. No Cyberduck, clique em Ação.
2. Selecione Novo Marcador. A janela será aberta.
3. No primeiro campo, (marcado [1] na captura de tela a seguir), selecione Amazon S3.

   

4. Preencha os campos da seguinte maneira:
   • Apelido: texto livre
   • Servidor: s3.amazonaws.com
   • ID da chave de acesso: copie a chave de acesso da AWS como ela aparece no painel de credenciais na AppsFlyer
   • Chave de acesso secreta: copie a chave secreta do bucket conforme ela aparece no painel de credenciais da AppsFlyer.
   • Caminho (path): {Bucket Name}/{Home Folder} Por exemplo: af-ext-reports/1234-abc-ffffffff
5. Feche a janela. Para fazer isso, use o X no canto superior direito da janela.
6. Selecione a conexão.
   Os diretórios de dados são exibidos.

Antes de começar:

• Instale o navegador Amazon S3.
• Na AppsFlyer, acesse o Data Locker e recupere as informações contidas no painel de credenciais.

Para configurar o navegador Amazon S3:

1. No navegador S3, clique em Contas > Adicionar Nova conta.
   A janela Adicionar Nova Conta é aberta.

   

2. Preencha os campos da seguinte maneira:
   • Nome da Conta: texto livre. 
   • ID da chave de acesso: copie a chave de acesso da AWS conforme exibida no painel de credenciais. 
   • Chave de acesso secreto: copie a Chave Secreta do repositório conforme ela aparece no painel de credenciais.
   • Selecione Criptografar Chaves de Acesso com uma senha e insira uma senha. Anote esta senha.
   • Selecione Usar transferência segura. 
3.  Clique em Salvar alterações.
4. Clique em Buckets > Adicionar BucketExterno.
   A janela Adicionar Bucket Externo é aberta.
   

   

5. Digite o nome do Repositório. O nome do Repositório tem o seguinte formato: {Bucket Name}/{Home Folder}. Os valores necessários para o nome do repositório e a pasta inicial aparecem na janela de credenciais. 
6. Clique em Adicionar repositório externo.
   O repositório é criado e exibido no painel esquerdo da janela.
   Agora você pode acessar os arquivos do Data Locker.