Visão geral: o Data Locker escreve seus dados de relatório no armazenamento em nuvem para que eles sejam carregados em seus sistemas de BI. Diferentes opções de armazenamento permitem que você selecione entre um bucket de propriedade da AppsFlyer no AWS ou um bucket de sua propriedade no AWS ou no GCS. Além disso, você pode, opcionalmente, enviar dados para o Snowflake. Os dados fornecidos estão no formato Parquet ou CSV.
Leitura relacionada:
Data Locker
No Data Locker, selecione seus aplicativos, fontes de mídia, eventos e relatórios a serem incluídos nos dados gravados no armazenamento em nuvem. Carregue dados programaticamente do armazenamento em seus sistemas de BI.
Bloqueio de dados—recursos
Recurso | Descrição |
---|---|
Opções de armazenamento (nuvem) |
Várias opções de armazenamento estão disponíveis. Você pode alternar entre as opções a qualquer momento. As diferenças de opção estão relacionadas ao provedor de serviços em nuvem e à propriedade do bucket. Opções disponíveis:
|
Multiaplicativos |
Envie dados de 1, mais ou todos os aplicativos na sua conta. Quando você adiciona aplicativos à conta, eles podem ser incluídos automaticamente. |
Janela de disponibilidade |
14 dias |
Segregação de dados |
Opções de segregação de dados disponíveis
|
Opções de formato de dados |
|
Atualização de dados |
A atualização depende do tipo de relatório
|
Big query e Google Data Studio |
Se você gravar seus dados no armazenamento GCS, o Big Query poderá carregar diretamente seus arquivos do Data Locker sem nenhum processamento intermediário. Você pode usar outras ferramentas no Big Query, como o Google Data Studio, para visualizar seus dados. |
Relatórios disponíveis via Data Locker
Arquitetura de armazenamento de dados
Visão geral
A estrutura dos dados disponíveis depende se os dados são enviados para armazenamento em nuvem ou para um data warehouse. A estrutura de pastas descrita aqui se aplica ao armazenamento (buckets). No caso do data warehouse (Snowflake), considere que a referência a pastas se aplica a visualizações. Veja Snowflake.
Os dados são gravados na opção de armazenamento selecionada por você. No caso do armazenamento em nuvem, o armazenamento é de propriedade da AppsFlyer na AWS ou de sua propriedade na AWS ou no GCS. Você pode trocar para outra opção de armazenamento a qualquer momento.
Os dados no armazenamento são organizados em uma estrutura de pastas hierárquica, de acordo com o tipo de relatório, data e hora. A figura a seguir contém um exemplo dessa estrutura:
Os dados de um determinado relatório estão contidos nas pastas de hora (h) associadas a esse relatório:
- O número de pastas de hora depende da atualização dos dados do relatório (por hora ou diariamente).
- Os dados são fornecidos em arquivos compactados GZ com formato Parquet ou CSV.
- Os arquivos de dados consistem de colunas (campos).
- A estrutura do esquema (campo) dos relatórios das jornadas dos usuários é idêntica e depende dos campos selecionados por você. Cada um dos outros relatórios tem seus próprios campos explícitos, também conhecidos como relatórios sem esquema. Consulte os relatórios de anunciantes do Data Locker para obter os relatórios disponíveis e links para as especificações do relatório.
Estrutura de pastas
Pasta | Descrição |
---|---|
data-locker-hourly |
Exemplos de estrutura de pastas com base no proprietário do bucket e no provedor cloud
|
Tópico (t) | O tipo de relatório está relacionado ao assunto do relatório. |
Data (dt) |
Essa é a data dos dados relacionados. No caso de dados brutos, significa a data em que o evento ocorreu. No caso de dados agregados, a data do próprio relatório. |
Hora (h ou versão) |
As pastas de data são divididas em pastas por hora (h) ou versão, dependendo do tipo de relatório. Pastas por horaAs pastas h estão relacionadas ao horário em que os dados foram recebidos pela AppsFlyer. Por exemplo, eventos de instalação recebidos entre 14:00 e 15:00 UTC são gravados no arquivo h=14. Atenção! Há um atraso de cerca de 1 a 3 horas, entre o momento em que os dados chegam à AppsFlyer até que a pasta h seja registrada no Data Locker. Por exemplo, a pasta h=14 é escrita 1 hora depois às 15:00 UTC. Características da pasta por hora:
Pastas de versãoAlguns relatórios têm uma opção com controle de versão. Isso significa que os dados mais atualizados para um determinado dia são fornecidos várias vezes. Como os dados podem continuar a ser atualizados devido a dados que chegam atrasados ou dados mais precisos, o mesmo relatório tem várias versões em que a versão mais recente é a mais precisa. Os relatórios de um determinado dia estão contidos na pasta de versões daquele dia. Cada versão está contida em uma pasta separada cujo nome é definido usando um carimbo de data/hora Epoch que identifica exclusivamente o relatório. Seus processos de importação de dados devem considerar que os dados podem ser gravados retroativamente. Por exemplo, em 14 de janeiro, os dados podem ser gravados na pasta 1º de janeiro. Se o bucket for de sua propriedade, considere usar a notificação de serviço de nuvem para acionar o processo de importação (AWS | GCS) |
Segregação de aplicativos
Tipo de segregação | Descrição |
---|---|
[Padrão] Unificado |
Os dados de todos os aplicativos são fornecidos em arquivos de dados unificados. Ao consumir os dados, use o campo app_id no nível da linha para distinguir entre aplicativos. Exemplo de arquivos de dados estão na pasta h=2 A convenção de nomenclatura de arquivos de dados é unique_id.gz.
|
Segregado por aplicativo |
A pasta contém subpastas por aplicativo. Os arquivos de dados de um determinado aplicativo estão contidos na pasta do aplicativo. Na figura a seguir, a pasta h=19 contém pastas de aplicativos. Cada pasta do aplicativo contém os arquivos de dados associados. Atenção! Os arquivos de dados não contêm o app_id, você deve determinar o app_id usando a pasta. Em cada pasta do aplicativo, a convenção de nomenclatura é unique_id.gz:
Limitação: esta opção não está disponível para relatórios de People-Based Attribution. |
Arquivos de dados
Conteúdo | Detalhes | |
---|---|---|
Sinalização de conclusão |
O último sinalizador de arquivo (conclusão) é definido quando todos os dados de uma determinada pasta h tiverem sido gravados.
|
|
Tipos de arquivo |
|
|
Sequência de colunas (arquivos CSV) |
No caso de arquivos CSV, a sequência de campos nos relatórios é sempre a mesma. Quando adicionamos novos campos, eles são adicionados à direita dos campos existentes. Sobre isso:
|
|
Considerações sobre o preenchimento de campos |
Campos em branco ou vazios: alguns campos são preenchidos com nulo ou estão vazios. Isso significa que, no contexto de um certo relatório, não há dados a reportar. Em geral, nulo significa que esse campo não é preenchido no contexto de um determinado relatório e tipo de aplicativo. "" em branco significa que o campo é relevante em seu contexto, mas nenhum dado foi encontrado para preenchê-lo. No caso da fonte de mídia restrita, o conteúdo dos campos restritos é definido como nulo. No geral, considere nulo e em branco como a mesma coisa. Não há dados disponíveis. Fuso horário e moeda As configurações de fuso horário e moeda específicas do aplicativo não afetam os dados gravados no Data Locker. O seguinte se aplica:
Valores com vírgulas: essas vírgulas estão contidas entre aspas duplas `"`, por exemplo, |
Opções de armazenamento
Atenção!
Se você estiver usando a opção de armazenamento de propriedade do anunciante:
- Verifique se você está em conformidade com os regulamentos de privacidade de dados, como a GDPR e políticas de retenção de dados de ad network/SRN.
- Não use a solução de armazenamento de propriedade do anunciante para enviar dados a terceiros.
- Os dados são registrados em um proprietário de armazenamento de sua escolha da seguinte forma:
- Armazenamento da AppsFlyer
- Armazenamento do cliente—AWS ou GCS
- Você pode alterar a seleção de armazenamento a qualquer momento.
- Se você alterar o armazenamento, acontecerá o seguinte:
- Começamos a registrar no armazenamento recém-selecionado dentro de uma hora.
- Continuamos registrando no armazenamento existente durante um período de transição de 7 dias. O tempo de expiração do período de transição é exibido na interface do usuário. Use o período de transição para atualizar seus processos de carregamento de dados. Você pode reiniciar o período de transição ou reverter para o bucket da AppsFlyer, se necessário.
- Alterar buckets: se você alterar o armazenamento, os dados serão enviados para ambos por um período de transição de 7 dias, permitindo que você alinhe o processo de consumo de dados.
Armazenamento de propriedade da AppsFlyer (AWS) | Armazenamento de propriedade do anunciante (GCS ou AWS) | |
---|---|---|
Nome do repositório | Definido pela AppsFlyer |
Exemplo: |
Propriedade de armazenamento | AppsFlyer | Anunciante |
Plataforma de armazenamento | AWS | AWS, GCS, Snowflake |
Credenciais para acessar dados por você | Disponível na interface de usuário do Data Locker para os administradores da sua conta da AppsFlyer | Não conhecido pela AppsFlyer. Use as credenciais fornecidas pelo provedor da nuvem. |
Retenção de dados | Os dados são excluídos após 14 dias | Responsabilidade do anunciante |
Solicitações de exclusão de dados | Responsabilidade da AppsFlyer | Responsabilidade do anunciante |
Segurança | A AppsFlyer controla o armazenamento. O cliente tem acesso de leitura. |
O anunciante controla o armazenamento.
|
Capacidade de armazenamento | Gerenciado pela AppsFlyer | Gerenciado pelo anunciante |
Controle de acesso usando endpoints VPC com políticas de bucket | Não aplicável | [Opcional] No AWS, se você implementar a segurança de endpoint VPC no nível do bucket, será necessário dar permissão aos servidores da AppsFlyer. |
Aviso aos agentes de segurança no caso de armazenamento controlado pelo cliente
Considere:
- O bucket é para o uso exclusivo da AppsFlyer. Não deve haver outra entidade gravando no bucket.
- Você pode excluir dados no bucket 25 horas após gravarmos os dados.
- Os dados que gravamos no bucket são uma cópia dos dados que já estão em nossos servidores. Os dados continuam em nossos servidores de acordo com nossa política de retenção.
- Por motivos técnicos, às vezes excluímos e reescrevemos os dados. Por esse motivo, precisamos excluir e listar permissões. Nenhuma das permissões é um risco de segurança para você. No caso da lista, somos a única entidade que grava no repositório. No caso de exclusão, podemos regenerar os dados.
- Para obter informações adicionais, você pode entrar em contato com nossa equipe de segurança através do e-mail hello@appsflyer.com ou do seu CSM.
Procedimentos
Configure o Data Locker
Faça esse procedimento para configurar o Data Locker. As alterações nas configurações do Data Locker levam até 3 horas para entrar em vigor.
Pré-requisitos
Para configurar o armazenamento de propriedade do anunciante:
Se você estiver configurando o Data Locker usando o armazenamento de propriedade do anunciante, ou seja, um bucket de sua propriedade, conclua um dos seguintes procedimentos agora.
Atenção! Se você não tiver uma assinatura do Data Locker e acessar a análise de coortes ou os dados SKAN, deverá concluir um procedimento de armazenamento de propriedade do anunciante.
Para configurar o Data Locker:
- Um administrador precisa executar a configuração.
- Na AppsFlyer, vá para Integração > Data Locker.
-
Selecione um destino de dados de cloud service. Siga um dos procedimentos abaixo:
- Selecione o repositório AWS da AppsFlyer (opção disponível somente para assinantes do Data Locker.) Continue para a etapa 4.
- Selecione Seu bucket AWS.
- Insira o nome do seu bucket AWS. Não insira o prefixo
af-datalocker-
. - Clique em Testar.
- Verifique se uma mensagem de erro indicando que o caminho do bucket é inválido não é exibida.
- Insira o nome do seu bucket AWS. Não insira o prefixo
- Selecione Seu bucket GCS, insira seu nome do bucket GCS e, finalmente, clique em testar.
- Selecione a estrutura de pastas (segregação de dados):
- [Padrão] Unificado.
- Segregado por aplicativo.
- Selecione o formato do arquivo:
- [Padrão] Parquet.
- CSV.
- Selecione os aplicativos necessários. Selecione todos para incluir automaticamente aplicativos adicionados no futuro.
- Clique em Aplicar.
- [opcional] Fontes de mídia: selecione uma ou mais fontes de mídia para incluir nos relatórios.
- Default=Tudo. Isso significa que as fontes de mídia adicionadas no futuro serão automaticamente adicionadas.
- Selecione os tipos de relatório necessários. Você deve selecionar pelo menos 1.
- [opcional] Eventos in-app: Selecione os eventos in-app para incluir. Se você tiver mais de 100 tipos de eventos in-app, não será possível procurá-los. Digite seus nomes de maneira precisa para selecioná-los.
- Padrão=Tudo. Isso significa que os eventos no aplicativo adicionados no futuro serão adicionados automaticamente.
- Clique em Aplicar.
- [Opcional] Campos: selecione os campos a serem incluídos nos relatórios. Observação: às vezes, disponibilizamos campos adicionais. Leve isso em consideração no processo de importação de dados.
- Clique em Salvar configuração. Uma das opções seguintes ocorre:
- Se você selecionou o AWS bucket da AppsFlyer:
- Um AWS bucket dedicado é criado. As credenciais do bucket são exibidas.
- O repositório pode ser acessado com o uso das credenciais. As credenciais permitem acesso ao bucket somente para leitura.
- Se você selecionou Bucket do cliente: os dados serão gravados para o seu bucket dentro de 3 horas.
- Se você selecionou o AWS bucket da AppsFlyer:
Redefinir credenciais
Um administrador pode redefinir as credenciais do bucket da AppsFlyer a qualquer momento. Atenção! Se você redefinir as credenciais, deverá atualizar seus scripts de importação de dados com as credenciais atualizadas.
Para redefinir as credenciais:
- Na AppsFlyer, vá para Integração > Data Locker.
- Na seção Credenciais, clique em Redefinir credenciais.
Uma janela de confirmação é exibida. - Clique em Redefinir.
- Aguarde (cerca de 20 segundos) até que a mensagem Credenciais reiniciadas com sucesso apareça.
As credenciais atualizadas estarão disponíveis.
Informações adicionais
Características e Limitações
Característica | Observações |
---|---|
Ad Networks | Não deve ser usado por ad networks |
Agências | Não deve ser usado por agências |
Fuso horário específico do aplicativo | Não aplicável. As pastas do Data Locker são divididas em horas usando UTC. Os eventos reais contêm horários em UTC. Você pode converter os horários para qualquer outro fuso horário conforme necessário. Independentemente do fuso horário do aplicativo, o atraso da ocorrência do evento até que seja registrado no Data Locker permanece o mesmo. |
Moeda específica do aplicativo | Não suportado |
Limitações de tamanho | Não aplicável |
Atualização de dados | Os dados são atualizados de acordo com a atualização específica dos dados do relatório, detalhada neste artigo. |
Dados históricos | Não compatível. Se você precisar de dados históricos, alguns relatórios, mas não todos, estarão disponíveis por meio da Pull API. |
Acesso do usuário | Somente usuários da conta com permissões necessárias podem configurar o Data Locker. |
Aplicativo único/aplicativo múltiplo | Suporte para multiaplicativos. O Data Locker está no nível da conta |
Solução de problemas
- Sintoma: não é possível recuperar dados usando o AWS CLI
- Mensagem de erro: Ocorreu um erro (AccessDenied) ao chamar a operação ListObjectsV2: Acesso Negado
- Causa: as credenciais da AWS que estão sendo usadas não as credenciais corretas para o repositório da AppsFlyer. Isso pode ser causado por ter credenciais múltiplas ou inválidas na sua máquina.
-
Solução:
- Use um método diferente, como Cyberduck para acessar o bucket, ou seja, não a CLI. Faça isso para verificar se as credenciais que você está usando estão funcionando. Se você conseguir se conectar usando o Cyberduck, isso indica um problema no cache das credenciais.
-
Atualize o cache de credenciais do AWS.
Captura de tela do AWS
Recuperação de dados do AWS
Use sua ferramenta de recuperação de dados de AWS preferida, a AWS CLI ou uma das ferramentas descritas nas seções a seguir. Atenção! As instruções exatas são adequadas para buckets de propriedade da AppsFlyer. Ajuste as instruções conforme necessário se você estiver se conectando ao seu bucket.
CLI da AWS
Antes de começar:
- Instale a CLI da AWS no seu computador.
- Na AppsFlyer, acesse o Data Locker e recupere as informações contidas no painel de credenciais.
Para usar o AWS CLI:
- Abra o terminal. Para fazer isso no Windows, <Windows> + <R>, clique em OK.
A janela da linha de comando é aberta. - Digite aws configure.
- Digite a Chave de acesso da AWS como aparece no painel de credenciais.
- Digite sua chave secreta da AWS conforme aparece no painel de credenciais.
- Digite eu-west-1.
- Clique em Enter (Nenhum).
Use os comandos da CLI a seguir, conforme necessário.
Nos seguintes comandos, o valor de {home-folder} pode ser encontrado
Para listar pastas em seu bucket:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/
Para listar arquivos e pastas
Há três tipos de pastas no seu repositório do Data Locker:
- Tipo de relatório
t=
- Data
dt=
- Hora
h=
Para listar todos os relatórios de um tipo de relatório específico:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/
Para listar todos os relatórios de um tipo de relatório específico para um dia específico:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17
Para listar todos os relatórios de um relatório específico, em uma hora específica de um dia específico:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=instalações/dt=2019-01-17/h=23
Para fazer o download de arquivos de uma data específica:
aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/
Cyberduck
Antes de começar:
- Instale o cliente Cyberduck.
- Na AppsFlyer, acesse o Data Locker e recupere as informações contidas no painel de credenciais.
Para configurar o Cyberduck:
- No Cyberduck, clique em Ação.
- Selecione Novo Marcador. A janela será aberta.
- No primeiro campo, (marcado [1] na captura de tela a seguir), selecione Amazon S3.
- Preencha os campos da seguinte maneira:
- Apelido: texto livre
- Servidor: s3.amazonaws.com
- ID da chave de acesso: copie a chave de acesso da AWS como ela aparece no painel de credenciais na AppsFlyer
- Chave de acesso secreta: copie a chave secreta do bucket conforme ela aparece no painel de credenciais da AppsFlyer.
- Caminho (path): {Bucket Name}/{Home Folder} Por exemplo: af-ext-reports/1234-abc-ffffffff
- Feche a janela. Para fazer isso, use o X no canto superior direito da janela.
- Selecione a conexão.
Os diretórios de dados são exibidos.
Navegador Amazon S3
Antes de começar:
- Instale o navegador Amazon S3.
- Na AppsFlyer, acesse o Data Locker e recupere as informações contidas no painel de credenciais.
Para configurar o navegador Amazon S3:
- No navegador S3, clique em Contas > Adicionar Nova conta.
A janela Adicionar Nova Conta é aberta. - Preencha os campos da seguinte maneira:
- Nome da Conta: texto livre.
- ID da chave de acesso: copie a chave de acesso da AWS conforme exibida no painel de credenciais.
- Chave de acesso secreto: copie a Chave Secreta do repositório conforme ela aparece no painel de credenciais.
- Selecione Criptografar Chaves de Acesso com uma senha e insira uma senha. Anote esta senha.
- Selecione Usar transferência segura.
- Clique em Salvar alterações.
- Clique em Buckets > Adicionar BucketExterno.
A janela Adicionar Bucket Externo é aberta.
- Digite o nome do Repositório. O nome do Repositório tem o seguinte formato: {Bucket Name}/{Home Folder}. Os valores necessários para o nome do repositório e a pasta inicial aparecem na janela de credenciais.
- Clique em Adicionar repositório externo.
O repositório é criado e exibido no painel esquerdo da janela.
Agora você pode acessar os arquivos do Data Locker.