Visão geral: o Data Locker escreve seus dados de relatório no armazenamento em nuvem para que eles sejam carregados em seus sistemas de BI. Você pode selecionar entre diferentes destinos de armazenamento: um bucket de propriedade da AppsFlyer na AWS ou armazenamento de sua propriedade na AWS, GCS, Yandex, BigQuery e Snowflake. O Data Locker é compatível com destinos múltiplos. Isso significa que você pode enviar todos os dados para múltiplos destinos, segregar dados por destino, ou uma combinação de ambos.
Data Locker
No Data Locker, selecione seus aplicativos, fontes de mídia, eventos e relatórios a serem incluídos nos dados que a Appsflyer entrega para as suas opções selecionadas de armazenamento em nuvem. Em seguida, carregue dados programaticamente do armazenamento em seus sistemas.
Bloqueio de dados—recursos
Recurso | Descrição |
---|---|
Opções de armazenamento (nuvem) |
O Data Locker pode enviar seus dados para qualquer um dos seguintes provedores de serviços na nuvem:
Você pode definir mais de um destino no Data Locker. Isso significa que você pode enviar todos ou alguns de seus dados para diferentes destinos. Exemplos
|
Multiaplicativos |
Envie dados de 1, mais ou todos os aplicativos na sua conta. Quando você adiciona aplicativos à conta, eles podem ser incluídos automaticamente. |
Janela de disponibilidade |
14 dias |
Segregação de dados |
Opções de segregação de dados disponíveis (relevantes para armazenamento em bucket na nuvem):
|
Opções de formato de dados |
|
Atualização de dados |
A atualização depende do tipo de relatório
|
Relatórios disponíveis via Data Locker
Arquitetura de armazenamento de dados
Visão geral
A estrutura dos dados no armazenamento depende de se os dados são enviados para armazenamento em nuvem ou para um data warehouse. A estrutura de pastas descrita aqui se aplica ao armazenamento (repositórios). No caso de armazenamento em data warehouse, considere que a referência a pastas se aplica a exibições. Confira o Snowflake.
Os dados são registrados na opção de armazenamento selecionada por você. No caso de armazenamento em nuvem, o armazenamento é de propriedade da AppsFlyer na AWS ou de sua propriedade na AWS, GCS ou Yandex. Você pode mudar as opções de armazenamento a qualquer momento ou enviar alguns ou todos os seus dados para múltiplas opções de armazenamento.
Os dados no armazenamento em bucket na nuvem são organizados em uma estrutura de pastas hierárquica, de acordo com o tipo de relatório, data e hora. A figura a seguir contém um exemplo dessa estrutura:
Os dados de um determinado relatório estão contidos nas pastas de hora (h) associadas a esse relatório:
- O número de pastas de hora depende da atualização dos dados do relatório (por hora ou diariamente).
- Os dados são fornecidos em arquivos compactados Snappy ou GZIP, ou arquivos não compactados, com formato Parquet ou CSV.
- Os arquivos de dados consistem de colunas (campos).
- A estrutura do esquema (campo) dos relatórios de jornada do usuário é idêntica entre si e depende dos campos selecionados por você. Cada um dos outros relatórios tem seus próprios campos explícitos, também conhecidos como relatórios sem esquema. Consulte os relatórios de marketing do Data Locker para ver relatórios disponíveis e links para as especificações do relatório.
Estrutura de pastas
Pasta | Descrição |
---|---|
ID da assinatura |
Exemplos de estrutura de pastas com base no proprietário do bucket e no provedor cloud
|
Tópico (t) | O tipo de relatório está relacionado ao assunto do relatório. |
Data (dt) |
Essa é a data dos dados relacionados. No caso de dados brutos, significa a data em que o evento ocorreu. No caso de dados agregados, a data do próprio relatório. |
Hora (h ou versão) |
As pastas de data são divididas em pastas por hora (h) ou versão, dependendo do tipo de relatório. Pastas por horaAs pastas h estão relacionadas ao horário em que os dados foram recebidos pela AppsFlyer. Por exemplo, eventos de instalação recebidos entre 14:00 e 15:00 UTC são gravados no arquivo h=14. Atenção! Há um atraso de cerca de 1 a 3 horas, entre o momento em que os dados chegam à AppsFlyer até que a pasta h seja registrada no Data Locker. Por exemplo, a pasta h=14 é escrita 1 hora depois às 15:00 UTC. Características da pasta por hora:
Pastas de versãoAlguns relatórios têm uma opção com controle de versão. Isso significa que os dados mais atualizados para um determinado dia são fornecidos várias vezes. Como os dados podem continuar a ser atualizados devido a dados que chegam atrasados ou dados mais precisos, o mesmo relatório tem várias versões em que a versão mais recente é a mais precisa. Os relatórios de um determinado dia estão contidos na pasta de versões daquele dia. Cada versão está contida em uma pasta separada cujo nome é definido usando um carimbo de data/hora Epoch que identifica exclusivamente o relatório. Seus processos de importação de dados devem considerar que os dados podem ser gravados retroativamente. Por exemplo, em 14 de janeiro, os dados podem ser gravados na pasta 1º de janeiro. Se o bucket for de sua propriedade, considere usar a notificação de serviço de nuvem para acionar o processo de importação (AWS | GCS) |
Segregação de aplicativos
Tipo de segregação | Descrição |
---|---|
[Padrão] Unificado |
Os dados de todos os aplicativos são fornecidos em arquivos de dados unificados. Ao consumir os dados, use o campo app_id no nível da linha para distinguir entre aplicativos. Exemplo de arquivos de dados estão na pasta h=2 A convenção de nomenclatura de arquivos de dados é unique_id.gz.
|
Segregado por aplicativo |
A pasta contém subpastas por aplicativo. Os arquivos de dados de um determinado aplicativo estão contidos na pasta do aplicativo. Na figura a seguir, a pasta h=19 contém pastas de aplicativos. Cada pasta do aplicativo contém os arquivos de dados associados. Atenção! Os arquivos de dados não contêm o app_id, você deve determinar o app_id usando a pasta. Em cada pasta do aplicativo, a convenção de nomenclatura é unique_id.gz:
Limitação: esta opção não está disponível para relatórios de People-Based Attribution. |
Arquivos de dados
Os arquivos de dados dependem do tipo de segregação.
Conteúdo | Detalhes | |
---|---|---|
Sinalização de conclusão |
O último sinalizador de arquivo (conclusão) é definido quando todos os dados de uma determinada pasta h tiverem sido gravados.
|
|
Tipos de arquivo |
|
|
Sequência de colunas (arquivos CSV) |
No caso de arquivos CSV, a sequência de campos nos relatórios é sempre a mesma. Quando adicionamos novos campos, eles são adicionados à direita dos campos existentes. Sobre isso:
|
|
Considerações sobre o preenchimento de campos |
Campos em branco ou vazios: alguns campos são preenchidos com nulo ou estão vazios. Isso significa que, no contexto de um certo relatório, não há dados a reportar. Em geral, nulo significa que esse campo não é preenchido no contexto de um determinado relatório e tipo de aplicativo. "" em branco significa que o campo é relevante em seu contexto, mas nenhum dado foi encontrado para preenchê-lo. No caso da fonte de mídia restrita, o conteúdo dos campos restritos é definido como nulo. No geral, considere nulo e em branco como a mesma coisa. Não há dados disponíveis. Fuso horário e moeda As configurações de fuso horário e moeda específicas do aplicativo não afetam os dados gravados no Data Locker. O seguinte se aplica:
Valores com vírgulas: essas vírgulas estão contidas entre aspas duplas `"`, por exemplo, |
Opções de armazenamento
Atenção!
Se você estiver usando a opção de armazenamento própria do profissional de marketing:
- Verifique se você está em conformidade com os regulamentos de privacidade de dados, como a GDPR e políticas de retenção de dados de ad network/SRN.
- Não use a solução de armazenamento própria do profissional de marketing para para enviar dados a terceiros.
- Os dados são registrados em um proprietário de armazenamento de sua escolha da seguinte forma:
- Armazenamento da AppsFlyer
- Armazenamento do cliente — AWS, GCS, Azure, Yandex, BigQuery e Snowflake
- Você pode alterar a seleção de armazenamento a qualquer momento.
- Se você alterar o armazenamento, acontecerá o seguinte:
- Começamos a registrar no armazenamento recém-selecionado dentro de uma hora.
- Continuamos registrando no armazenamento existente durante um período de transição de 7 dias. O tempo de expiração do período de transição é exibido na interface do usuário. Use o período de transição para atualizar seus processos de carregamento de dados. Você pode reiniciar o período de transição ou reverter para o bucket da AppsFlyer, se necessário.
- Mudança de armazenamento: você pode migrar de uma opção de armazenamento para outra usando a opção de multi-armazenamento e enviando dados para múltiplos destinos simultaneamente. Uma vez concluídos a migração e os testes, exclua a opção de armazenamento de que você não precisa mais.
Armazenamento de propriedade da AppsFlyer (AWS) | Armazenamento de propriedade do profissional de marketing (GCS, AWS, Azure, Yandex, BigQuery, Snowflake) | |
---|---|---|
Nome do repositório | Definido pela AppsFlyer |
Exemplo: |
Propriedade de armazenamento | AppsFlyer | Profissional de marketing |
Plataforma de armazenamento | AWS | AWS, GCS, Azure, Yandex, BigQuery, Snowflake |
Credenciais para acessar dados por você | Disponível na interface de usuário do Data Locker para os administradores da sua conta da AppsFlyer | Não conhecido pela AppsFlyer. Use as credenciais fornecidas pelo provedor da nuvem. |
Retenção de dados | Os dados são excluídos após 14 dias | Responsabilidade do profissional de marketing |
Solicitações de exclusão de dados | Responsabilidade da AppsFlyer | Responsabilidade do profissional de marketing |
Segurança | A AppsFlyer controla o armazenamento. O cliente tem acesso de leitura. |
O profissional de marketing controla o armazenamento
|
Capacidade de armazenamento | Gerenciado pela AppsFlyer | Gerenciado pelo profissional de marketing |
Controle de acesso usando endpoints VPC com políticas de bucket | Não aplicável | [Opcional] No AWS, se você implementar a segurança de endpoint VPC no nível do bucket, será necessário dar permissão aos servidores da AppsFlyer. |
Aviso aos agentes de segurança no caso de armazenamento controlado pelo cliente
Considere:
- O repositório ou destino é para o uso exclusivo da AppsFlyer. Não deve haver outra entidade gravando em um determinando destino.
- Você pode excluir dados no destino 25 horas após gravarmos os dados.
- Os dados que gravamos no destino são uma cópia dos dados que já estão em nossos servidores. Os dados continuam em nossos servidores de acordo com nossa política de retenção.
- Por motivos técnicos, às vezes excluímos e reescrevemos os dados. Por isso, precisamos excluir e listar permissões. Nenhuma das permissões é um risco de segurança para você. No caso da lista, somos a única entidade que grava no bucket. No caso de exclusão, podemos regenerar os dados.
- Para obter informações adicionais, você pode entrar em contato com nossa equipe de segurança através do e-mail hello@appsflyer.com ou do seu CSM.
Princípios de conexões múltiplas (mais de um destino)
No Data Locker você pode enviar alguns ou todos os seus dados para dois destinos (definidos nas configurações de conexão). Por exemplo, você pode enviar dados do App A para AWS, e dados do App B para GCS.
Cada conexão consiste em um conjunto completo de configurações do Data Locker, incluindo um destino. As configurações de conexão são independentes umas das outras.
Ao administrar suas conexões, considere:
- Nas configurações do Data Locker, as conexões são mostradas em abas. Cada conexão tem sua própria aba de configurações a partir da qual você pode gerenciar a conexão. O ícone de cada aba representa o tipo de armazenamento.
- Para ver os detalhes da conexão, duplicar uma conexão, ou excluir uma conexão, clique em ⋮ (opções).
Procedimentos
Configure o Data Locker
Faça esse procedimento para configurar o Data Locker. As alterações nas configurações do Data Locker levam até 3 horas para entrar em vigor.
Pré-requisitos
Para criar um armazenamento próprio do profissional de marketing:
Se você estiver configurando o Data Locker usando um serviço de armazenamento em nuvem de propriedade do profissional de marketing, conclua um ou mais dos seguintes procedimentos agora.
- Configure:
Atenção! Se você não tiver uma assinatura do Data Locker e tentar acessar a análise de coorte ou os dados da SKAN, você deve completar um procedimento de armazenamento em nuvem de propriedade do profissional de marketing.
Para configurar o Data Locker:
- Um administrador precisa executar a configuração.
- Na AppsFlyer, vá para Integração > Data Locker.
- [Opcional] Se você já tiver um destino ativo do Data Locker e quiser adicionar um destino, clique em Adicionar conexão. Dê um nome à sua conexão.
-
Selecione um destino de dados de cloud service. Siga um dos procedimentos abaixo:
- Selecione o bucket AppsFlyer AWS (opção disponível apenas para assinantes do Data Locker). Clique em Salvar e vá para a etapa 5.
- Selecione S3.
- Insira o nome do seu bucket S3 da AWS. O prefixo
af-
é obrigatório e deve ser inserido manualmente. - Clique em Testar conexão.
- Verifique se uma mensagem de erro indicando que o caminho do bucket é inválido não é exibida.
- Selecione se deseja tornar esta conexão compatível com a Adobe Experience Platform. Se selecionado, clique em Salvar e continue na Etapa 6.
- Clique em Salvar.
- Insira o nome do seu bucket S3 da AWS. O prefixo
- Selecione GCS.
- Insira o nome do bucket do GCS.
- Clique em Testar conexão.
- Verifique se uma mensagem de erro indicando que o caminho do bucket é inválido não é exibida.
- Selecione se deseja tornar esta conexão compatível com a Adobe Experience Platform.Se selecionado, clique em Salvar e continue na Etapa 6.
- Clique em Salvar.
- [Beta] Select Azure.
- Insira seu Nome de conexão, Nome da conta de armazenamento e Chave.
- Verifique se uma mensagem de erro indicando que o caminho do bucket é inválido não é exibida.
- Selecione se deseja tornar esta conexão compatível com a Adobe Experience Platform.Se selecionado, clique em Salvar e continue na Etapa 6.
- Clique em Salvar.
- [Beta] Selecione Yandex.
- Insira o nome do bucket, a chave de acessoe a chave secreta.
- Verifique se uma mensagem de erro indicando que o caminho do bucket é inválido não é exibida.
- Selecione se deseja tornar esta conexão compatível com a Adobe Experience Platform.Se selecionado, clique em Salvar e continue na Etapa 6.
- Clique em Salvar.
- Selecione BigQuery.
- Insira o ID do projeto do BigQuery e o nome do conjunto de dados.
- Clique em Testar conexão.
- Verifique se uma mensagem de erro indicando que o caminho do bucket é inválido não é exibida.
- Clique em Salvar e continue na Etapa 6.
- Selecione Snowflake.
- Insira sua região do Snowflake e o ID da conta.
- Clique em Testar conexão.
- Verifique se uma mensagem de erro indicando que o caminho do bucket é inválido não é exibida.
- Clique em Salvar e continue na Etapa 6.
- Conclua a seção Configurações dos dados:
- Selecione o formato de arquivo desejado:
- [Padrão] Parquet
- CSV
- Selecione o tipo de compactação de arquivo que você deseja:
- Snappy (disponível apenas para arquivos Parquet)
- GZIP
- Descompactado
- Selecione o máximo de linhas que deseja em seu arquivo: 10k, 25k, 50, 100k, 200k ou 500k. Mais linhas no arquivo significa menos arquivos, mas um tamanho de arquivo maior.
- Selecione a estrutura de pastas (segregação de dados):
- [Padrão] Unificado
- Segregado por aplicativo
- Selecione o formato de arquivo desejado:
- Complete a seção de conteúdo do Data Locker:
- Selecione um ou mais aplicativos para incluir nos relatórios. Selecione tudo para incluir automaticamente os aplicativos adicionados no futuro.
- Clique em Aplicar.
- [Opcional] Selecione uma ou mais fontes de mídia para incluir nos relatórios.
- Default=Tudo. Isso significa que as fontes de mídia adicionadas no futuro serão automaticamente adicionadas.
- Clique em Aplicar.
- [Opcional] Selecione os campos a serem incluídos nos relatórios. Observação: às vezes disponibilizamos campos adicionais. Leve isso em consideração no processo de importação de dados.
- Clique em Aplicar.
- Selecione os tipos de relatório. Você deve selecionar pelo menos 1.
- [Opcional] Para o relatório de eventos in-app, selecione os eventos in-app a serem incluídos. Se você tiver mais de 100 tipos de eventos in-app, não será possível procurá-los. Digite seus nomes de maneira precisa para selecioná-los.
- Padrão=Tudo. Isso significa que os eventos no aplicativo adicionados no futuro serão adicionados automaticamente.
- Clique em Aplicar.
- Clique em Salvar conexão. Uma das opções seguintes ocorre:
- Se você selecionou o AWS bucket da AppsFlyer:
- Um AWS bucket dedicado é criado. As credenciais do bucket são exibidas.
- O repositório pode ser acessado com o uso das credenciais. As credenciais permitem acesso ao bucket somente para leitura.
- Se você selecionou um de seus serviços de armazenamento em nuvem: os dados serão gravados em seu serviço em até 3 horas.
- Se você selecionou o AWS bucket da AppsFlyer:
Redefinir credenciais
Um administrador pode redefinir as credenciais do bucket da AppsFlyer a qualquer momento. Atenção! Se você redefinir as credenciais, deverá atualizar seus scripts de importação de dados com as credenciais atualizadas.
Para redefinir as credenciais do armazenamento de propriedade da AppsFlyer:
- Na AppsFlyer, vá para Integração > Data Locker.
- Selecione o destino de propriedade da AppsFlyer.
- Na seção Credenciais, clique em Redefinir credenciais.
Uma janela de confirmação é exibida. - Clique em Redefinir.
- Aguarde (cerca de 20 segundos) até que a mensagem Credenciais reiniciadas com sucesso apareça.
As credenciais atualizadas estarão disponíveis.
Informações adicionais
Características e Limitações
Característica | Observações |
---|---|
Ad Networks | Não deve ser usado por ad networks |
Agências | Não deve ser usado por agências |
Fuso horário específico do aplicativo | Não aplicável. As pastas do Data Locker são divididas em horas usando UTC. Os eventos reais contêm horários em UTC. Você pode converter os horários para qualquer outro fuso horário conforme necessário. Independentemente do fuso horário do aplicativo, o atraso da ocorrência do evento até que seja registrado no Data Locker permanece o mesmo. |
Moeda específica do aplicativo | Não suportado |
Limitações de tamanho | Não aplicável |
Atualização de dados | Os dados são atualizados de acordo com a atualização específica dos dados do relatório, detalhada neste artigo. |
Dados históricos | Não compatível. Se você precisar de dados históricos, alguns relatórios, mas não todos, estarão disponíveis por meio da Pull API. |
Dados restritos | Os campos em alguns relatórios são restritos devido a limitações de privacidade. Saiba mais |
Acesso do usuário | Somente usuários da conta com permissões necessárias podem configurar o Data Locker. |
Aplicativo único/aplicativo múltiplo | Suporte para multiaplicativos. O Data Locker está no nível da conta |
Solução de problemas
- Sintoma: não é possível recuperar dados usando o AWS CLI
- Mensagem de erro: Ocorreu um erro (AccessDenied) ao chamar a operação ListObjectsV2: Acesso Negado
- Motivo: as credenciais AWS que estão sendo usadas não são as credenciais corretas para o bucket da AppsFlyer. Isso pode ser causado por ter credenciais múltiplas ou inválidas no seu dispositivo.
-
Solução:
- Use um método diferente, como Cyberduck para acessar o bucket, ou seja, não a CLI. Faça isso para verificar se as credenciais que você está usando estão funcionando. Se você conseguir se conectar usando o Cyberduck, isso indica um problema no cache das credenciais.
-
Atualize o cache de credenciais do AWS.
Captura de tela do AWS
Recuperação de dados do AWS
Use sua ferramenta de recuperação de dados de AWS preferida, a AWS CLI ou uma das ferramentas descritas nas seções a seguir. Atenção! As instruções exatas são adequadas para buckets de propriedade da AppsFlyer. Ajuste as instruções conforme necessário se você estiver se conectando ao seu bucket.
CLI da AWS
Antes de começar:
- Instale a CLI da AWS no seu computador.
- Na AppsFlyer, acesse o Data Locker e recupere as informações contidas no painel de credenciais.
Para usar o AWS CLI:
- Abra o terminal. Para fazer isso no Windows, <Windows> + <R>, clique em OK.
A janela da linha de comando é aberta. - Digite aws configure.
- Digite a Chave de acesso da AWS como aparece no painel de credenciais.
- Digite sua chave secreta da AWS conforme aparece no painel de credenciais.
- Digite eu-west-1.
- Clique em Enter (Nenhum).
Use os comandos da CLI a seguir, conforme necessário.
Nos seguintes comandos, o valor de {home-folder} pode ser encontrado
Para listar pastas em seu bucket:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/
Para listar arquivos e pastas
Há três tipos de pastas no seu repositório do Data Locker:
- Tipo de relatório
t=
- Data
dt=
- Hora
h=
Para listar todos os relatórios de um tipo de relatório específico:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/
Para listar todos os relatórios de um tipo de relatório específico para um dia específico:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17
Para listar todos os relatórios de um relatório específico, em uma hora específica de um dia específico:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=instalações/dt=2019-01-17/h=23
Para fazer o download de arquivos de uma data específica:
aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/
Cyberduck
Antes de começar:
- Instale o cliente Cyberduck.
- Na AppsFlyer, acesse o Data Locker e recupere as informações contidas no painel de credenciais.
Para configurar o Cyberduck:
- No Cyberduck, clique em Ação.
- Selecione Novo Marcador. A janela será aberta.
- No primeiro campo (marcado [1] na captura de tela abaixo), selecione Amazon S3.
- Preencha os campos da seguinte maneira:
- Apelido: texto livre
- Servidor: s3.amazonaws.com
- ID da chave de acesso: copie a chave de acesso da AWS como ela aparece no painel de credenciais na AppsFlyer
- Chave de acesso secreta: copie a chave secreta do bucket conforme ela aparece no painel de credenciais da AppsFlyer.
- Caminho (path): {Bucket Name}/{Home Folder} Por exemplo: af-ext-reports/1234-abc-ffffffff
- Feche a janela. Para fazer isso, clique no X no canto superior direito da janela.
- Selecione a conexão.
Os diretórios de dados são exibidos.
Navegador Amazon S3
Antes de começar:
- Instale o navegador Amazon S3.
- Na AppsFlyer, acesse o Data Locker e recupere as informações contidas no painel de credenciais.
Para configurar o navegador Amazon S3:
- No navegador S3, clique em Contas > Adicionar Nova conta.
A janela Adicionar Nova Conta é aberta. - Preencha os campos da seguinte maneira:
- Nome da Conta: texto livre.
- ID da chave de acesso: copie a chave de acesso da AWS conforme exibida no painel de credenciais.
- Chave de acesso secreto: copie a Chave Secreta do repositório conforme ela aparece no painel de credenciais.
- Selecione Criptografar Chaves de Acesso com uma senha e insira uma senha. Anote esta senha.
- Selecione Usar transferência segura.
- Clique em Salvar alterações.
- Clique em Buckets > Adicionar BucketExterno.
A janela Adicionar Bucket Externo é aberta.
- Digite o nome do Repositório. O nome do Repositório tem o seguinte formato: {Bucket Name}/{Home Folder}. Os valores necessários para o nome do repositório e a pasta inicial aparecem na janela de credenciais.
- Clique em Adicionar repositório externo.
O repositório é criado e exibido no painel esquerdo da janela.
Agora você pode acessar os arquivos do Data Locker.