Data locker—configuração de armazenamento

Visão geral: transmita dados do Data Locker para seu armazenamento AWS ou GCS. Integre o GCS ao BigQuery e ao Google Data Studio. [Beta] Conecte-se ao Snowflake.

Transmita dados do Data Locker para o seu armazenamento

Leitura relacionada: Data Locker

O Data Locker permite que você transmita dados para a sua própria solução de armazenamento ou para uma solução de sua escolha. Configure seu armazenamento usando um dos procedimentos listados abaixo. 

Armazenamento GCS

  • Esse procedimento deve ser realizado pelo seu administrador do Google Cloud.
  • Você pode excluir arquivos do Data Locker que foram registrados após 25 horas ou mais. Não os exclua antes.

Informações para o administrador do GCS

O Data Locker é a solução da AppsFlyer para a transmissão de dados para armazenamento.

Requisitos

  • Crie um bucket no GCS para uso exclusivo do Data Locker. Exclusivo significa que nenhum outro serviço pode registrar dados nesse bucket. 
  • Nome sugerido para o bucket: af-datalocker.
  • Conceda permissões do Data Locker usando o procedimento a seguir.

Para conceder permissões no Data Locker:

Neste procedimento, substitua o data-locker-example usando o nome do bucket que você criou anteriormente para o Data Locker. 

  1. Faça login em seu console do GCS.
  2. Vá para o Armazenamento > Armazenamento > Navegador.

    mceclip0.png

  3. Selecione o bucket que você criou anteriormente, por exemplo, exemplo-de-data-locker
  4. Acesse a aba Permissões
  5. Clique em +Adicionar.
    A janela Adicionar membros é aberta.
  6. Preencha da seguinte forma:
    1. Novos membros, cole o trecho a seguir.
      af-data-delivery@af-raw-data.iam.gserviceaccount.com
    2. Selecione uma função: Armazenamento da nuvem > Administrador do objeto de armazenamento

      mceclip0.png

  7. Clique em Salvar

Armazenamento da AWS

  • Esse procedimento deve ser executado pelo seu administrador da AWS.
  • Você pode excluir arquivos do Data Locker 25 horas ou mais após eles terem sido registrados. Por favor, não os exclua antes. 

Informações para o administrador da AWS

O Data Locker é a solução da AppsFlyer para a transmissão de dados para armazenamento.

Requisitos

  • Crie um bucket da AWS com o nome af-datalocker-mybucket. O prefixo af-datalocker- é obrigatório. O sufixo é de texto livre.
  • Sugerimos af-datalocker-aaaa-mm-dd-hh-mm-texto-livre. Onde aaaa-mm-dd-hh-mm é a data e hora atuais, e você adiciona qualquer outro texto que desejar, conforme descrito na figura a seguir.

Interface do usuário no console da AWS

MyBucket.jpg

Depois de criar o bucket, conceda permissões para a AppsFlyer usando o procedimento a seguir. 

Para criar um intervalo e conceder permissões da AppsFlyer: 

  1. Faça login no console da AWS.
  2. Vá para o serviço S3.
  3. Para criar o bucket:
    1. Clique em Criar bucket.
    2. Preencha o Nome do bucket da seguinte maneira: comece com af-datalocker- e, em seguida, adicione qualquer outro texto conforme descrito anteriormente.
    3. Clique em Criar bucket.
  4. Para conceder permissões da AppsFlyer:
    1. Selecione o bucket. 
    2. Acesse a aba Permissões
    3. Na seção Política de bucket, clique em Editar. 
      A janela Política de bucket é aberta.
    4. Cole o seguinte trecho na janela.
      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "AF_DataLocker_Direct",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
            "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Resource": [
              "arn:aws:s3:::af-datalocker-my-bucket",
              "arn:aws:s3:::af-datalocker-my-bucket/*"
            ]
          }
        ]
      }
      
  5. No trecho, substitua af-data-locker-my-bucket pelo nome do bucket criado.

  6. Clique em Salvar alterações.

  7. Conclua o procedimento de configuração do Data Locker.

Guia básico para conectar o BigQuery e o Google Data Studio ao Data Locker

As seções a seguir são um guia básico para conectar seu GCS Data Locker ao BigQuery e ao Google Data Studio. O objetivo deles é permitir que você veja que a conexão é rápida, direta e pode ser usada imediatamente. A AppsFlyer não fornece serviços de suporte em relação ao BigQuery e ao Google Data Studio. 

Conectar o bucket GCS do Data Locker ao BigQuery

As etapas desta seção são um guia sobre como importar dados do seu Data Locker para o BigQuery. 

Leitura relacionada: Primeiros passos com o Google Cloud Console

Para carregar o relatório de instalações do seu bucket GCS do Data Locker no BigQuery, conclua os procedimentos a seguir.


Pré-requisitos 

  • Configure o Data Locker com o GCS como destino de armazenamento. 
  • Tenha as permissões necessárias no Google Cloud para configurar seu conjunto de dados. 


Etapa 1 —Crie um conjunto de dados BigQuery:

  1. No console do Google Cloud Platform, acesse o BigQuery.
  2. Crie um projeto ou use um projeto existente. 
  3. No projeto, clique em CRIAR CONJUNTO DE DADOS.

    GCSCreateDataSEt_1_.png

  4. Forneça um ID adequado para o conjunto de dados.
  5. Conclua as configurações restantes conforme solicitado. 


Etapa 2—Conecte uma tabela do BigQuery para o Data Locker:

  1. No conjunto de dados, clique em CRIAR TABELA.

    GCScreateTable.png

  2. Configure a fonte da seguinte forma:
    1. Criar tabela de: Google Cloud Storage
    2. Selecione o arquivo do bucket GCS: vá até o bucket e selecione um relatório. Por exemplo, t=installs. 
    3. Você pode definir um caractere especial para obter dados de todas as subpastas na pasta t=installs: basta definir o caractere especial *.gz. 
    4. Defina o formato do arquivo como CSV.
    5. Selecione um projeto existente ou insira um novo nome de projeto
    6. Definir Tipo de tabela como Tabela nativa

 

Etapa 3—Você está pronto para consultar seus dados 

Os dados são carregados automaticamente no BigQuery.

Exibir dados do Data Locker no Google Data Studio

Você pode conectar o Google Data Studio aos dados do Data Locker. Para fazer isso, você deve conectar o Data Locker ao BigQuery conforme descrito na seção anterior. 

Pré-requisitos

  • Conecte o Data Locker ao BigQuery. 

Para criar dados de exibição do Data Locker no Google Data Studio:

  1. Crie um relatório no Google Data Studio.
  2. Selecione BigQuery como fonte de dados.

    DataStudio.png

  3. Selecione um projeto e tabelas para o relatório do Google Data Studio e comece a analisar os dados.

Conectores

Snowflake

A opção Snowflake está disponível atualmente como beta. 

Conecte o Data Locker à sua conta Snowflake. Ao fazer isso, os dados são enviados para o Snowflake e continuam disponíveis no armazenamento em nuvem selecionado. Para participar do conector beta do Snowflake, entre em contato com seu CSM. 

Considerações para desenvolvedores de BI

  • A taxa de atualização de dados é a mesma dos dados fornecidos em um bucket. 
  • A estrutura de tabela e coluna dos dados é equivalente àquela encontrada nos dados disponíveis diretamente em um bucket de Data Locker. 
  • À medida que as linhas são adicionadas ao compartilhamento Snowflake, a coluna _ingestion_time é preenchida. Para garantir a exclusividade da linha e evitar a ingestão da mesma linha mais de uma vez:
    1. Salve o max_ingestion_time por tabela ingerida.
    2. Cada vez que você executar o processo de ingestão, você deve ingerir somente as linhas em que _ingestion_time > max_ingestion_time

Conclua os procedimentos a seguir para conectar o Snowflake ao Data Locker. 

Procedimentos do conector Snowflake

Para obter o ID e a região da sua conta Snowflake:

  1. No Snowflake, faça login na sua conta Snowflake.
  2. Na barra de menus, selecione seu nome.
    O ID da sua conta e a região são exibidas.

    SnowflakeAccountId.png

  3. Envie o ID e a região da sua conta Snowflake para o CSM da AppsFlyer e peça que ele habilite o Snowflake no seu Data Locker. 

Para conectar o Data Locker ao Snowflake:

  1. Na AppsFlyer, vá para Integração > Data Locker.
  2. Selecione Snowflake.
  3. Preencha o ID da conta Snowflake e a região do Snowflake usando as informações que você obteve anteriormente do Snowflake.
  4. Clique em Salvar.

Para criar um banco de dados a partir de um compartilhamento no Snowflake:

  1. No Snowflake, faça login na sua conta Snowflake.
  2. Mude a função para Accountadmin. Consulte Criar um banco de dados a partir de um compartilhamento.
  3. Selecione Compartilhamentos.
  4. Selecione o compartilhamento da AppsFlyer. Por exemplo, APPSFLYER_ACC_XXX_DATA_LOCKER. 
  5. Clique em Criar banco de dados a partir do compartilhamento seguro e preencha os detalhes necessários. Atenção! Você deve carregar os dados do banco de dados compartilhado em suas tabelas, pois os dados no banco de dados compartilhado só estão disponíveis por um período limitado (atualmente 14 dias).  
  6. Em seu banco de dados, as tabelas importadas são exibidas. Os nomes e estruturas das tabelas são equivalentes aos dos buckets do Data Locker.
Este artigo foi útil?