Data Locker—configuração do serviço de nuvem

Visão geral: configure seu serviço de nuvem para receber dados do Data Locker: GCS, AWS, BigQuery ou Snowflake.

O Data Locker permite que você transmita dados para sua solução de armazenamento selecionada e própria, seja um bucket ou data warehouse. Configure seu serviço de nuvem usando um dos procedimentos a seguir.

Armazenamento em nuvem com bucket

Armazenamento GCS

  • Esse procedimento deve ser realizado pelo seu administrador do Google Cloud.
  • Você pode excluir arquivos do Data Locker que foram registrados após 25 horas ou mais. Não os exclua antes.

Informações para o administrador do GCS

O Data Locker é a solução da AppsFlyer para a transmissão de dados para armazenamento.

Requisitos

  • Crie um bucket no GCS para uso exclusivo do Data Locker. Exclusivo significa que nenhum outro serviço pode registrar dados nesse bucket. 
  • Nome sugerido para o bucket: af-datalocker.
  • Conceda permissões do Data Locker usando o procedimento a seguir.

Para conceder permissões no Data Locker:

Neste procedimento, substitua o data-locker-example usando o nome do bucket que você criou anteriormente para o Data Locker. 

  1. Faça login em seu console do GCS.
  2. Vá para o Armazenamento > Armazenamento > Navegador.

    mceclip0.png

  3. Selecione o bucket que você criou anteriormente, por exemplo, exemplo-de-data-locker
  4. Acesse a aba Permissões
  5. Clique em +Adicionar.
    A janela Adicionar membros é aberta.
  6. Preencha da seguinte forma:
    1. Novos membros, cole o trecho a seguir.
      af-data-delivery@af-raw-data.iam.gserviceaccount.com
    2. Selecione uma função: Armazenamento da nuvem > Administrador do objeto de armazenamento

      mceclip0.png

  7. Clique em Salvar

Armazenamento da AWS

  • Esse procedimento deve ser executado pelo seu administrador da AWS.
  • Você pode excluir arquivos do Data Locker que foram registrados após 25 horas ou mais. Não os apague antes.

Informações para o administrador da AWS

O Data Locker é a solução da AppsFlyer para a transmissão de dados para armazenamento.

Requisitos

  • Criar um bucket da AWS com o nome de af-datalocker-mybucket. O prefixo af-datalocker- é obrigatório. O sufixo é de texto livre.
  • Sugerimos af-datalocker-aaaa-mm-dd-hh-mm-texto-livre. Onde aaaa-mm-dd-hh-mm é a data e hora atuais, e você adiciona qualquer outro texto que desejar, conforme descrito na figura a seguir.

Interface do usuário no console da AWS

MyBucket.jpg

Depois de criar o bucket, conceda permissões para a AppsFlyer usando o procedimento a seguir. 

Para criar um intervalo e conceder permissões da AppsFlyer: 

  1. Faça login no console da AWS.
  2. Vá para o serviço S3.
  3. Para criar o bucket:
    1. Clique em Criar bucket.
    2. Preencha o Nome do bucket da seguinte maneira: comece com af-datalocker- e, em seguida, adicione qualquer outro texto conforme descrito anteriormente.
    3. Clique em Criar bucket.
  4. Para conceder permissões da AppsFlyer:
    1. Selecione o bucket. 
    2. Acesse a aba Permissões
    3. Na seção Política de bucket, clique em Editar. 
      A janela Política de bucket é aberta.
    4. Cole o seguinte trecho na janela.
      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "AF_DataLocker_Direct",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
            "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Resource": [
              "arn:aws:s3:::af-datalocker-my-bucket",
              "arn:aws:s3:::af-datalocker-my-bucket/*"
            ]
          }
        ]
      }
      
  5. No snippet, substitua af-data-locker-my-bucket pelo nome do bucket criado.

  6. [Opcional] Adicione suporte para buckets criptografados KMS. Para isso, na seção Política de chaves , escolha Alterne para a exibição da política e cole o seguinte trecho de código na matriz da declaração.
    {
          "Sid": "Allow use of the key",
          "Effect": "Allow",
          "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
          },
          "Action": "kms:GenerateDataKey*",
          "Resource": "*"
      }
    
  7. Clique em Salvar alterações.
  8. Conclua o procedimento de configuração do Data Locker.

[Beta] Armazenamento Azure

  • O procedimento nesta seção precisa ser executado pelo administrador do Azure Cloud.
  • Você pode excluir arquivos do Data Locker que foram registrados após 25 horas ou mais. Não os exclua antes.

Informações para o administrador do Azure

O Data Locker é a solução da AppsFlyer para a transmissão de dados para a sua conta de armazenamento.

Para definir uma conta de armazenamento para o Data Locker:

  1. Vá para contas de armazenamento do Azure
  2. Crie uma nova conta de armazenamento para obter seus dados da Appsflyer
  3. Opcional: crie um novo grupo de recursos (se não existir nenhum grupo de recursos)
  4. Escolha uma assinatura, dê um nome à sua nova conta de armazenamento e escolha a região relevante
  5. Habilitar namespace hierárquico
  6. Entre em contato com seu CSM para habilitar o Azure no Data Locker (uma vez habilitado, você precisará do nome da conta de armazenamento acima e sua chave para inserir no assistente de nova conexão do Data Locker)

[Beta] Armazenamento em nuvem Yandex

  • O procedimento nesta seção precisa ser executado pelo administrador do Yandex Cloud.
  • Você pode excluir arquivos do Data Locker que foram registrados após 25 horas ou mais. Não os exclua antes.

Informações para o administrador do Yandex

O Data Locker é a solução da AppsFlyer para a transmissão de dados para armazenamento.

Para criar um bucket e conceder permissões do Data Locker:

  1. No console do Yandex Cloud, vá para a aba Contas de serviço e clique em Criar conta de serviço.
  2. Nomeie a conta de serviço, por exemplo, af-datalocker.
  3. Crie uma chave de acesso estática para a conta de serviço. Na conta de serviço:
    1. Clique em Criar uma nova chave.
    2. Selecione Criar chave de acesso estático.
    3. Salve o ID da chave e a chave secreta.
  4. Conceda a permissão storage.editor à sua nova conta de serviço .
    1. Nas configurações do bucket, vá para Acessar vínculos (Access Bindings) e clique em Atribuir vínculos (Assign bindings).
    2. Para sua nova conta de serviço, adicione a função storage.editor e clique em Salvar.
  5. Entre em contato com seu CSM da AppsFlyer para habilitar o Yandex no Data Locker.
  6. Depois de ativado, use o ID da chave e a chave secreta durante a configuração do Data Locker.

Armazenamento em nuvem com data warehouse

BigQuery

O procedimento nesta seção precisa ser executado pelo administrador do BigQuery.

Informações para o administrador do BigQuery

O Data Locker é a solução da AppsFlyer para a transmissão de dados para armazenamento.

Requisitos

  • Criar um conjunto de dados do BigQuery

Para criar um conjunto de dados do BigQuery: 

  1. No BigQuery, crie um projeto ou use um projeto existente. 
  2. No projeto, clique em CRIAR CONJUNTO DE DADOS.

    GCSCreateDataSEt_1_.png

  3. Forneça um ID adequado para o conjunto de dados.
  4. Conceda à AppsFlyer acesso ao conjunto de dados. Veja as instruções do BigQuery
  5. Conclua as configurações restantes conforme solicitado. 

Snowflake

Conecte o Data Locker à sua conta Snowflake. Ao fazer isso, os dados são enviados para o Snowflake e continuam disponíveis no armazenamento em nuvem selecionado.

Considerações para desenvolvedores de BI

  • A taxa de atualização de dados é a mesma dos dados fornecidos em um bucket. 
  • A estrutura de tabela e coluna dos dados é equivalente àquela encontrada nos dados disponíveis diretamente em um bucket de Data Locker. 
  • À medida que as linhas são adicionadas ao compartilhamento Snowflake, a coluna _ingestion_time é preenchida. Para garantir a exclusividade da linha e evitar a ingestão da mesma linha mais de uma vez:
    1. Salve o max_ingestion_time por tabela ingerida.
    2. Cada vez que você executar o processo de ingestão, você deve ingerir somente as linhas em que _ingestion_time > max_ingestion_time

Conclua os procedimentos a seguir para conectar o Snowflake ao Data Locker. 

Procedimentos do conector Snowflake

Para obter o ID e a região da sua conta Snowflake:

  1. No Snowflake, faça login na sua conta Snowflake.
  2. Na barra de menus, selecione seu nome.
    O ID da sua conta e a região são exibidas.

    SnowflakeAccountId.png

Para conectar o Data Locker ao Snowflake:

  1. Na AppsFlyer, acesse relatórios > Data Locker.
  2. Selecione Snowflake.
  3. Insira a região do Snowflake e o ID da conta do Snowflake usando as informações que você obteve anteriormente do Snowflake. 
  4. Clique em Salvar.

Para criar um banco de dados a partir de um compartilhamento no Snowflake:

  1. No Snowflake, faça login na sua conta Snowflake.
  2. Mude a função para Accountadmin. Consulte Criar um banco de dados a partir de um compartilhamento.
  3. Selecione Compartilhamentos.
  4. Selecione o compartilhamento da AppsFlyer. Por exemplo, APPSFLYER_ACC_XXX_DATA_LOCKER. 
  5. Clique em Criar banco de dados a partir do compartilhamento seguro e preencha os detalhes necessários. Atenção! Você deve carregar os dados do banco de dados compartilhado em suas tabelas, pois os dados no banco de dados compartilhado só estão disponíveis por um período limitado (atualmente 14 dias).  
  6. Em seu banco de dados, as tabelas importadas são exibidas. Os nomes e estruturas das tabelas são equivalentes aos dos buckets do Data Locker.