Data Locker—configuração de serviços de nuvem

• Esse procedimento deve ser realizado pelo seu administrador do Google Cloud.
• Você pode excluir arquivos do Data Locker que foram registrados após 25 horas ou mais. Não os exclua antes.

Informações para o administrador do GCS

O Data Locker é a solução da AppsFlyer para a transmissão de dados para armazenamento.

Requisitos

• Crie um bucket no GCS para uso exclusivo do Data Locker. Exclusivo significa que nenhum outro serviço pode registrar dados nesse bucket.   
• Nome sugerido para o bucket: af-datalocker.
• Conceda permissões do Data Locker usando o procedimento a seguir.

Para conceder permissões no Data Locker:

Neste procedimento, substitua data-locker-example usando o nome do bucket que você criou anteriormente para o Data Locker. 

1. Faça login em seu console do GCS.
2. Vá para Storage > Storagebrowser.
   

   

3. Selecione o bucket que você criou anteriormente, por exemplo, data-locker-example. 
4. Acesse a aba Permissions. 
5. Clique em +Add.
   A janela para adicionar membros é aberta.
6. Preencha da seguinte forma:
   1. Para novos membros, cole o snippet a seguir.

      af-data-delivery@af-raw-data.iam.gserviceaccount.com

   2. Selecione uma função: Cloud storage > Storage Object Admin. 
      

      

7. Clique em Save. 

• Esse procedimento deve ser executado pelo seu administrador da AWS.
• Você pode excluir arquivos do Data Locker que foram registrados após 25 horas ou mais. Não os apague antes.

Informações para o administrador da AWS

O Data Locker é a solução da AppsFlyer para a transmissão de dados para armazenamento.

Requisitos

• Criar um bucket da AWS com o nome de af-datalocker-mybucket. O prefixo af-datalocker- é obrigatório. O sufixo é de texto livre.
• Sugerimos af-datalocker-aaaa-mm-dd-hh-mm-texto-livre. Onde aaaa-mm-dd-hh-mm é a data e hora atuais, e você adiciona qualquer outro texto que desejar, conforme descrito na figura a seguir.

Interface do usuário no console da AWS

Depois de criar o bucket, conceda permissões para a AppsFlyer usando o procedimento a seguir.   

Para criar um bucket e conceder permissões da AppsFlyer: 

1. Faça login no console da AWS.
2. Vá para o serviço S3.
3. Para criar o bucket:
   1. Clique em Create bucket.
   2. Preencha o Bucket name da seguinte forma: Comece com af-datalocker- e depois adicione qualquer outro texto conforme descrito anteriormente.
   3. Especifique uma das regiões disponíveis no AWS .
   4. Clique em Create bucket.
4. Para conceder permissões à AppsFlyer:
   1. Selecione o bucket.  
   2. Vá para Permissions. 
   3. Em Bucket policy, clique em Edit. 
      A janela Bucket policy se abre.
   4. Cole o seguinte snippet na janela.

      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "AF_DataLocker_Direct",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
            "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Resource": [
              "arn:aws:s3:::af-datalocker-my-bucket",
              "arn:aws:s3:::af-datalocker-my-bucket/*"
            ]
          }
        ]
      }
      

5. No snippet, substitua af-data-locker-my-bucket pelo nome do bucket que você criou.

6. [Opcional] Adicione suporte para buckets criptografados KMS. Para isso, em Key Policy, selecione Switch to policy view e cole o seguinte snippet em Statement array.
   

   {
         "Sid": "Allow use of the key",
         "Effect": "Allow",
         "Principal": {
             "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
         },
         "Action": "kms:GenerateDataKey*",
         "Resource": "*"
     }
   

7. Clique em Save changes.
8. Conclua o procedimento de configuração do Data Locker.

Regiões disponíveis no AWS

No AWS, o Data Locker funciona nas seguintes regiões:

• Ásia-Pacífico (Tóquio): ap-northeast-1
• Ásia-Pacífico (Seul): ap-northeast-2
• Ásia-Pacífico (Mumbai): ap-south-1
• Ásia-Pacífico (Cingapura): ap-southeast-1
• Ásia-Pacífico (Sydney): ap-southeast-2
• Canadá (Central): ca-central-1
• UE (Frankfurt): eu-central-1
• UE (Irlanda): eu-west-1
• UE (Londres): eu-west-2
• América do Sul (São Paulo): sa-east-1
• Leste dos EUA (Virgínia do Norte): us-east-1
• Leste dos EUA (Ohio): us-east-2
• Oeste dos EUA (Califórnia do Norte): us-west-1
• Oeste dos EUA (Oregon): us-west-2

• O procedimento deve ser feito pelo administrador do Azure Cloud.
• Você pode excluir arquivos do Data Locker que foram registrados após 25 horas ou mais. Não os exclua antes.

Informações para o administrador do Azure

O Data Locker é a solução da AppsFlyer para o envio de dados para a sua conta de armazenamento.

Para definir uma conta de armazenamento para o Data Locker:

1. No seu portal do Azure, vá para Azure storage accounts e clique em Create to criar uma nova conta e receber dados da Appsflyer.
2. Na aba Basic -> Project details , selecione a partir das opções:
   1. Um Subscription. 
   2. Um Resource Group.
      Opcional: se não houver nenhum grupo de recursos, clique em Create new para criar um novo.
3. Em Instance details:
   1. Digite um nome para a conta de armazenamento.
   2. Selecione uma região no menu suspenso.
4. Clique em Next: Advanced > 
5. Na aba  Security, selecione Enable Hierarchical namespace.
6. Clique em Review -> Create.
7. Feito isso, volte para suas contas de armazenamento do Azure e selecione a conta recém-criada.
8. Vá para Access keys e copie seu nome da conta de armazenamento e uma das suas chaves. 
9. Vá para Storage browser -> Blob containers e clique em Add container.
   
   1. Digite um nome para o novo container.
   2. Clique em Create.
10. Entre em contato com seu CSM para ativar o Azure no Data Locker.
11. Feito isso, na AppsFlyer, vá para Data Locker -> Nova conexão.
12. Na nova conexão:
    1. escolha um nome para a sua conexão.
    2. Selecione Azure Blob.
    3. Digite seu nome do container do Azure no campo nome do bucket (que você escolheu na etapa 9).
    4. Digite seu nome da conta de armazenamento copiado da etapa 8.
    5. Digite sua chave copiada da etapa 8.
    6. Clique em testar conexão.
    7. Salve.

• O procedimento deve ser feito pelo administrador do Yandex Cloud.
• Você pode excluir arquivos do Data Locker que foram registrados após 25 horas ou mais. Não os exclua antes.

Informações para o administrador do Yandex

O Data Locker é a solução da AppsFlyer para a transmissão de dados para armazenamento.

Para criar um bucket e conceder permissões do Data Locker:

1. Em seu console do Yandex Cloud, vá para a aba Service Accounts e clique em Create service account.
2. Dê um nome para a conta, por exemplo, af-datalocker.
3. Crie uma chave de acesso estática para a conta de serviço. Na conta de serviço:
   1. Clique em Create a new key.
   2. SelecioneCreate static access key.
   3. Salve o Key ID e a Secret Key.
4. Conceda a permissão storage.editor à sua nova conta de serviço .
   1. Nas configurações do bucket, vá para Access Bindings e clique em Assign bindings.
   2. Para sua nova conta de serviço, adicione a função storage.editor e clique em Save.
5. Entre em contato com seu CSM da AppsFlyer para habilitar o Yandex no Data Locker.
6. Depois de ativado, use o Key ID e a Secret Key durante a configuração do Data Locker.

Esse procedimento deve ser feito pelo administrador do BigQuery.

Informações para o administrador do BigQuery

O Data Locker é a solução da AppsFlyer para a transmissão de dados para armazenamento.

Requisitos

• Criar um conjunto de dados do BigQuery

Para criar um conjunto de dados do BigQuery: 

1. No BigQuery, crie um projeto ou use um projeto existente. 
2. No projeto, clique em CREATE DATASET.
3. Forneça um ID adequado para o conjunto de dados.

   Atenção:

   certifique-se de que o projeto ou dataset de destino esteja vinculado a uma conta de cobrança ativa. Sem uma conta de cobrança, o Data Locker não pode criar ou gravar em tabelas no BigQuery, e o processo de configuração da conexão pode falhar.

4. Conceda à AppsFlyer o acesso ao conjunto de dados. Veja as instruções do BigQuery
   • Para Add principal, use o seguinte usuário da AppsFlyer: datalocker-bq-admin-prod@datalocker-bq-prod.iam.gserviceaccount.com
   • Em Assign roles, selecione BigQuery Data Editor.
5. Conclua as configurações restantes conforme solicitado.  

Conecte o Data Locker à sua conta Snowflake. Ao fazer isso, os dados são enviados para o Snowflake e continuam disponíveis no armazenamento em nuvem selecionado.

Considerações para desenvolvedores de BI

• A taxa de atualização de dados é a mesma dos dados fornecidos em um bucket.
• A estrutura de tabela e coluna dos dados é equivalente àquela encontrada nos dados disponíveis diretamente em um bucket de Data Locker.
• À medida que as linhas são adicionadas ao compartilhamento do Snowflake, a coluna _ingestion_time é preenchida. Para garantir a exclusividade da linha e evitar a ingestão da mesma linha mais de uma vez:
  1. Salve o max_ingestion_time por tabela ingerida.
  2. Sempre que executar seu processo de ingestão, faça a ingestão apenas de linhas onde _ingestion_time > max_ingestion_time

Conclua os procedimentos a seguir para conectar o Snowflake ao Data Locker.  

Procedimentos do conector Snowflake

Para obter o ID e a região da sua conta Snowflake:

1. No Snowflake, faça login na sua conta.
2. Na barra de menus, selecione seu nome.
   O ID da sua conta e a região são exibidas.
   

Para conectar o Data Locker ao Snowflake:

1. Na AppsFlyer, acesse relatórios > Data Locker.
2. Selecione Snowflake.
3. Insira a região do Snowflake e o ID da conta do Snowflake usando as informações que você obteve anteriormente do Snowflake.
4. Clique em Salvar.

Para criar um banco de dados a partir de um compartilhamento no Snowflake:

1. No Snowflake, faça login na sua conta.
2. Mude a função para Accountadmin. Consulte Criar um banco de dados a partir de um compartilhamento.
3. Selecione Shares.
4. Selecione o compartilhamento da AppsFlyer. Por exemplo, APPSFLYER_ACC_XXX_DATA_LOCKER. 
5. Clique em Create Database from Secure Share e preencha com os detalhes necessários. Atenção! Você deve carregar os dados do banco de dados compartilhado em suas tabelas, pois os dados no banco de dados compartilhado só estão disponíveis por um período limitado (atualmente 14 dias).  

6. Em seu banco de dados, as tabelas importadas são exibidas. Os nomes e estruturas das tabelas são equivalentes aos dos buckets do Data Locker.