Data Locker — クラウドサービスの設定

概要: Data Lockerからデータを受信するクラウドサービスを設定する手順を説明します。
ストレージオプション:GCS, AWS, BigQuery, またはSnowflake

Data Lockerを使用すると、バケットまたはデータウェアハウスに関係なく、選択して所有するストレージソリューションにデータをストリーミングできます。次のいずれかの手順を使用して、クラウドサービスを設定します。

バケットクラウドストレージ

GCS ストレージ

  • このセクションの手順は、ご利用のGoogle Cloudの管理者が実行する必要があります。
  • Data Lockerにデータが書き込まれてから25時間以上経過してからファイルを削除できます。それ以前に削除しないでください。

GCSアドミン向けの情報

Data Lockerとは、データをストレージに書き込むためのAppsFlyerソリューションです。

要件

  • Data Locker専用のバケットをGCS上に作成してください。この専用バケットには他のサービスからデータを書き込まないでください。
  • 推奨されるバケット名:af-datalocker
  • 次の手順を使用してData Lockerに権限を付与します。

Data Lockerに権限を付与する方法:

この手順では、Data Locker専用に作成したバケット名を使用して、data-locker-example を置き換えてください。

  1. GCSコンソールにサインインします。
  2. Storage > Storagebrowser に移動します。

    mceclip0.png

  3. 以前に作成したバケット(例:data-locker-example)を選択してください。
  4. Go to the Permissions tab. 
  5. +Add をクリックしてください。
    メンバーの追加画面が開きます。
  6. 次のように設定を完了してください。
    1. New members に次のとおりスニペットを貼り付けてください。
      af-data-delivery@af-raw-data.iam.gserviceaccount.com
    2. 役割を選択します: クラウドストレージ > ストレージオブジェクト管理者

      mceclip0.png

  7. 保存をクリックします。 

AWS ストレージ

  • このセクションの手順は、社内のAWS管理者が実行する必要があります。
  • Data Lockerにデータが書き込まれてから25時間以上経過してから削除できます。それ以前に削除しないでください。

AWSアドミン向けの情報

Data Lockerとは、データをストレージに書き込むためのAppsFlyerソリューションです。

要件

  • af-datalocker-mybucket という名前のAWSバケットを作成します。プレフィックス af-datalocker- は必須です。接尾辞はフリーテキストです。
  • af-datalocker-yyyy-mm-dd-hh-mm-free-text を推奨します。yyyy-mm-dd-hh-mm が現在の日付と時刻で、次の図に示すようにその他のテキストを追加してください。

AWSコンソールのユーザーインターフェイス

MyBucket.jpg

バケットを作成したら、次の手順に従って AppsFlyerに権限を付与してください。

バケットを作成し、AppsFlyerに権限を付与する方法:

  1. AWSコンソールにサインインします。
  2. S3サービスへ進みます。
  3. バケットの作成方法
    1. [Create Bucket] をクリックします。
    2. Bucket name を次のように入力します:接頭辞「af-datalocker-」をはじめに付け、その後前述のとおりに他のテキストを追加します。
    3. [Create Bucket] をクリックします。
  4. AppsFlyerに権限を付与する方法:
    1. バケットを選択します。
    2. Go to the Permissions tab. 
    3. Bucket policy セクションにて、[Edit](編集)をクリックします。 
      バケットポリシー画面が開きます。
    4. 次のスニペットを画面に貼り付けます。
      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "AF_DataLocker_Direct",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
            "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Resource": [
              "arn:aws:s3:::af-datalocker-my-bucket",
              "arn:aws:s3:::af-datalocker-my-bucket/*"
            ]
          }
        ]
      }
      
  5. スニペット内の「af-data-locker-my-bucket 」を作成したバケット名に置き換えます。

  6. [オプション] KMS暗号化バケットのサポートを追加します。
    そのためには、Key PolicyセクションでSwitch to policy viewを選択し、Statement配列に以下のスニペットを貼り付けてください。
    {
          "Sid": "Allow use of the key",
          "Effect": "Allow",
          "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
          },
          "Action": "kms:GenerateDataKey*",
          "Resource": "*"
      }
    
  7. 変更を保存をクリックします。
  8. Data Lockerの設定手順を完了します。

[Beta] Azure storage

  • このセクションの手順は、ご利用のAzure Cloudの管理者が実行する必要があります。
  • Data Lockerにデータが書き込まれてから25時間以上経過してからファイルを削除できます。それ以前に削除しないでください。

Azure管理者向けの情報

Data Lockerは、ストレージアカウントにデータをストリーミングするためのAppsFlyerソリューションです。

Data Lockerのストレージアカウントを設定する:

  1. Azureストレージアカウントにアクセスします。
  2. 新しいストレージアカウントを作成して、Appsflyerのデータを取得します。
  3. オプション: 新しいリソースグループを作成します(リソースグループが存在しない場合)。
  4. サブスクリプションを選択し、新しいストレージアカウントに名前を付けて、関連するリージョンを選択します。
  5. Hierarchical namespaceを有効にします。
  6. CSMに問い合わせて、Data Lockerで Azureを有効にします(有効にすると、Data Lockerの新規接続ウィザードに入力するために、上記のストレージアカウント名とそのキーが必要になります)。

[ベータ版] Yandex Cloud Storage

  • このセクションの手順は、ご利用のYandex Cloudの管理者が実行する必要があります。
  • Data Lockerにデータが書き込まれてから25時間以上経過してからファイルを削除できます。それ以前に削除しないでください。

Yandex管理者向けの情報

Data Lockerとは、データをストレージに書き込むためのAppsFlyerソリューションです。

バケットを作成し、Data Lockerの権限を付与する:

  1. Yandex Cloudコンソールで、サービスアカウントタブに移動し、サービスアカウントの作成をクリックします。
  2. サービスアカウントに名前を付けます(例: af-datalocker)。
  3. サービスアカウントの静的アクセスキーを作成し、次の操作を行います:
    1. 新しいキーの作成をクリックします。
    2. 静的アクセスキーの作成を選択します。
    3. キー IDシークレットキーを保存します。
  4. 新しいサービスアカウントに storage.editor 権限を付与します。
    1. バケット設定で、Access Bindingsに移動し、Assign bindingsをクリックします。
    2. 新しいサービスアカウントに storage.editor ロールを追加し、保存をクリックします。
  5. AppsFlyerのCSMに連絡し、Data LockerでYandexを有効にしてください。
  6. 有効にしたら、 Data Lockerのセットアップ時にキーIDと秘密キーを使用します。

データウェアハウスのクラウドストレージ

BigQuery

このセクションの手順は、BigQuery管理者が実行する必要があります。

BigQuery管理者向けの情報

Data Lockerとは、データをストレージに書き込むためのAppsFlyerソリューションです。

要件

  • BigQuery データセットを作成する

BigQuery データセットを作成するには: 

  1. BigQueryでプロジェクトを新規作成するか、既存のプロジェクトを使用します。
  2. プロジェクトで CREATE DATASET をクリックします。

    GCSCreateDataSEt_1_.png

  3. データセットに適当なIDを付けてください。
  4. AppsFlyer にデータセットへのアクセス権を付与します。BigQueryの手順
  5. 必要に応じて、残りの設定を完了してください。

Snowflake

Data LockerをSnowflakeアカウントに接続できます。そうすることで、データはSnowflakeに送信され、選択したクラウドストレージ上で引き続き利用することができます。

BIディベロッパー向けの注意事項

  • データの更新頻度は、バケットに提供されるデータと同じです。
  • データのテーブルとカラムの構造は、Data Lockerのバケットから直接得られるデータと同等です。
  • Snowflakeのシェアに行が追加されると、_ingestion_time のカラムが入力されます。行の一意性を確保し、同じ行を2回以上取り込まないようにするために以下を確認してください。
    1. テーブルごとに取り込まれた max_ingestion_time を保存してください。
    2. データ取り込みプロセスを実行するたびに、_ingestion_time > max_ingestion_time の行だけを取り込んでください。

以下のSnowflakeとData Lockerの連携手順を実施してください。

Snowflakeコネクタの手順

SnowflakeのアカウントIDとリージョンを取得する方法

  1. Snowflakeにて、Snowflakeアカウントにログインしてください。
  2. メニューバーにて、名前を選択してください。
    アカウントIDとリージョンが表示されます。

    SnowflakeAccountId.png

Data LockerをSnowflakeに接続する:

  1. AppsFlyerで、 エクスポート > Data Lockerへ進んでください。
  2. Snowflakeを選択してください。
  3. Snowflakeから取得した情報を使用して、SnowflakeリージョンSnowflakeアカウントID を入力します。
  4. 保存 をクリックしてください。

Snowflakeのシェアからデータベースを作成する方法

  1. Snowflakeにて、Snowflakeアカウントにログインしてください。
  2. Accountadminにロールを切り替えてください。シェアからデータベースを作成を参照してください。
  3. Shares を選択してください。
  4. AppsFlyerシェアを選択してください。例: APPSFLYER_ACC_XXX_DATA_LOCKER 
  5. Create Database from Secure Share をクリックし、必要な詳細を入力してください。!共有データベースのデータは限られた期間(現在は14日間)しか利用できないため、共有データベースのデータを自分のテーブルに読み込む必要があります。
  6. データベースにインポートした表が表示されます。テーブルの名前や構造は、Data Lockerのバケットのものと同じです。