Data Locker—ストレージのセットアップ

推奨
マーケティング担当
最終更新:

概要：Data Lockerデ=タを独自のAWSまたはGCSストレージに配信しましょう。GCSをBigQueryやGoogle Data Studioと連携しましょう。[ベータ版] Snowflakeとの連携も可能です。

自社ストレージにData Lockerをストリーミングする

関連記事：Data Locker

Data Lockerでは、選択した独自のストレージソリューションにデータを書き込むことができます。次のいずれかの手順に従って、ストレージをセットアップしてください。

GCS ストレージ

  • このセクションの手順は、ご利用のGoogle Cloudの管理者が実行する必要があります。
  • Data Lockerにデータが書き込まれてから25時間以上経過してからファイルを削除できます。それ以前に削除しないでください。

GCSアドミン向けの情報

Data Lockerとは、データをストレージに書き込むためのAppsFlyerソリューションです。

要件

  • Data Locker専用のバケットをGCS上に作成してください。この専用バケットには他のサービスからデータを書き込まないでください。
  • 推奨されるバケット名：af-datalocker
  • 次の手順を使用してData Lockerに権限を付与します。

Data Lockerに権限を付与する方法：

この手順では、Data Locker専用に作成したバケット名を使用して、data-locker-example を置き換えてください。

  1. GCSコンソールにサインインします。
  2. Storage > Storagebrowser に移動します。

    mceclip0.png

  3. 以前に作成したバケット（例：data-locker-example）を選択してください。
  4. Go to the Permissions tab. 
  5. +Add をクリックしてください。
    メンバーの追加画面が開きます。
  6. 次のように設定を完了してください。
    1. New members に次のとおりスニペットを貼り付けてください。 
      af-data-delivery@af-raw-data.iam.gserviceaccount.com
    2. 役割を選択します： クラウドストレージ > ストレージオブジェクト管理者

      mceclip0.png

  7. 保存をクリックします。 

AWS ストレージ

  • このセクションの手順は、社内のAWS管理者が実行する必要があります。
  • Data Lockerにデータが書き込まれてから25時間以上経過してから削除できます。それ以前に削除しないでください。

AWSアドミン向けの情報

Data Lockerとは、データをストレージに書き込むためのAppsFlyerソリューションです。

要件

  • af-datalocker-mybucket という名前のAWSバケットを作成します。プレフィックス af-datalocker- は必須です。接尾辞はフリーテキストです。
  • af-datalocker-yyyy-mm-dd-hh-mm-free-text を推奨します。yyyy-mm-dd-hh-mm が現在の日付と時刻で、次の図に示すようにその他のテキストを追加してください。

AWSコンソールのユーザーインターフェイス

MyBucket.jpg

バケットを作成したら、次の手順に従って AppsFlyerに権限を付与してください。

バケットを作成し、AppsFlyerに権限を付与する方法：

  1. AWSコンソールにサインインします。
  2. S3サービスへ進みます。
  3. バケットの作成方法：
    1. [Create Bucket] をクリックします。
    2. Bucket name を次のように入力します：接頭辞「af-datalocker-」をはじめに付け、その後前述のとおりに他のテキストを追加します。
    3. [Create Bucket] をクリックします。
  4. AppsFlyerに権限を付与する方法：
    1. バケットを選択します。
    2. Go to the Permissions tab. 
    3. Bucket policy セクションにて、[Edit]（編集）をクリックします。 
      バケットポリシー画面が開きます。
    4. 次のスニペットを画面に貼り付けます。 
      {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AF_DataLocker_Direct",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
      },
      "Action": [
        "s3:GetObject",
        "s3:ListBucket",
        "s3:DeleteObject",
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::af-datalocker-my-bucket",
        "arn:aws:s3:::af-datalocker-my-bucket/*"
      ]
    }
  ]
}

  5. スニペット内の「af-data-locker-my-bucket 」を作成したバケット名に置き換えてください。

  6. 変更を保存をクリックします。

  7. Data Lockerの設定手順を完了します。

BiqQueryとGoogle Data StudioをData Lockerに接続するための基本ガイド

以降のセクションでは、GCS Data LockerをBigQueryやGoogle Data Studioに接続するための基本的なガイドをご紹介します。接続方法は、素早く簡単で、すぐに使い始めることができます。AppsFlyerでは、BigQuery、Google Data Studioに関するサポートサービスは行っておりません。

GCS Data Locker のバケットを BigQuery に接続

このセクションの手順は、Data LockerのデータをBigQueryにインポートするためのガイドです。

関連記事：Google Cloud Consoleのクイックスタートガイド

Data Locker GCS バケットから BigQuery にインストールレポートをロードするには、以下の手順を実行してください。


前提条件

  • 保存先としてGCSでData Lockerを設定してください。
  • データセットを設定するたのGoogle Cloudの権限が必要です。


ステップ1—BigQuery データセットの作成：

  1. Google Cloud Platformのコンソールから、BigQueryにアクセスします。
  2. プロジェクトを作成するか、既存のプロジェクトを使用します。
  3. プロジェクトで CREATE DATASET をクリックします。

    GCSCreateDataSEt_1_.png

  4. データセットに適当なIDを付けてください。
  5. 必要に応じて、残りの設定を完了してください。


ステップ2—BigQueryテーブルをData Lockerに接続

  1. データセットで CREATE DATASET をクリックしてください。

    GCScreateTable.png

  2. ソースを以下のように設定してください。
    1. Create table from: Google Cloud Storage
    2. Select file from GCS bucket: バケットを参照してレポートを選択。例：t=installs。
    3. t=installs フォルダ内の全てのサブフォルダからデータを取得するために、「*.gz」と設定することができます。
    4. File format を CSVに設定してください。
    5. 既存のプロジェクトを選択するか、新しいプロジェクト名を入力してください。
    6. Table type を Native tableに設定してください。

 

ステップ3—データクエリの準備ができました

データは自動的にBigQueryに読み込まれます。

Google Data StudioでData Lockerのデータを表示

Google Data StudioとData Lockerのデータを接続することができます。そのためには、前のセクションで説明したようにData LockerとBiqQueryを接続する必要があります。

前提条件

  • Data Locker を BigQuery に接続してください。

Google Data StudioでData Lockerのデータを作成し表示する方法：

  1. Google Data Studioでレポートを作成してください。
  2. データソースとしてBigQueryを選択してください。

    DataStudio.png

  3. Google Data Studioのレポートにプロジェクトとテーブルを選択し、データの分析を開始します。

コネクタ

Snowflake

Snowflakeオプションは現在ベータ版として利用可能です。

Data LockerをSnowflakeアカウントに接続できます。そうすることで、データはSnowflakeに送信され、選択したクラウドストレージ上で引き続き利用することができます。Snowflakeベータコネクタに参加するには、CSMにお問い合わせください。

BIディベロッパー向けの注意事項

  • データの更新頻度は、バケットに提供されるデータと同じです。
  • データのテーブルとカラムの構造は、Data Lockerのバケットから直接得られるデータと同等です。
  • Snowflakeのシェアに行が追加されると、_ingestion_time のカラムが入力されます。行の一意性を確保し、同じ行を2回以上取り込まないようにするために以下を確認してください。
    1. テーブルごとに取り込まれた max_ingestion_time を保存してください。
    2. データ取り込みプロセスを実行するたびに、_ingestion_time > max_ingestion_time の行だけを取り込んでください。

以下のSnowflakeとData Lockerの連携手順を実施してください。

Snowflakeコネクタの手順

SnowflakeのアカウントIDとリージョンを取得する方法：

  1. Snowflakeにて、Snowflakeアカウントにログインしてください。
  2. メニューバーにて、名前を選択してください。
    アカウントIDとリージョンが表示されます。

    SnowflakeAccountId.png

  3. SnowflakeのアカウントIDとリージョンをAppsFlyerのCSMに送信し、Data LockerでSnowflakeを有効にするよう依頼してください。

Data LockerをSnowflakeに接続する：

  1. AppsFlyerにて、インテグレーション> Data Locker へ進みます。
  2. Snowflakeを選択してください。
  3. Snowflakeから取得した情報を使用して、SnowflakeアカウントIDとSnowflakeリージョンを入力してください。
  4. 保存 をクリックしてください。

Snowflakeのシェアからデータベースを作成する方法：

  1. Snowflakeにて、Snowflakeアカウントにログインしてください。
  2. Accountadminにロールを切り替えてください。シェアからデータベースを作成を参照してください。
  3. Shares を選択してください。
  4. AppsFlyerシェアを選択してください。例： APPSFLYER_ACC_XXX_DATA_LOCKER 
  5. Create Database from Secure Share をクリックし、必要な詳細を入力してください。注！共有データベースのデータは限られた期間（現在は14日間）しか利用できないため、共有データベースのデータを自分のテーブルに読み込む必要があります。
  6. データベースにインポートした表が表示されます。テーブルの名前や構造は、Data Lockerのバケットのものと同じです。