概要:Data Lockerデ=タを独自のAWSまたはGCSストレージに配信しましょう。GCSをBigQueryやGoogle Data Studioと連携しましょう。[ベータ版] Snowflakeとの連携も可能です。
自社ストレージにData Lockerをストリーミングする
関連記事:Data Locker
Data Lockerでは、選択した独自のストレージソリューションにデータを書き込むことができます。次のいずれかの手順に従って、ストレージをセットアップしてください。
GCS ストレージ
- このセクションの手順は、ご利用のGoogle Cloudの管理者が実行する必要があります。
- Data Lockerにデータが書き込まれてから25時間以上経過してからファイルを削除できます。それ以前に削除しないでください。
GCSアドミン向けの情報
Data Lockerとは、データをストレージに書き込むためのAppsFlyerソリューションです。
要件
- Data Locker専用のバケットをGCS上に作成してください。この専用バケットには他のサービスからデータを書き込まないでください。
- 推奨されるバケット名:
af-datalocker
- 次の手順を使用してData Lockerに権限を付与します。
Data Lockerに権限を付与する方法:
この手順では、Data Locker専用に作成したバケット名を使用して、data-locker-example
を置き換えてください。
- GCSコンソールにサインインします。
- Storage > Storagebrowser に移動します。
- 以前に作成したバケット(例:
data-locker-example
)を選択してください。 - Go to the Permissions tab.
- +Add をクリックしてください。
メンバーの追加画面が開きます。 - 次のように設定を完了してください。
- 保存をクリックします。
AWS ストレージ
- このセクションの手順は、社内のAWS管理者が実行する必要があります。
- Data Lockerにデータが書き込まれてから25時間以上経過してから削除できます。それ以前に削除しないでください。
AWSアドミン向けの情報
Data Lockerとは、データをストレージに書き込むためのAppsFlyerソリューションです。
要件
- af-datalocker-mybucket という名前のAWSバケットを作成します。プレフィックス af-datalocker- は必須です。接尾辞はフリーテキストです。
- af-datalocker-yyyy-mm-dd-hh-mm-free-text を推奨します。yyyy-mm-dd-hh-mm が現在の日付と時刻で、次の図に示すようにその他のテキストを追加してください。
AWSコンソールのユーザーインターフェイス
バケットを作成したら、次の手順に従って AppsFlyerに権限を付与してください。
バケットを作成し、AppsFlyerに権限を付与する方法:
- AWSコンソールにサインインします。
- S3サービスへ進みます。
-
バケットの作成方法:
- [Create Bucket] をクリックします。
- Bucket name を次のように入力します:接頭辞「
af-datalocker-
」をはじめに付け、その後前述のとおりに他のテキストを追加します。 - [Create Bucket] をクリックします。
-
AppsFlyerに権限を付与する方法:
- バケットを選択します。
- Go to the Permissions tab.
- Bucket policy セクションにて、[Edit](編集)をクリックします。
バケットポリシー画面が開きます。 - 次のスニペットを画面に貼り付けます。
{ "Version": "2012-10-17", "Statement": [ { "Sid": "AF_DataLocker_Direct", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default" }, "Action": [ "s3:GetObject", "s3:ListBucket", "s3:DeleteObject", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::af-datalocker-my-bucket", "arn:aws:s3:::af-datalocker-my-bucket/*" ] } ] }
-
スニペット内の「
af-data-locker-my-bucket
」を作成したバケット名に置き換えてください。 -
変更を保存をクリックします。
- Data Lockerの設定手順を完了します。
BiqQueryとGoogle Data StudioをData Lockerに接続するための基本ガイド
以降のセクションでは、GCS Data LockerをBigQueryやGoogle Data Studioに接続するための基本的なガイドをご紹介します。接続方法は、素早く簡単で、すぐに使い始めることができます。AppsFlyerでは、BigQuery、Google Data Studioに関するサポートサービスは行っておりません。
GCS Data Locker のバケットを BigQuery に接続
このセクションの手順は、Data LockerのデータをBigQueryにインポートするためのガイドです。
関連記事:Google Cloud Consoleのクイックスタートガイド
Data Locker GCS バケットから BigQuery にインストールレポートをロードするには、以下の手順を実行してください。
前提条件
- 保存先としてGCSでData Lockerを設定してください。
- データセットを設定するたのGoogle Cloudの権限が必要です。
ステップ1—BigQuery データセットの作成:
- Google Cloud Platformのコンソールから、BigQueryにアクセスします。
- プロジェクトを作成するか、既存のプロジェクトを使用します。
- プロジェクトで CREATE DATASET をクリックします。
- データセットに適当なIDを付けてください。
- 必要に応じて、残りの設定を完了してください。
ステップ2—BigQueryテーブルをData Lockerに接続
- データセットで CREATE DATASET をクリックしてください。
- ソースを以下のように設定してください。
- Create table from: Google Cloud Storage
- Select file from GCS bucket: バケットを参照してレポートを選択。例:t=installs。
- t=installs フォルダ内の全てのサブフォルダからデータを取得するために、「*.gz」と設定することができます。
- File format を CSVに設定してください。
- 既存のプロジェクトを選択するか、新しいプロジェクト名を入力してください。
- Table type を Native tableに設定してください。
ステップ3—データクエリの準備ができました
データは自動的にBigQueryに読み込まれます。
Google Data StudioでData Lockerのデータを表示
Google Data StudioとData Lockerのデータを接続することができます。そのためには、前のセクションで説明したようにData LockerとBiqQueryを接続する必要があります。
前提条件
- Data Locker を BigQuery に接続してください。
Google Data StudioでData Lockerのデータを作成し表示する方法:
コネクタ
Snowflake
Snowflakeオプションは現在ベータ版として利用可能です。
Data LockerをSnowflakeアカウントに接続できます。そうすることで、データはSnowflakeに送信され、選択したクラウドストレージ上で引き続き利用することができます。Snowflakeベータコネクタに参加するには、CSMにお問い合わせください。
BIディベロッパー向けの注意事項
- データの更新頻度は、バケットに提供されるデータと同じです。
- データのテーブルとカラムの構造は、Data Lockerのバケットから直接得られるデータと同等です。
- Snowflakeのシェアに行が追加されると、
_ingestion_time
のカラムが入力されます。行の一意性を確保し、同じ行を2回以上取り込まないようにするために以下を確認してください。- テーブルごとに取り込まれた
max_ingestion_time
を保存してください。 - データ取り込みプロセスを実行するたびに、
_ingestion_time > max_ingestion_time
の行だけを取り込んでください。
- テーブルごとに取り込まれた
以下のSnowflakeとData Lockerの連携手順を実施してください。
Snowflakeコネクタの手順
SnowflakeのアカウントIDとリージョンを取得する方法:
- Snowflakeにて、Snowflakeアカウントにログインしてください。
- メニューバーにて、名前を選択してください。
アカウントIDとリージョンが表示されます。
- SnowflakeのアカウントIDとリージョンをAppsFlyerのCSMに送信し、Data LockerでSnowflakeを有効にするよう依頼してください。
Data LockerをSnowflakeに接続する:
- AppsFlyerにて、インテグレーション> Data Locker へ進みます。
- Snowflakeを選択してください。
- Snowflakeから取得した情報を使用して、SnowflakeアカウントIDとSnowflakeリージョンを入力してください。
- 保存 をクリックしてください。
Snowflakeのシェアからデータベースを作成する方法:
- Snowflakeにて、Snowflakeアカウントにログインしてください。
- Accountadminにロールを切り替えてください。シェアからデータベースを作成を参照してください。
- Shares を選択してください。
- AppsFlyerシェアを選択してください。例: APPSFLYER_ACC_XXX_DATA_LOCKER
- Create Database from Secure Share をクリックし、必要な詳細を入力してください。注!共有データベースのデータは限られた期間(現在は14日間)しか利用できないため、共有データベースのデータを自分のテーブルに読み込む必要があります。
- データベースにインポートした表が表示されます。テーブルの名前や構造は、Data Lockerのバケットのものと同じです。