概要: Data Lockerからデータを受信するクラウドサービスを設定する手順を説明します。
ストレージオプション:GCS, AWS, BigQuery, またはSnowflake
Data Lockerを使用すると、バケットまたはデータウェアハウスに関係なく、選択して所有するストレージソリューションにデータをストリーミングできます。次のいずれかの手順を使用して、クラウドサービスを設定します。
バケットクラウドストレージ
GCS ストレージ
- このセクションの手順は、ご利用のGoogle Cloudの管理者が実行する必要があります。
- Data Lockerにデータが書き込まれてから25時間以上経過してからファイルを削除できます。それ以前に削除しないでください。
GCSアドミン向けの情報
Data Lockerとは、データをストレージに書き込むためのAppsFlyerソリューションです。
要件
- Data Locker専用のバケットをGCS上に作成してください。この専用バケットには他のサービスからデータを書き込まないでください。
- 推奨されるバケット名:
af-datalocker
- 次の手順を使用してData Lockerに権限を付与します。
Data Lockerに権限を付与する方法:
この手順では、Data Locker専用に作成したバケット名を使用して、data-locker-example
を置き換えてください。
- GCSコンソールにサインインします。
- Storage > Storagebrowser に移動します。
- 以前に作成したバケット(例:
data-locker-example
)を選択してください。 - Go to the Permissions tab.
- +Add をクリックしてください。
メンバーの追加画面が開きます。 - 次のように設定を完了してください。
- 保存をクリックします。
AWS ストレージ
- このセクションの手順は、社内のAWS管理者が実行する必要があります。
- Data Lockerにデータが書き込まれてから25時間以上経過してから削除できます。それ以前に削除しないでください。
AWSアドミン向けの情報
Data Lockerとは、データをストレージに書き込むためのAppsFlyerソリューションです。
要件
- af-datalocker-mybucket という名前のAWSバケットを作成します。プレフィックス af-datalocker- は必須です。接尾辞はフリーテキストです。
- af-datalocker-yyyy-mm-dd-hh-mm-free-text を推奨します。yyyy-mm-dd-hh-mm が現在の日付と時刻で、次の図に示すようにその他のテキストを追加してください。
AWSコンソールのユーザーインターフェイス
バケットを作成したら、次の手順に従って AppsFlyerに権限を付与してください。
バケットを作成し、AppsFlyerに権限を付与する方法:
- AWSコンソールにサインインします。
- S3サービスへ進みます。
-
バケットの作成方法:
- [Create Bucket] をクリックします。
- Bucket name を次のように入力します:接頭辞「
af-datalocker-
」をはじめに付け、その後前述のとおりに他のテキストを追加します。 - [Create Bucket] をクリックします。
-
AppsFlyerに権限を付与する方法:
- バケットを選択します。
- Go to the Permissions tab.
- Bucket policy セクションにて、[Edit](編集)をクリックします。
バケットポリシー画面が開きます。 - 次のスニペットを画面に貼り付けます。
{ "Version": "2012-10-17", "Statement": [ { "Sid": "AF_DataLocker_Direct", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default" }, "Action": [ "s3:GetObject", "s3:ListBucket", "s3:DeleteObject", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::af-datalocker-my-bucket", "arn:aws:s3:::af-datalocker-my-bucket/*" ] } ] }
-
スニペット内の「
af-data-locker-my-bucket
」を作成したバケット名に置き換えます。 - [オプション] KMS暗号化バケットのサポートを追加します。
そのためには、Key PolicyセクションでSwitch to policy viewを選択し、Statement配列に以下のスニペットを貼り付けてください。{ "Sid": "Allow use of the key", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default" }, "Action": "kms:GenerateDataKey*", "Resource": "*" }
- 変更を保存をクリックします。
- Data Lockerの設定手順を完了します。
[Beta] Azure storage
- このセクションの手順は、ご利用のAzure Cloudの管理者が実行する必要があります。
- Data Lockerにデータが書き込まれてから25時間以上経過してからファイルを削除できます。それ以前に削除しないでください。
Azure管理者向けの情報
Data Lockerは、ストレージアカウントにデータをストリーミングするためのAppsFlyerソリューションです。
Data Lockerのストレージアカウントを設定する:
-
Azure portal で、Azureストレージアカウントに移動します。
Createをクリックし、Appsflyerのデータを取得するための新しいストレージアカウントを作成します。
-
基本 タブの プロジェクトの詳細 ドロップダウンから選択します。
- サブスクリプション
- リソースグループ
オプション:リソースグループが存在しない場合は、 新規作成をクリックしてリソースグループを作成します。
- インスタンスの詳細で次の操作を行います:
- ストレージ アカウント名を入力します。
- ドロップダウンから リージョン を選択します。
- Next: Advanced >をクリックします。
- セキュリティタブで、Enable Hierarchical namespaceを選択します。
- レビュー → 作成をクリックします。
- デプロイが完了したら、Azure ストレージ アカウントに戻り、新しく作成したストレージ アカウントを選択します。
- アクセスキーに移動し、 ストレージアカウント名 と キーをコピーします。
- [ストレージ ブラウザー] の [> BLOB コンテナー
] に移動し、 [ コンテナーの追加 ] をクリックします 。
- 新しいコンテナの 名前 を入力します。
- 作成をクリックします。
- CSM に問い合わせて、Data Locker で Azure を有効にしてください。
- 有効にすると、AppsFlyerで Data Locker ->
新規接続に移動します。
-
新しい接続では、次のようになります:
- 接続に名前を付けます。
- Azure BLOB を選択します。
- バケット名フィールドに Azure コンテナー名 (手順 9 で作成した名前) を入力します。
- ステップ 8 でコピーした ストレージ アカウント名 を入力します。
- 手順 8 でコピーした キー を入力します。
- 接続テストをするをクリックしてください。
- 保存します。
[ベータ版] Yandex Cloud Storage
- このセクションの手順は、ご利用のYandex Cloudの管理者が実行する必要があります。
- Data Lockerにデータが書き込まれてから25時間以上経過してからファイルを削除できます。それ以前に削除しないでください。
Yandex管理者向けの情報
Data Lockerとは、データをストレージに書き込むためのAppsFlyerソリューションです。
バケットを作成し、Data Lockerの権限を付与する:
- Yandex Cloudコンソールで、サービスアカウントタブに移動し、サービスアカウントの作成をクリックします。
- サービスアカウントに名前を付けます(例:
af-datalocker
)。 - サービスアカウントの静的アクセスキーを作成し、次の操作を行います:
- 新しいキーの作成をクリックします。
- 静的アクセスキーの作成を選択します。
- キー IDとシークレットキーを保存します。
- 新しいサービスアカウントに storage.editor 権限を付与します。
- バケット設定で、Access Bindingsに移動し、Assign bindingsをクリックします。
- 新しいサービスアカウントに storage.editor ロールを追加し、保存をクリックします。
- AppsFlyerのCSMに連絡し、Data LockerでYandexを有効にしてください。
- 有効にしたら、 Data Lockerのセットアップ時にキーIDと秘密キーを使用します。
データウェアハウスのクラウドストレージ
BigQuery
このセクションの手順は、BigQuery管理者が実行する必要があります。
BigQuery管理者向けの情報
Data Lockerとは、データをストレージに書き込むためのAppsFlyerソリューションです。
要件
-
BigQuery データセットを作成する
BigQuery データセットを作成するには:
- BigQueryでプロジェクトを新規作成するか、既存のプロジェクトを使用します。
- プロジェクトで CREATE DATASET をクリックします。
- データセットに適当なIDを付けてください。
- AppsFlyer にデータセットへのアクセス権を付与します。BigQueryの手順
- プリンシパルの追加には、次のAppsFlyerユーザーを使用してください: datalocker-bq-admin-prod@datalocker-bq-prod.iam.gserviceaccount.com
- 役割の割り当てで BigQueryデータエディタを選択します。
- 必要に応じて、残りの設定を完了してください。
Snowflake
Data LockerをSnowflakeアカウントに接続できます。そうすることで、データはSnowflakeに送信され、選択したクラウドストレージ上で引き続き利用することができます。
BIディベロッパー向けの注意事項
- データの更新頻度は、バケットに提供されるデータと同じです。
- データのテーブルとカラムの構造は、Data Lockerのバケットから直接得られるデータと同等です。
- Snowflakeのシェアに行が追加されると、
_ingestion_time
のカラムが入力されます。行の一意性を確保し、同じ行を2回以上取り込まないようにするために以下を確認してください。- テーブルごとに取り込まれた
max_ingestion_time
を保存してください。 - データ取り込みプロセスを実行するたびに、
_ingestion_time > max_ingestion_time
の行だけを取り込んでください。
- テーブルごとに取り込まれた
以下のSnowflakeとData Lockerの連携手順を実施してください。
Snowflakeコネクタの手順
SnowflakeのアカウントIDとリージョンを取得する方法:
- Snowflakeにて、Snowflakeアカウントにログインしてください。
- メニューバーにて、名前を選択してください。
アカウントIDとリージョンが表示されます。
Data LockerをSnowflakeに接続する:
- AppsFlyerで、 エクスポート > Data Lockerへ進んでください。
- Snowflakeを選択してください。
- Snowflakeから取得した情報を使用して、Snowflakeリージョンと SnowflakeアカウントID を入力します。
- 保存 をクリックしてください。
Snowflakeのシェアからデータベースを作成する方法:
- Snowflakeにて、Snowflakeアカウントにログインしてください。
- Accountadminにロールを切り替えてください。シェアからデータベースを作成を参照してください。
- Shares を選択してください。
- AppsFlyerシェアを選択してください。例: APPSFLYER_ACC_XXX_DATA_LOCKER
- Create Database from Secure Share をクリックし、必要な詳細を入力してください。注!共有データベースのデータは限られた期間(現在は14日間)しか利用できないため、共有データベースのデータを自分のテーブルに読み込む必要があります。
- データベースにインポートした表が表示されます。テーブルの名前や構造は、Data Lockerのバケットのものと同じです。