概要:Data Lockerからデータを受信するためのクラウドサービスを設定します。 GCS、AWS、BigQuery、Snowflakeに対応しています。
Data Lockerでは、お客様が選択・所有するストレージ環境にデータをストリーミングできます。利用するクラウドサービスに応じて、以下の手順で設定してください。
バケット型クラウドストレージ
GCSストレージ
開始する前に、以下を確認してください:
- このセクションの手順は、Google Cloud管理者が実施する必要があります。
- Data Lockerに書き込まれたファイルは、書き込みから25時間以上経過した後に削除できます。それ以前には削除しないでください。
GCS管理者向け情報
Data Lockerは、ストレージにデータをストリーミングするためのAppsFlyerソリューションです。
要件
- Data Locker専用のGCSバケットを作成してください。「専用」とは、他のサービスからそのバケットへデータを書き込まないことを意味します。
- 推奨バケット名:
af-datalocker - 以下の手順に従って、Data Lockerに必要な権限を付与してください。
Data Lockerに権限を付与するには:
以下の手順では、data-locker-exampleを、事前にData Locker用として作成したバケット名に置き換えてください。
- GCSコンソールにログインします。
-
Storage > Storage browserの順に移動します。
- 事前に作成したバケット(例:
data-locker-example)を選択します。 - Permissionsタブを開きます。
-
+Addをクリックします。
メンバーの追加画面が開きます。 - 以下のように設定します:
- Saveをクリックしてください。
AWSストレージ
開始する前に、以下を確認してください:
- このセクションの手順は、AWS管理者が実施する必要があります。
- Data Lockerに書き込まれたファイルは、書き込みから25時間以上経過した後に削除できます。それ以前には削除しないでください。
AWS管理者向け情報
Data Lockerは、ストレージにデータをストリーミングするためのAppsFlyerソリューションです。
要件
- af-datalocker-mybucketのような名前のAWSバケットを作成します。バケット名の先頭には、必ずaf-datalocker-を付ける必要があります。 af-datalocker-以降の文字列は任意です。
- 推奨形式は、af-datalocker-yyyy-mm-dd-hh-mm-free-textです。 yyyy-mm-dd-hh-mmには現在の日時を入力し、その後に任意の文字列を追加します。
AWSコンソール上の表示例
バケットを作成したら、以下の手順でAppsFlyerに必要な権限を付与します。
バケットを作成し、AppsFlyerに権限を付与するには:
- AWSコンソールにログインします。
- S3サービスを開きます。
-
バケットの作成方法:
- Create bucketをクリックします。
-
Bucket nameに、
af-datalocker-から始まる名前を入力します。 その後に、前述のとおり任意の文字列を追加します。 - サポート対象のAWSリージョンのいずれかを指定します。
- Create Bucketをクリックします。
-
AppsFlyerに権限を付与するには:
- 作成したバケットを選択します。
- Permissionsタブを開きます。
-
Bucket policy セクションにて、Editをクリックします。
Bucket policyウィンドウが開きます。 -
Paste the following snippet into the window.
{ "Version": "2012-10-17", "Statement": [ { "Sid": "AF_DataLocker_Direct", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default" }, "Action": [ "s3:GetObject", "s3:ListBucket", "s3:DeleteObject", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::af-datalocker-my-bucket", "arn:aws:s3:::af-datalocker-my-bucket/*" ] } ] }
- 上記のコード内にある
af-datalocker-my-bucketを、実際に作成したバケット名に置き換えます。 -
[オプション] KMS暗号化バケットのサポートを追加します。[任意]KMSで暗号化されたバケットをサポートする場合:Key PolicyセクションでSwitch to policy viewを選択し、以下をStatement配列内に貼り付けます。
{ "Sid": "Allow use of the key", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default" }, "Action": "kms:GenerateDataKey*", "Resource": "*" } - 変更を保存をクリックします。
- Data Lockerの設定手順を完了します。
サポート対象のAWSリージョン
Data Lockerでは、以下のAWSリージョンをサポートしています。
- Asia Pacific (Tokyo):
ap-northeast-1 - Asia Pacific (Seoul):
ap-northeast-2 - Asia Pacific (Mumbai):
ap-south-1 - Asia Pacific (Singapore):
ap-southeast-1 - Asia Pacific (Sydney):
ap-southeast-2 - Canada (Central):
ca-central-1 - EU (Frankfurt):
eu-central-1 - EU (Ireland):
eu-west-1 - EU (London):
eu-west-2 - South America (São Paulo):
sa-east-1 - US East (N. Virginia):
us-east-1 - US East (Ohio):
us-east-2 - US West (N. California):
us-west-1 - US West (Oregon):
us-west-2
Azureストレージ
開始する前に、以下を確認してください:
- このセクションの手順は、Azure Cloud管理者が実施する必要があります。
- Data Lockerに書き込まれたファイルは、書き込みから25時間以上経過した後に削除できます。それ以前には削除しないでください。
Azure管理者向けの情報
Data Lockerは、ストレージアカウントにデータをストリーミングするためのAppsFlyerソリューションです。
Data Locker用のストレージアカウントを設定するには:
- AzureポータルでAzure storage accountsを開き、
Createをクリックして、AppsFlyerデータを受信するためのストレージアカウントを作成します。
Createをクリックし、Appsflyerのデータを取得するための新しいストレージアカウントを作成します。
-
Basicタブ > Project detailsで、ドロップダウンから以下を選択します。
- Subscription
- A Resource Group.Resource Group
任意:Resource Groupが存在しない場合は、Create newをクリックして作成します。
-
Instance detailsで以下を設定します。
- Storage account nameを入力します。
- ドロップダウンからRegionを選択します。
- 次に、Advanced をクリックします。
- Securityタブで、Enable Hierarchical namespaceを選択します。
- Review > Createをクリックします。
- デプロイが完了したら、Azure storage accountsに戻り、新しく作成したアカウントを選択します。
- Access keysを開き、以下をコピーします。 ・Storage account name ・いずれか1つのkey
-
Storage browser > Blob containersに移動し、
Add container.
- 新しいコンテナの名称を入力します。
- Createをクリックします。
- 設定が完了したら、AppsFlyerでData Locker >
新規接続に移動します。
- 新しい接続では、次のようになります:
- 接続名を入力します。
- Azure Blobを選択します。
- Bucket Nameのフィールドに、手順9で作成したAzureのContainer nameを入力します。
- 手順8でコピーしたStorage account nameを入力します。
- 手順8でコピーしたKeyを入力します。
- 接続テストをクリックします。
- 保存します。
[ベータ版]Yandex Cloudストレージ
開始する前に、以下を確認してください:
- このセクションの手順は、ご利用のYandex Cloudの管理者が実行する必要があります。
- Data Lockerに書き込まれたファイルは、書き込みから25時間以上経過した後に削除できます。それ以前には削除しないでください。
Yandex管理者向けの情報
Data Lockerは、ストレージにデータをストリーミングするためのAppsFlyerソリューションです。
バケットを作成し、Data Lockerの権限を付与する:
- Yandex CloudコンソールでService Accountsタブを開き、Create service accountをクリックします。
- サービスアカウントに名前を付けます。 (例:
af-datalocker) - サービスアカウント用のStatic Access Keyを作成します。サービスアカウントで
- Create a new keyをクリックします。
- Create static access keyを選択します。
- Key IDとSecret Keyを保存します。
- 新しく作成したサービスアカウントに、storage.editor権限を付与します。
- バケット設定でAccess Bindingsを開き、Assign bindingsをクリックします。
- 新しいサービスアカウントにstorage.editorロールを追加し、Saveをクリックします。
- Data LockerでYandexを有効にするには、AppsFlyerのCSMにお問い合わせください。
- 有効化後、Data Lockerの設定時に、Key IDとSecret Keyを使用します。
データウェアハウス型クラウドストレージ
BigQuery
このセクションの手順は、BigQuery管理者が実行する必要があります。
BigQuery管理者向けの情報
Data Lockerは、ストレージにデータをストリーミングするためのAppsFlyerソリューションです。
要件
- BigQuery Datasetの作成
BigQuery Datasetを作成するには:
- BigQueryで、新しいProjectを作成するか、既存のProjectを使用します。
- Project内でCREATE DATASETをクリックします。
-
Datasetに適切なIDを設定します。
Note
送信先となるProjectまたはDatasetが、有効なBilling Accountに紐づいていることを確認してください。 Billing Accountが設定されていない場合、Data LockerはBigQueryの送信先にテーブルを作成したり、データを書き込んだりできないため、接続設定に失敗する場合があります。
- AppsFlyerにDatasetへのアクセス権を付与します。(参考:BigQueryの手順)
- Add principalには、以下のAppsFlyerユーザーを指定してください:datalocker-bq-admin-prod@datalocker-bq-prod.iam.gserviceaccount.com
- 役割の割り当てでは、BigQuery Data Editorを選択します。
- 必要に応じて、残りの設定を完了します。
Snowflake
Data LockerをSnowflakeアカウントに接続できます。接続すると、データがSnowflakeへ送信されると同時に、選択したクラウドストレージでも引き続き利用できます。
BI開発者向けの考慮事項
- The data freshness rate is the same as that of the data provided in a bucket.
- データのテーブル構造およびカラム構造は、Data Lockerバケットから直接取得できるデータと同等です。
- Snowflake Shareに行が追加される際、
_ingestion_timeカラムには、UTCではなくシステムのローカルタイムゾーンで値が設定されます。行の一意性を確保し、同じ行を複数回取り込まないようにするには、以下の対応を行ってください。- 取り込んだテーブルごとに
max_ingestion_timeを保存します。 - 取り込み処理を実行するたびに、以下の条件を満たす行のみを取り込みます:
_ingestion_time > max_ingestion_time
- 取り込んだテーブルごとに
以下の手順に従って、SnowflakeをData Lockerに接続してください。
Snowflakeコネクタの設定手順
SnowflakeのAccount IDとRegionを確認するには:
- Snowflakeで、Snowflakeアカウントにログインします。
-
メニューバーから自分の名前を選択します。
Account IDとRegionが表示されます。
Data LockerをSnowflakeに接続するには:
- AppsFlyerで、Reports > Data Lockerに移動します。
- Snowflakeを選択します。
- Snowflakeから取得した情報を使用して、Snowflake RegionとAccount Locatorを入力します。
- Saveをクリックしてください。
SnowflakeのShareからDatabaseを作成するには:
- Snowflakeで、Snowflakeアカウントにログインします。
- Accountadminにロールを切り替えてください。シェアからデータベースを作成を参照してください。
- Shares を選択してください。
- AppsFlyerのShareを選択します。 (例:APPSFLYER_ACC_XXX_DATA_LOCKER)
- Create Database from Secure Shareをクリックし、必要な情報を入力します。注意Shared Database内のデータは一定期間(現在は14日間)のみ利用可能です。そのため、Shared Databaseからお客様自身のテーブルへデータを取り込む必要があります。
-
Database内に、取り込まれたテーブルが表示されます。テーブル名と構造は、Data Lockerバケット内のものと同等です。
特性と制限
| Trait | 説明 |
|---|---|
| AppsFlyerクラウド接続 | レポートを非圧縮の状態で保存することはできません。 |
| BigQuery DatasetのLocation変更 | BigQueryでDatasetのLocationを変更した場合、AppsFlyer側で接続を再保存する必要があります。 AppsFlyerの接続設定自体を変更する必要がないため、そのままではSaveボタンが無効になっています。一時的に設定を変更して接続を保存した後、その変更を元に戻し、もう一度接続を保存してください。 |
| サポート対象のSnowflake Region |
AWSでサポートされるRegion:
AzureでサポートされるRegion:
GCPでサポートされるRegion:
|
See also