概要:Data Lockerからデータを受信できるように、GCS、AWS、BigQuery、Snowflakeのクラウドサービスを設定します。
Data Lockerでは、自社所有のバケットやデータウェアハウスなど、選択したストレージにデータをストリーミング配信できます。以下のいずれかの手順で、クラウドサービスを設定してください。
バケット型のクラウドストレージ
GCSストレージ
始める前に、以下を確認してください。
- このセクションの手順は、自社のGoogle Cloud管理者が実施する必要があります。
- Data Lockerから書き込まれたファイルは、書き込みから25時間以上経過した後に削除できます。それより前に削除しないでください。
GCS管理者向けの情報
Data Lockerは、ストレージにデータをストリーミング配信するAppsFlyerのソリューションです。
要件
- Data Locker専用のGCSバケットを作成します。専用とは、他のサービスがそのバケットにデータを書き込まないことを意味します。
- 推奨バケット名:
af-datalocker。 - 以下の手順で、Data Lockerに権限を付与します。
Data Lockerへの権限付与:
以下の手順では、data-locker-exampleを、Data Locker用に作成したバケット名に置き換えてください。
- GCSコンソールにログインします。
-
Storage > Storage browserに移動します。
- 作成済みのバケット(
data-locker-exampleなど)を選択します。 - Permissionsタブに移動します。
-
+Addをクリックします。
Add membersウィンドウが開きます。 - 以下のように入力します。
- 保存をクリックします。
AWSストレージ
始める前に、以下を確認してください。
- このセクションの手順は、自社のAWS管理者が実施する必要があります。
- Data Lockerから書き込まれたファイルは、書き込みから25時間以上経過した後に削除できます。それより前に削除しないでください。
AWS管理者向けの情報
Data Lockerは、ストレージにデータをストリーミング配信するAppsFlyerのソリューションです。
要件
- af-datalocker-mybucketという名前でAWSバケットを作成します。 af-datalocker-プレフィックスは必須です。末尾には任意のテキストを指定できます。
- af-datalocker-yyyy-mm-dd-hh-mm-free-textという形式を推奨します。 yyyy-mm-dd-hh-mmは現在の日時です。以下の図のように、任意のテキストを追加します。
AWSコンソールの画面
バケットを作成したら、以下の手順でAppsFlyerに権限を付与します。
バケットの作成とAppsFlyerへの権限付与:
- AWSコンソールにログインします。
- S3サービスに移動します。
-
バケットの作成:
- Create bucketをクリックします。
-
Bucket nameには、先頭に
af-datalocker-を付け、前述のとおり任意のテキストを続けます。 - 対応するAWSリージョンのいずれかを指定します。
- Create bucketをクリックします。
-
AppsFlyerへの権限付与:
- バケットを選択します。
- Permissionsタブに移動します。
-
Bucket policyセクションで、Editをクリックします。
Bucket policyウィンドウが開きます。 -
以下のスニペットをウィンドウに貼り付けます。
{ "Version": "2012-10-17", "Statement": [ { "Sid": "AF_DataLocker_Direct", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default" }, "Action": [ "s3:GetObject", "s3:ListBucket", "s3:DeleteObject", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::af-datalocker-my-bucket", "arn:aws:s3:::af-datalocker-my-bucket/*" ] } ] }
- スニペット内の
af-datalocker-my-bucketを、作成したバケット名に置き換えます。 -
[任意]KMSで暗号化されたバケットへの対応を追加します。 Key PolicyセクションでSwitch to policy viewを選択し、以下のスニペットをStatement配列に貼り付けます。
{ "Sid": "Allow use of the key", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default" }, "Action": "kms:GenerateDataKey*", "Resource": "*" } - Save changesをクリックします。
- Data Lockerの設定手順を完了します。
対応するAWSリージョン
Data Lockerは、以下のAWSリージョンに対応しています。
- アジアパシフィック(東京):
ap-northeast-1 - アジアパシフィック(ソウル):
ap-northeast-2 - アジアパシフィック(ムンバイ):
ap-south-1 - アジアパシフィック(シンガポール):
ap-southeast-1 - アジアパシフィック(シドニー):
ap-southeast-2 - カナダ(中部):
ca-central-1 - EU(フランクフルト):
eu-central-1 - EU(アイルランド):
eu-west-1 - EU(ロンドン):
eu-west-2 - 南米(サンパウロ):
sa-east-1 - 米国東部(北部バージニア):
us-east-1 - 米国東部(オハイオ):
us-east-2 - 米国西部(北部カリフォルニア):
us-west-1 - 米国西部(オレゴン):
us-west-2
Azureストレージ
始める前に、以下を確認してください。
- このセクションの手順は、自社のAzure Cloud管理者が実施する必要があります。
- Data Lockerから書き込まれたファイルは、書き込みから25時間以上経過した後に削除できます。それより前に削除しないでください。
Azure管理者向けの情報
Data Lockerは、ストレージアカウントにデータをストリーミング配信するAppsFlyerのソリューションです。
Data Locker用のストレージアカウントを設定するには:
- AzureポータルでAzure storage accountsに移動します。
Createをクリックし、AppsFlyerのデータを取得するためのストレージアカウントを作成します。
-
BasicタブのProject detailsで、以下をドロップダウンから選択します。
- Subscriptionを選択します。
-
Resource Groupを選択します。
任意:リソースグループがない場合は、Create newをクリックして作成します。
-
Instance detailsで、以下を設定します。
- Storage account nameを入力します。
- ドロップダウンからRegionを選択します。
- Next: Advanced >をクリックします。
- Securityタブで、Enable Hierarchical namespaceを選択します。
- Review > Createをクリックします。
- デプロイ完了後、Azure storage accountsに戻り、作成したアカウントを選択します。
- Access keysに移動し、Storage account nameと、いずれか1つのキーをコピーします。
-
Storage browser > Blob containersに移動し、
Add containerをクリックします。
- 新しいコンテナーのNameを入力します。
- Createをクリックします。
- 有効になったら、AppsFlyerでData Locker >
New connectionに移動します。
- 新しい接続で、以下を設定します。
- 接続名を入力します。
- Azure Blobを選択します。
- Bucket Nameフィールドに、AzureのContainer name(手順9で作成したもの)を入力します。
- 手順8でコピーしたStorage account nameを入力します。
- 手順8でコピーしたKeyを入力します。
- Test connectionをクリックします。
- 保存します。
[Beta機能]Yandex Cloudストレージ
始める前に、以下を確認してください。
- このセクションの手順は、自社のYandex Cloud管理者が実施する必要があります。
- Data Lockerから書き込まれたファイルは、書き込みから25時間以上経過した後に削除できます。それより前に削除しないでください。
Yandex管理者向けの情報
Data Lockerは、ストレージにデータをストリーミング配信するAppsFlyerのソリューションです。
バケットを作成し、Data Lockerに権限を付与するには:
- Yandex CloudコンソールでService Accountsタブに移動し、Create service accountをクリックします。
- サービスアカウントに、
af-datalockerなどの名前を付けます。 - サービスアカウントの静的アクセスキーを作成します。サービスアカウントで、以下を実行します。
- Create a new keyをクリックします。
- Create static access keyを選択します。
- Key IDとSecret Keyを保存します。
- 新しいサービスアカウントに、storage.editor権限を付与します。
- バケット設定でAccess Bindingsに移動し、Assign bindingsをクリックします。
- 新しいサービスアカウントにstorage.editorロールを追加し、保存をクリックします。
- 担当のAppsFlyer CSMに連絡し、Data LockerでYandexを有効にしてもらいます。
- 有効になったら、Data Lockerの設定でキーIDとシークレットキーを使用します。
データウェアハウス型のクラウドストレージ
BigQuery
このセクションの手順は、自社のBigQuery管理者が実施する必要があります。
BigQuery管理者向けの情報
Data Lockerは、ストレージにデータをストリーミング配信するAppsFlyerのソリューションです。
要件
- BigQueryデータセットの作成
BigQueryデータセットを作成するには:
- BigQueryでプロジェクトを新規作成するか、既存のプロジェクトを使用します。
- プロジェクト内で、CREATE DATASETをクリックします。
-
データセットに適切なIDを付けます。
注意
対象のプロジェクトまたはデータセットが、有効な請求先アカウントにリンクされていることを確認します。請求先アカウントがないと、Data LockerはBigQueryの送信先でテーブルを作成したり、書き込んだりできず、接続設定に失敗する可能性があります。
- データセットへのアクセス権限をAppsFlyerに付与します。 BigQueryの手順を参照
- Add principalには、AppsFlyerのユーザーdatalocker-bq-admin-prod@datalocker-bq-prod.iam.gserviceaccount.comを指定します。
- Assign rolesには、BigQuery Data Editorを選択します。
- その他の設定は、必要に応じて行います。
Snowflake
Data Lockerを自社のSnowflakeアカウントに接続します。データがSnowflakeに送信されるようになり、選択したクラウドストレージでも引き続き取得できます。
BI開発者向けの留意点
- データの更新頻度・反映時間は、バケットに提供されるデータと同じです。
- データのテーブルと列の構成は、Data Lockerのバケットから直接取得するデータと同じです。
- Snowflakeの共有に行が追加されると、
_ingestion_time列にはシステムのローカルタイムゾーン(UTCではありません)で時刻が入力されます。行の一意性を保ち、同じ行を複数回取り込まないために:- 取り込んだテーブルごとに
max_ingestion_timeを保存します。 - 取り込み処理を実行するたびに、
_ingestion_time > max_ingestion_timeを満たす行だけを取り込みます。
- 取り込んだテーブルごとに
以下の手順を完了して、SnowflakeをData Lockerに接続します。
Snowflakeコネクターの設定手順
SnowflakeのアカウントIDとリージョンの確認:
- Snowflakeで、自社のアカウントにログインします。
-
メニューバーで、自分の名前を選択します。
アカウントIDとリージョンが表示されます。
Data LockerとSnowflakeの接続:
- AppsFlyerでレポート > Data Lockerに移動します。
- Snowflakeを選択します。
- Snowflakeで確認した情報に基づいて、リージョンとアカウントロケーターを入力します。
- 保存をクリックします。
Snowflakeの共有からデータベースを作成するには:
- Snowflakeで、自社のアカウントにログインします。
- ロールをAccountadminに切り替えます。共有からのデータベースの作成を参照してください。
- Sharesを選択します。
- AppsFlyerの共有(APPSFLYER_ACC_XXX_DATA_LOCKERなど)を選択します。
- Create Database from Secure Shareをクリックし、必要な情報を入力します。注意共有データベース内のデータは限られた期間(現在は14日間)のみ取得可能なため、自社のテーブルに取り込む必要があります。
-
自社のデータベースに、取り込まれたテーブルが表示されます。テーブル名と構造は、Data Lockerのバケット内のものと同じです。
特徴と制限事項
| 項目 | 説明 |
|---|---|
| AppsFlyerクラウド接続 | レポートを非圧縮で保存することはできません。 |
| BigQueryデータセットのロケーション変更 | BigQueryでデータセットのロケーションを変更した場合は、AppsFlyerで接続を保存し直す必要があります。 AppsFlyerの接続設定自体を変更する必要がないため、保存ボタンは無効になっています。ボタンを有効にするには、一時的な変更を加えて接続を保存し、その変更を元に戻して再度保存してください。 |
| 対応するSnowflakeリージョン |
AWSの対応リージョン:
Azureの対応リージョン:
GCPの対応リージョン:
|
関連記事