どのようにお手伝いできますか?

Data Locker | クラウドサービスの設定

  • 更新

概要:Data Lockerからデータを受信できるように、GCS、AWS、BigQuery、Snowflakeのクラウドサービスを設定します。

Data Lockerでは、自社所有のバケットやデータウェアハウスなど、選択したストレージにデータをストリーミング配信できます。以下のいずれかの手順で、クラウドサービスを設定してください。

バケット型のクラウドストレージ

GCSストレージ

始める前に、以下を確認してください。

  • このセクションの手順は、自社のGoogle Cloud管理者が実施する必要があります。
  • Data Lockerから書き込まれたファイルは、書き込みから25時間以上経過した後に削除できます。それより前に削除しないでください。

GCS管理者向けの情報

Data Lockerは、ストレージにデータをストリーミング配信するAppsFlyerのソリューションです。

要件

  • Data Locker専用のGCSバケットを作成します。専用とは、他のサービスがそのバケットにデータを書き込まないことを意味します。 
  • 推奨バケット名:af-datalocker。
  • 以下の手順で、Data Lockerに権限を付与します。

Data Lockerへの権限付与:

以下の手順では、data-locker-exampleを、Data Locker用に作成したバケット名に置き換えてください。 

  1. GCSコンソールにログインします。
  2. Storage > Storage browserに移動します。
     

    mceclip0.png

  3. 作成済みのバケット(data-locker-exampleなど)を選択します。 
  4. Permissionsタブに移動します。 
  5. +Addをクリックします。
    Add membersウィンドウが開きます。
  6. 以下のように入力します。
    1. New membersに、以下のスニペットを貼り付けます。

      af-data-delivery@af-raw-data.iam.gserviceaccount.com
    2. Select a role:Cloud storage > Storage Object Admin。 

      mceclip0.png

  7. 保存をクリックします。 

AWSストレージ

始める前に、以下を確認してください。

  • このセクションの手順は、自社のAWS管理者が実施する必要があります。
  • Data Lockerから書き込まれたファイルは、書き込みから25時間以上経過した後に削除できます。それより前に削除しないでください。

AWS管理者向けの情報

Data Lockerは、ストレージにデータをストリーミング配信するAppsFlyerのソリューションです。

要件

  • af-datalocker-mybucketという名前でAWSバケットを作成します。 af-datalocker-プレフィックスは必須です。末尾には任意のテキストを指定できます。
  • af-datalocker-yyyy-mm-dd-hh-mm-free-textという形式を推奨します。 yyyy-mm-dd-hh-mmは現在の日時です。以下の図のように、任意のテキストを追加します。

AWSコンソールの画面

MyBucket.jpg

バケットを作成したら、以下の手順でAppsFlyerに権限を付与します。 

バケットの作成とAppsFlyerへの権限付与: 

  1. AWSコンソールにログインします。
  2. S3サービスに移動します。
  3. バケットの作成:
    1. Create bucketをクリックします。
    2. Bucket nameには、先頭にaf-datalocker-を付け、前述のとおり任意のテキストを続けます。
    3. 対応するAWSリージョンのいずれかを指定します。
    4. Create bucketをクリックします。
  4. AppsFlyerへの権限付与:
    1. バケットを選択します。 
    2. Permissionsタブに移動します。 
    3. Bucket policyセクションで、Editをクリックします。 
      Bucket policyウィンドウが開きます。
    4. 以下のスニペットをウィンドウに貼り付けます。

      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "AF_DataLocker_Direct",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
            "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Resource": [
              "arn:aws:s3:::af-datalocker-my-bucket",
              "arn:aws:s3:::af-datalocker-my-bucket/*"
            ]
          }
        ]
      }
      
  5. スニペット内のaf-datalocker-my-bucketを、作成したバケット名に置き換えます。
  6. [任意]KMSで暗号化されたバケットへの対応を追加します。 Key PolicyセクションでSwitch to policy viewを選択し、以下のスニペットをStatement配列に貼り付けます。
     

    {
          "Sid": "Allow use of the key",
          "Effect": "Allow",
          "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
          },
          "Action": "kms:GenerateDataKey*",
          "Resource": "*"
      }
    
  7. Save changesをクリックします。
  8. Data Lockerの設定手順を完了します。

対応するAWSリージョン

Data Lockerは、以下のAWSリージョンに対応しています。

  • アジアパシフィック(東京):ap-northeast-1
  • アジアパシフィック(ソウル):ap-northeast-2
  • アジアパシフィック(ムンバイ):ap-south-1
  • アジアパシフィック(シンガポール):ap-southeast-1
  • アジアパシフィック(シドニー):ap-southeast-2
  • カナダ(中部):ca-central-1
  • EU(フランクフルト):eu-central-1
  • EU(アイルランド):eu-west-1
  • EU(ロンドン):eu-west-2
  • 南米(サンパウロ):sa-east-1
  • 米国東部(北部バージニア):us-east-1
  • 米国東部(オハイオ):us-east-2
  • 米国西部(北部カリフォルニア):us-west-1
  • 米国西部(オレゴン):us-west-2

Azureストレージ

始める前に、以下を確認してください。

  • このセクションの手順は、自社のAzure Cloud管理者が実施する必要があります。
  • Data Lockerから書き込まれたファイルは、書き込みから25時間以上経過した後に削除できます。それより前に削除しないでください。

Azure管理者向けの情報

Data Lockerは、ストレージアカウントにデータをストリーミング配信するAppsFlyerのソリューションです。

Data Locker用のストレージアカウントを設定するには:

  1. AzureポータルでAzure storage accountsに移動します。 predict_dashboard_plus_symbol.pngCreateをクリックし、AppsFlyerのデータを取得するためのストレージアカウントを作成します。
  2. BasicタブのProject detailsで、以下をドロップダウンから選択します。
    1. Subscriptionを選択します。 
    2. Resource Groupを選択します。
      任意:リソースグループがない場合は、Create newをクリックして作成します。
  3. Instance detailsで、以下を設定します。
    1. Storage account nameを入力します。
    2. ドロップダウンからRegionを選択します。
  4. Next: Advanced >をクリックします。
  5. Securityタブで、Enable Hierarchical namespaceを選択します。
  6. Review > Createをクリックします。
  7. デプロイ完了後、Azure storage accountsに戻り、作成したアカウントを選択します。
  8. Access keysに移動し、Storage account nameと、いずれか1つのキーをコピーします。 
  9. Storage browser > Blob containersに移動し、 predict_dashboard_plus_symbol.pngAdd containerをクリックします。
    1. 新しいコンテナーのNameを入力します。
    2. Createをクリックします。
  10. 有効になったら、AppsFlyerでData Locker > predict_dashboard_plus_symbol.pngNew connectionに移動します。
  11. 新しい接続で、以下を設定します。
    1. 接続名を入力します。
    2. Azure Blobを選択します。
    3. Bucket Nameフィールドに、AzureのContainer name(手順9で作成したもの)を入力します。
    4. 手順8でコピーしたStorage account nameを入力します。
    5. 手順8でコピーしたKeyを入力します。
    6. Test connectionをクリックします。
    7. 保存します。

[Beta機能]Yandex Cloudストレージ

始める前に、以下を確認してください。

  • このセクションの手順は、自社のYandex Cloud管理者が実施する必要があります。
  • Data Lockerから書き込まれたファイルは、書き込みから25時間以上経過した後に削除できます。それより前に削除しないでください。

Yandex管理者向けの情報

Data Lockerは、ストレージにデータをストリーミング配信するAppsFlyerのソリューションです。

バケットを作成し、Data Lockerに権限を付与するには:

  1. Yandex CloudコンソールでService Accountsタブに移動し、Create service accountをクリックします。
  2. サービスアカウントに、af-datalockerなどの名前を付けます。
  3. サービスアカウントの静的アクセスキーを作成します。サービスアカウントで、以下を実行します。
    1. Create a new keyをクリックします。
    2. Create static access keyを選択します。
    3. Key IDとSecret Keyを保存します。
  4. 新しいサービスアカウントに、storage.editor権限を付与します。
    1. バケット設定でAccess Bindingsに移動し、Assign bindingsをクリックします。
    2. 新しいサービスアカウントにstorage.editorロールを追加し、保存をクリックします。
  5. 担当のAppsFlyer CSMに連絡し、Data LockerでYandexを有効にしてもらいます。
  6. 有効になったら、Data Lockerの設定でキーIDとシークレットキーを使用します。

データウェアハウス型のクラウドストレージ

BigQuery

このセクションの手順は、自社のBigQuery管理者が実施する必要があります。

BigQuery管理者向けの情報

Data Lockerは、ストレージにデータをストリーミング配信するAppsFlyerのソリューションです。

要件

  • BigQueryデータセットの作成

BigQueryデータセットを作成するには: 

  1. BigQueryでプロジェクトを新規作成するか、既存のプロジェクトを使用します。
  2. プロジェクト内で、CREATE DATASETをクリックします。 GCSCreateDataSEt_1_.png
  3. データセットに適切なIDを付けます。

    注意

    対象のプロジェクトまたはデータセットが、有効な請求先アカウントにリンクされていることを確認します。請求先アカウントがないと、Data LockerはBigQueryの送信先でテーブルを作成したり、書き込んだりできず、接続設定に失敗する可能性があります。

  4. データセットへのアクセス権限をAppsFlyerに付与します。 BigQueryの手順を参照
  5. その他の設定は、必要に応じて行います。 

Snowflake

Data Lockerを自社のSnowflakeアカウントに接続します。データがSnowflakeに送信されるようになり、選択したクラウドストレージでも引き続き取得できます。

BI開発者向けの留意点

  • データの更新頻度・反映時間は、バケットに提供されるデータと同じです。
  • データのテーブルと列の構成は、Data Lockerのバケットから直接取得するデータと同じです。
  • Snowflakeの共有に行が追加されると、_ingestion_time列にはシステムのローカルタイムゾーン(UTCではありません)で時刻が入力されます。行の一意性を保ち、同じ行を複数回取り込まないために:
    1. 取り込んだテーブルごとにmax_ingestion_timeを保存します。
    2. 取り込み処理を実行するたびに、_ingestion_time > max_ingestion_timeを満たす行だけを取り込みます。

以下の手順を完了して、SnowflakeをData Lockerに接続します。 

Snowflakeコネクターの設定手順

SnowflakeのアカウントIDとリージョンの確認:

  1. Snowflakeで、自社のアカウントにログインします。
  2. メニューバーで、自分の名前を選択します。
    アカウントIDとリージョンが表示されます。

    Snowflakeのアカウント情報

Data LockerとSnowflakeの接続:

  1. AppsFlyerでレポート > Data Lockerに移動します。
  2. Snowflakeを選択します。
  3. Snowflakeで確認した情報に基づいて、リージョンとアカウントロケーターを入力します。
  4. 保存をクリックします。

Snowflakeの共有からデータベースを作成するには:

  1. Snowflakeで、自社のアカウントにログインします。
  2. ロールをAccountadminに切り替えます。共有からのデータベースの作成を参照してください。
  3. Sharesを選択します。
  4. AppsFlyerの共有(APPSFLYER_ACC_XXX_DATA_LOCKERなど)を選択します。
  5. Create Database from Secure Shareをクリックし、必要な情報を入力します。注意共有データベース内のデータは限られた期間(現在は14日間)のみ取得可能なため、自社のテーブルに取り込む必要があります。  
  6. 自社のデータベースに、取り込まれたテーブルが表示されます。テーブル名と構造は、Data Lockerのバケット内のものと同じです。

     

特徴と制限事項

項目 説明
AppsFlyerクラウド接続 レポートを非圧縮で保存することはできません。
BigQueryデータセットのロケーション変更 BigQueryでデータセットのロケーションを変更した場合は、AppsFlyerで接続を保存し直す必要があります。 AppsFlyerの接続設定自体を変更する必要がないため、保存ボタンは無効になっています。ボタンを有効にするには、一時的な変更を加えて接続を保存し、その変更を元に戻して再度保存してください。
対応するSnowflakeリージョン

AWSの対応リージョン:

  • us-east-1
  • us-east-2
  • us-west-2
  • eu-west-1
  • eu-west-2
  • eu-west-3
  • eu-central-1
  • eu-north-1
  • ca-central-1
  • sa-east-1
  • ap-south-1
  • ap-southeast-1
  • ap-southeast-2
  • ap-northeast-1
  • ap-northeast-2
  • ap-northeast-3

Azureの対応リージョン:

  • australia-east
  • east-us-2
  • central-us
  • southcentral-us
  • west-europe
  • west-us-2

GCPの対応リージョン:

  • 対応は限定的です。ご利用のリージョンで対応しているかどうかは、AppsFlyerサポートにお問い合わせください。

関連記事