概要:Data Lockerを使用することで、レポートデータをクラウドストレージに送信し、広告主のBIシステムに読み込むことができます。AWS上のAppsFlyerが所有するバケット、広告主が所有する AWS および GCS 上のストレージ、またはSnowflakeなど、さまざまなストレージを選択できます。Data Lockerは、複数のストレージ先をサポートしています。つまり、すべてのデータを複数の宛先に送信したり、宛先ごとにデータを分離したり、またはその両方を実行することができます。各ストレージ先ごとに、Parquet または CSV を選択してください。
Data Locker
関連記事:
Data Locker にて、クラウドストレージに格納するAppsFlyer から配信するデータに含めたいアプリ、メディアソース、イベント、レポートを選択してください。その後、ストレージから自社システムへプログラムで読み込ませてください。
Data Locker—機能
機能 | 説明 |
---|---|
ストレージオプション(クラウド) |
Data Lockerは、次のクラウドサービスプロバイダーへデータを送信できます。
Data Lockerでは複数のストレージを設定できます。つまり、全てまたは一部のデータを複数のストレージに送信することができます。 例
|
複数アプリ |
アカウント内の1つ、複数、または全てのアプリのデータを送信します。アカウントにアプリを追加したときに、それらを自動的に含めることができます。 |
利用可能なデータ期間 |
14日間 |
データの分離 |
利用可能なデータ分離オプション
|
データ形式のオプション |
|
最後のデータ更新 |
更新頻度はレポートタイプによって異なります
|
Big queryとGoogle Data Studio |
GCSストレージにデータを書き込んだ場合、Big Queryは中間処理なしでData Lockerファイルを直接読み込むことができます。Google Data Studioなど、Big Query以外の他のツールを使って、データを視覚化することができます。 |
Data Lockerで取得できるレポート
データストレージのアーキテクチャ
概要
ストレージ内のデータ構造は、データが送信されるクラウドストレージまたはデータウェアハウスによって異なります。ここで説明するフォルダの構成は、ストレージ(バケット)に適用されるものです。データウェアハウスストレージ(Snowflake)の場合、フォルダはビューに適用されると考えてください。詳細は、Snowflakeを参照してください。
各種データは、選択したストレージオプションに書き込まれます。クラウドストレージの場合、ストレージはAppsFlyerが所有するAWS、または独自に所有するAWSまたはGCSです。ストレージオプションはいつでも切り替えたり、データの一部またはすべてを複数のストレージオプションに送信したりできます。
ストレージ内のデータは、レポートのタイプ、日付、および時刻に従って、階層的なフォルダ構造で編成されます。次の図は、この構造の例を示しています。
特定のレポートのデータは、そのレポートに関連付けられた時間 (h) フォルダに格納されます。
- 時間フォルダの数は、レポートデータの更新頻度 (毎時、毎日、またはバージョン別) によって異なります。
- データはGZ圧縮ファイルで、ParquetまたはCSV形式で提供されます。
- データファイルは列(項目)で構成されています。
- ユーザージャーニーレポートのスキーマ(項目)構造は同じであり、お客様が選択した項目により異なります。その他のレポートは、それぞれ独自の明示的な項目を持つ、別名スキーマレスレポートです。利用できるレポートとレポートの仕様へのリンクについては、マーケター向けのData Lockerを参照してください。
フォルダの構成
フォルダ | 説明 |
---|---|
サブスクリプション ID |
バケット所有者とクラウドプロバイダーに基づくフォルダの構成の例
|
Topic (t) | レポートタイプはレポートの主題に関連します。 |
Date (dt) |
これはデータの日付に関連します。ローデータの場合、これはイベントが発生した日を意味します。集計データの場合、これはレポート日です。 |
Time (h or version) |
日付フォルダは、レポートの種類によって、hourly (h) または version フォルダに分かれています。 Hourly フォルダ「h」フォルダは、AppsFlyerがデータを受信した時刻に関連します。例えば、インストールイベントを 14:00-15:00 UTC に受信した場合、h=14 ファイルに書き込まれます。注!AppsFlyerにデータが到着してから、h フォルダがData Lockerに書き込まれるまで、約1-3時間のタイムラグがあります。例えば、h=14 フォルダは1時間後の15:00 UTC に書き込まれます。 Hourly フォルダの特性:
Version フォルダ一部のレポートにはバージョン指定のオプションがあります。つまり、ある日の最新データが複数回提供されます。データは、到着が遅れたり、より正確なデータによって更新され続けることがあるため、同じレポートには複数のバージョンがあり、最新のバージョンが最も正確なものとなります。 ある日のレポートは、その日のバージョンフォルダーに含まれています。各バージョンは、レポートを一意に識別するEpochタイムスタンプを使用して名前が設定されている別のフォルダに格納されています。 データのインポート処理では、データが過去にさかのぼって書き込まれる可能性があることを考慮する必要があります。例えば、1月14日に、1月1日フォルダにデータが書き込まれることがあります。広告主がバケットを所有している場合、インポート処理のトリガーとしてクラウドサービスの通知を使用することを検討してください。 (AWS | GCS) |
アプリの分離
分離タイプ | 説明 |
---|---|
[デフォルト] 統合 |
全てのアプリのデータは、統合されたデータファイルにて提供されます。データを取り込む際に、行レベルで app_id 項目を使用してアプリを区別してください。 データファイルの例は、h=2 フォルダをご覧ください データファイルの命名規則は、unique_id.gz です。
|
アプリごとに分離 |
フォルダにはアプリごとのサブフォルダが含まれています。特定のアプリのデータファイルは、アプリフォルダ内に含まれています。次の図では、h=19 フォルダにアプリフォルダが含まれています。各アプリフォルダには関連するデータファイルが含まれています。注!データファイルには app_id が含まれていないため、フォルダを使用して app_id を特定する必要があります。 各アプリのフォルダでの命名規則は、unique_id.gz です。
制限事項:このオプションはピープルベースドアトリビューションレポートでは利用できません。 |
データファイル
コンテンツ | 詳細 | |
---|---|---|
完了フラグ |
最終ファイル(完了)フラグは、対象の h フォルダの全てのデータが書き込まれたあとに設定されます。
|
|
ファイルの種類 |
|
|
列の並び(CSVファイル) |
CSVファイルの場合、レポート項目の順序は常に同じです。新しい項目が追加される場合は、既存項目の右側に追加されます。 この点に関して:
|
|
項目入力に関する考慮事項 |
空白または空の項目:一部の項目には null が入力されるか、空白になります。これは、特定のレポートのコンテキストでは、レポートするデータがないことを意味します。通常、null は、特定のレポートおよびアプリタイプのコンテキストでこの項目に値が入力されないことを意味します。空白("")は、この項目がこのコンテキストに関連しているものの、入力するデータが見つからなかったことを意味します。 制限付きメディアソースの場合、制限された項目の内容は null になります。 一般的に、nullとブランクは同じものであり、利用可能なデータはありません。 タイムゾーンと通貨 アプリ固有のタイムゾーンと通貨設定は、Data Locker に書き込まれるデータには影響しません。次のことが当てはまります。
カンマを含む値:これらのカンマは、二重引用符「"」の間に含まれます。例: |
ストレージオプション
警告!
広告主が所有するストレージオプションを使用する場合:
- GDPR等のデータプライバシー規制とアドネットワーク/SRNのデータ保持ポリシーに準拠していることをご確認ください。
- 広告主所有のストレージソリューションを使用して第三者にデータを送信しないでください。
- データは、選択したストレージ所有者に次のように書き込まれます。
- AppsFlyerストレージ
- 顧客のストレージ—AWSまたはGCS
- ストレージの選択はいつでも変更できます。
- ストレージを変更すると、次のことが起こります。
- 新しく選択したストレージへの書き込みは1時間以内に開始します。
- 7日間の移行期間中、既存のストレージへの書き込みを続行します。移行期間の有効期限がユーザーインターフェイスに表示されます。移行期間を使用して、データ読み込みプロセスを更新してください。必要に応じて移行期間を再開したり、AppsFlyerのバケットに戻したりすることができます。
- ストレージの変更:マルチストレージオプションを使用して複数の宛先に同時にデータを送信することで、あるストレージオプションから別のストレージオプションに移行できます。移行とテストが完了したら、不要になったストレージオプションを削除してください。
AppsFlyer所有ストレージ (AWS) | 広告主所有のストレージ (GCS、AWS、またはSnowflake) | |
---|---|---|
バケット名 | AppsFlyerが設定します |
例: |
ストレージの所有権 | AppsFlyer | マーケティング担当者 |
ストレージプラットフォーム | AWS | AWS, GCS, Snowflake |
データへアクセスするための認証情報 | AppsFlyerアカウントの管理者がData Lockerのユーザーインターフェイスで利用できます。 | AppsFlyerには開示されません。クラウドプロバイダーから提供された認証情報を使用してください。 |
データ保持 | データは14日後に削除されます。 | マーケティング担当者の責任 |
データ削除リクエスト | AppsFlyerの責任です | マーケティング担当者の責任 |
セキュリティ | AppsFlyerがストレージを管理します。顧客は読み込み専用アクセスがあります。 |
マーケターがストレージを管理します。
|
ストレージ容量 | AppsFlyerが管理します | マーケターが管理 |
バケットポリシーでVPCエンドポイントを使用したアクセスコントロール | 不適用 | [オプション] AWSで、バケット単位でVPCエンドポイントセキュリティを実装している場合、AppsFlyerサーバーを許可リストに追加する必要があります。 |
セキュリティご担当者への連絡事項(お客様が管理するストレージの場合)
注意事項:
- バケットまたはストレージ先は、AppsFlyer専用です。この宛先には他のシステムからのデータを送らないでください。
- データを書き込まれた後25時間後に、ストレージ内のデータを削除できます。
- ストレージに書き込まれるデータは、当社のサーバーに既に存在しているデータのコピーです。データは、当社の保持ポリシーに従って引き続き当社のサーバーに格納されます。
- 技術的な理由から、データを削除して書き換えることがあります。このため、削除権限とリスト権限が必要です。どちらの権限もセキュリティリスクではありません。リストの場合、バケットに書き込む唯一のエンティティです。削除の場合、データを再生成することができます。
- 詳細については、hello@appsflyer.com 経由でセキュリティチーム、またはCSMにご連絡ください。
複数連携の原則(複数ディスティネーション)
Data Lockerでは、一部または全てのデータを複数のディスティネーション(連携設定で定義)に送信することができます。例えば、アプリAのデータをAWSへ、アプリBのデータをGCSへ送信できます。
各連携に対して、ディスティネーションを含むData Lockerの設定を全て実行する必要があります。連携設定は互いに独立しています。
連携管理について、以下の点を考慮してください。
- Data Locker設定では、連携はタブに表示されます。各連携には独自の設定タブがあり、そこから連携を管理できます。デフォルトタブは「Data Locker」です。
- 新しい連携を作成する方法:
- 接続の追加をクリックします。
- 連携の名前を入力し、ストレージの種類を選択してください。
- 保存をクリックしてください。
保存したら、連携はデフォルトの「Data Locker」タブの隣に表示されます。各タブのアイコンはストレージの種類を示しています。
- 連携の詳細の確認、連携の複製、連携の削除を行うには、⋮ (オプション) をクリックしてください。
手順
Data Lockerの設定
この手順に従って、Data Lockerを設定してください。Data Locker設定への変更が有効になるには、最大3時間かかります。
前提条件
広告主所有のストレージを設置する方法:
広告主所有のストレージを使用してData Lockerを設定している場合、つまりバケットの所有者が広告主である場合、以下の1つまたは複数の手順を完了してください。
注記!Data Locker のサブスクリプションをお持ちでなく、コホート分析またはSKANデータにアクセスする場合は、広告主所有のストレージ手順を完了する必要があります。
Data Lockerの設定方法:
- 管理者が設定を実行する必要があります。
- AppsFlyerにて、インテグレーション > Data Locker へ進みます。
- [オプション] アクティブなData Lockerディスティネーションが既に存在し、ディスティネーションを追加したい場合、+ をクリックしてください。
-
クラウドサービスのデータ保存先の選択してください。次のいずれかを実行してください:
- AppsFlyer AWSバケットを選択してください(Data Lockerをご契約の方のみご利用いただけるオプションです)。ステップ5に進んでください。
- 独自のAWSバケットを選択してください。
- AWSバケット名を入力してください。接頭辞
af-datalocker-
は入力しないでください。 - [Test] をクリックします。
- バケットパスが無効であることを示すエラーメッセージなどが表示されないことを確認します。
- AWSバケット名を入力してください。接頭辞
- 独自のGCSバケットを選択し、GCSバケット名を入力し、最後にテストをクリックしてください。
- フォルダ構成(データ分離)を選択してください。
- [デフォルト] 統合
- アプリごとに分離
- ファイル形式を選択してください:
- [デフォルト] Parquet
- CSV
- 必要なアプリを選択してください。全てを選択すると、将来追加されるアプリも自動的に含まれます。
- [Apply] をクリックします。
- [オプション] メディアソース:レポートに含めたい1つまたは複数のメディアソースを選択します。
- デフォルト=すべて。今後新たに追加されるメディアソースも自動的に追加されます。
- 必要なレポートタイプを選択してください。少なくとも1つ選択する必要があります。
- [オプション] アプリ内イベント:含めたいアプリ内イベントを選択します。アプリ内イベントの種類が100個を超えている場合には、検索することはできませんので、名前を正確に入力して選択してください。
- デフォルト=すべて。今後新たに追加されるアプリ内イベントも自動的に追加されます。
- [Apply] をクリックします。
- [オプション] Field(項目):レポートに含める項目を選択してください。注:場合によっては追加項目が利用できる場合がありますので、データインポートプロセスでこの点を考慮してください。
- Save Configuration(設定を保存)をクリックします。次のうちいずれかが発生します:
- AppsFlyer AWSバケットを選択した場合:
- 専用のAWSバケットが作成されます。バケットの認証情報が表示されます。
- バケットはこの認証情報を使用してアクセスできます。認証情報は、バケットへの読み取り専用アクセスを提供します。
- カスタマーバケットを選択した場合:データは独自のバケットに3時間以内に書き込まれます。
- AppsFlyer AWSバケットを選択した場合:
認証情報のリセット
管理者(アドミン)は、AppsFlyerバケットの認証情報をいつでもリセットできます。注!認証情報をリセットする場合、新しい認証情報を使用してデータインポートスクリプトを更新する必要があります。
AppsFlyerが所有するストレージの認証情報をリセットする方法:
- AppsFlyerにて、インテグレーション > Data Locker へ進みます。
- AppsFlyerが所有するディスティネーションを選択してください。
- 認証情報セクションにて、Reset credentials.をクリックします。
確認画面が表示されます。 - Reset(リセット)をクリックします。
- Credentials successfully reset(認証情報が正常にリセットされました)とメッセージが表示されるまで待ちます(約20秒間)。更新された認証情報が利用できます。
追加情報
特徴と制限
特徴 | 備考 |
---|---|
Ad Networks | アドネットワークは使用できません |
代理店 | 代理店アカウントでは使用できません。 |
アプリ固有のタイムゾーン | 適用されません。Data Lockerフォルダは、UTCを使用して時間に分割されます。実際のイベントは、UTCで時刻が刻まれます。必要に応じて、他のタイムゾーンに時刻を変換します。アプリのタイムゾーンに関係なく、イベント発生からData Lockerに記録されるまでの遅延時間は同じです。 |
アプリ固有の通貨 | サポートされていません |
サイズ制限 | 不適用 |
最後のデータ更新 | データは、この記事内に記載されている個々のレポートデータの更新頻度に従って更新されます。 |
ヒストリカルデータ | サポートされていません。過去のデータが必要な場合、すべてではありませんが、一部のレポートはPull APIを介して利用可能です。 |
ユーザーアクセス | Data Locker を設定できるのは、必要な権限を持つアカウントユーザーのみです。 |
単一アプリ / 複数アプリ | 複数アプリのサポート。Data Lockerはアカウントレベルでのサービスです。 |
トラブルシューティング
- 症状:AWS CLIを使用してデータを取得できない
- エラーメッセージ:ListObjectsV2 操作を呼び出す時にエラーが発生 (AccessDenied) しました:Access Denied
- 原因 :使用されているAWS認証情報がAppsFlyerバケットの正しい認証情報ではありません。これは、複数または無効な資格情報が原因の可能性があります。
-
解決法:
- Cyberduck などの別の方法、つまりCLI以外を使用してバケットにアクセスしてください。これにより、使用している資格情報が機能していることを確認してください。Cyberduckを使用して接続できる場合は、資格情報キャッシュに問題があることを示しています。
-
AWS認証情報キャッシュを更新してください 。
AWSのスクリーンショット
AWS データの取得
AWS CLIや次のセクションで説明するツールのいずれかのAWSデータ取得ツールを使用してください。注!正確な手順は、AppsFlyerが所有するバケットに適しています。独自のバケットに接続する場合は、必要に応じて手順を調節してください。
AWS CLI
はじめに:
- コンピューターにAWS CLIをインストールします。
- AppsFlyerで、Data Lockerに移動し、資格情報パネルに含まれる情報を取得します。
AWS CLI を使用するには:
- ターミナルを開きます。Windowsでこれを行うには、<Windows>+<R> を押し、[OK] をクリックします。
コマンドラインウィンドウが開きます。 - aws configure を入力してください。
- 認証情報パネルに表示されるAWS Access Keyを入力します。
- 認証情報パネルに表示されるAWS Secret Keyを入力します。
- eu-west-1を入力してください。
- Enterキー(None)を押します。
必要に応じて、以下のCLIコマンドを使用してください。
次のコマンドでは、{home-folder}の値が見つけられます。
バケット内のフォルダーを一覧表示する方法:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/
ファイルとフォルダーの一覧表示
Data Lockerバケットには3種類のフォルダがあります。
- レポートタイプ
t=
- 日付
dt =
- 時間
h=
特定のレポートタイプのすべてのレポートを一覧表示するには:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/
特定の日の特定のレポートタイプのすべてのレポートを一覧表示するには:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17
特定の日の特定の時間の特定のレポートのすべてのレポートを一覧表示するには:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23
特定の日付のファイルをダウンロードする方法:
aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/
Cyberduck
はじめに:
- Cyberduckクライアントをインストールしてください。
- AppsFlyerで、Data Lockerに移動し、資格情報パネルに含まれる情報を取得します。
Cyberduckの設定方法:
- Cyberduckで、[Action]をクリックしてください。
- New Bookmark を選択します。以下の画面が表示されます:
- 最初の項目(以下のスクリーンショットで [1] と表示)で Amazon S3 を選択してください。
- 次のように各フィールドを入力します。
- Nickname: フリーテキスト
- Server: s3.amazonaws.com
- Access Key ID: AppFlyerの認証情報パネルに表示されるAWSアクセスキーをコピーしてください
- Secret Access Key: AppsFlyerの認証情報パネルに表示される Bucket Secretキーをコピーします。
- Path: {Bucket Name}/{Home Folder} 例:af-ext-reports/1234-abc-ffffffff
- ウィンドウを閉じます。画面の右上にある X をクリックしてください。
- 接続を選択します。
データディレクトリが表示されます。
Amazon S3ブラウザー
はじめに:
- Amazon S3ブラウザをインストールします。
- AppsFlyerで、Data Lockerに移動し、資格情報パネルに含まれる情報を取得します。
Amazon S3ブラウザを設定するには :
- S3 ブラウザにて、Accounts > Add New Account をクリックします。
新しいアカウントの追加ウィンドウが開きます。 - 次のように各フィールドを入力します。
- Account Name :フリーテキスト
- Access Key ID :認証情報パネルに表示されるAWS Access Keyをコピーします。
- Secret Access Key:資格情報パネルに表示される Bucket Secret Key をコピーします。
- パスワードで [Encrypt Access Keys] を選択し、パスワードを入力します。このパスワードを覚えておいてください。
- [Use secure transfer] を選択します。
- [Save changes] をクリックします。
- [Buckets] > [Add External Bucket] をクリックします。
外部バケットの追加ウィンドウが開きます。
- バケット名を入力します。バケット名の形式は {Bucket Name} / {Home Folder} です。バケット名とホームフォルダに必要な値は認証情報ウィンドウに表示されます。
- [Add External bucket] をクリックします。
バケットが作成され、ウィンドウの左側のパネルに表示されます。
これで、Data Lockerファイルにアクセスできます。