概要:Data Lockerを使用することで、レポートデータをクラウドストレージに送信し、自社の分析基盤(BIシステム)に読み込むことができます。AppsFlyerが所有するAWSの S2バケット、またはお客様保有のAWS S3バケット、GCS、Yandex、BigQuery、Snowflakeなど、さまざまなストレージ接続先を選択できます。なお、Data Lockerは、複数の接続先をサポートしています。つまり、すべてのデータを複数の宛先に送信したり、宛先ごとにデータを分離したり、またはその両方の組み合わせを行ったりすることができます。
Data Locker
関連記事:
Data Locker にて、クラウドストレージに格納するAppsFlyer から配信するデータに含めたいアプリ、メディアソース、イベント、レポートを選択してください。その後、ストレージから自社システムへプログラムで読み込ませてください。
Data Locker—機能
機能 | 説明 |
---|---|
ストレージオプション(クラウド) |
Data Lockerは、次のクラウドサービスプロバイダーへデータを送信できます。
Data Lockerでは複数のストレージを設定できます。つまり、全てまたは一部のデータを複数のストレージに送信することができます。 例
|
複数アプリ |
アカウント内の1つ、複数、または全てのアプリのデータを送信します。アカウントにアプリを追加したときに、それらを自動的に含めることができます。 |
利用可能なデータ期間 |
14日間 |
データの分離 |
利用可能なデータ分離オプション(バケットクラウドストレージに関連):
|
データ形式のオプション |
|
最後のデータ更新 |
更新頻度はレポートタイプによって異なります
|
Data Lockerで取得できるレポート
データストレージのアーキテクチャ
概要
ストレージ内のデータ構造は、データが送信されるクラウドストレージまたはデータウェアハウスによって異なります。ここで説明するフォルダの構成は、ストレージ(バケット)に適用されるものです。データウェアハウスストレージの場合は、フォルダーへの参照がビューに適用されることを考慮してください。詳細は、Snowflakeを参照してください。
各種データは、選択したストレージオプションに書き込まれます。クラウドストレージの場合、ストレージはAppsFlyerが所有しているAWSか、お客様が保有しているAWS、GCS、またはYandexのいずれかもしくは複数を選択できます。ストレージオプションはいつでも切り替えたり、データの一部またはすべてを複数のストレージオプションに送信したりできます。
クラウドバケットストレージ内のデータは、レポートタイプ、日付、時刻に従って階層フォルダ構造に編成されます。
次の図は、この構造の例を示しています:
特定のレポートのデータは、そのレポートに関連付けられた時間 (h) フォルダに格納されます。
- 時間フォルダの数は、レポートデータの更新頻度 (毎時、毎日、またはバージョン別) によって異なります。
- データは、Snappy または GZIP圧縮ファイル、もしくはParquet 形式またはCSV形式の非圧縮ファイルで提供されます。
- データファイルは列(項目)で構成されています。
- ユーザー体験レポートの スキーマ (フィールド) 構造は互いに同一であり、選択した項目によって異なります。その他のレポートは、それぞれ独自の明示的な項目を持つ、別名スキーマレスレポートです。利用できるレポートとレポートの仕様へのリンクについては、マーケター向けのData Lockerを参照してください。
フォルダの構成
フォルダ | 説明 |
---|---|
サブスクリプション ID |
バケット所有者とクラウドプロバイダーに基づくフォルダの構成の例
|
Topic (t) | レポートタイプはレポートの主題に関連します。 |
Date (dt) |
これはデータの日付に関連します。ローデータの場合、これはイベントが発生した日を意味します。集計データの場合、これはレポート日です。 |
Time (h or version) |
日付フォルダは、レポートの種類によって、hourly (h) または version フォルダに分かれています。 Hourly フォルダ「h」フォルダは、AppsFlyerがデータを受信した時刻に関連します。例えば、インストールイベントを 14:00-15:00 UTC に受信した場合、h=14 ファイルに書き込まれます。注!AppsFlyerにデータが到着してから、h フォルダがData Lockerに書き込まれるまで、約1-3時間のタイムラグがあります。例えば、h=14 フォルダは1時間後の15:00 UTC に書き込まれます。 Hourly フォルダの特性:
Version フォルダ一部のレポートにはバージョン指定のオプションがあります。つまり、ある日の最新データが複数回提供されます。データは、到着が遅れたり、より正確なデータによって更新され続けることがあるため、同じレポートには複数のバージョンがあり、最新のバージョンが最も正確なものとなります。 ある日のレポートは、その日のバージョンフォルダーに含まれています。各バージョンは、レポートを一意に識別するEpochタイムスタンプを使用して名前が設定されている別のフォルダに格納されています。 データのインポート処理では、データが過去にさかのぼって書き込まれる可能性があることを考慮する必要があります。例えば、1月14日に、1月1日フォルダにデータが書き込まれることがあります。広告主がバケットを所有している場合、インポート処理のトリガーとしてクラウドサービスの通知を使用することを検討してください。 (AWS | GCS) |
アプリの分離
分離タイプ | 説明 |
---|---|
[デフォルト] 統合 |
全てのアプリのデータは、統合されたデータファイルにて提供されます。データを取り込む際に、行レベルで app_id 項目を使用してアプリを区別してください。 データファイルの例は、h=2 フォルダをご覧ください データファイルの命名規則は、unique_id.gz です。
|
アプリごとに分離 |
フォルダにはアプリごとのサブフォルダが含まれています。特定のアプリのデータファイルは、アプリフォルダ内に含まれています。次の図では、h=19 フォルダにアプリフォルダが含まれています。各アプリフォルダには関連するデータファイルが含まれています。注!データファイルには app_id が含まれていないため、フォルダを使用して app_id を特定する必要があります。 各アプリのフォルダでの命名規則は、unique_id.gz です。
制限事項:このオプションはピープルベースドアトリビューションレポートでは利用できません。 |
データファイル
データファイルはセグメンテーションタイプにより異なります。
コンテンツ | 詳細 | |
---|---|---|
完了フラグ |
最終ファイル(完了)フラグは、対象の h フォルダの全てのデータが書き込まれたあとに設定されます。
|
|
ファイルの種類 |
|
|
列の並び(CSVファイル) |
CSVファイルの場合、レポート項目の順序は常に同じです。新しい項目が追加される場合は、既存項目の右側に追加されます。 この点に関して:
|
|
項目入力に関する考慮事項 |
空白または空の項目:一部の項目には null が入力されるか、空白になります。これは、特定のレポートのコンテキストでは、レポートするデータがないことを意味します。通常、null は、特定のレポートおよびアプリタイプのコンテキストでこの項目に値が入力されないことを意味します。空白("")は、この項目がこのコンテキストに関連しているものの、入力するデータが見つからなかったことを意味します。 制限付きメディアソースの場合、制限された項目の内容は null になります。 一般的に、nullとブランクは同じものであり、利用可能なデータはありません。 タイムゾーンと通貨 アプリ固有のタイムゾーンと通貨設定は、Data Locker に書き込まれるデータには影響しません。次のことが当てはまります。
カンマを含む値:これらのカンマは、二重引用符「"」の間に含まれます。例: |
ストレージオプション
警告!
広告主が所有するストレージオプションを使用する場合:
- GDPR等のデータプライバシー規制とアドネットワーク/SRNのデータ保持ポリシーに準拠していることをご確認ください。
- 広告主所有のストレージソリューションを使用して第三者にデータを送信しないでください。
- データは、選択したストレージ所有者に次のように書き込まれます。
- AppsFlyerストレージ
- お客様保有のストレージ — AWS, GCS, Yandex, BigQuery, Snowflake
- ストレージの選択はいつでも変更できます。
- ストレージを変更すると、次のことが起こります。
- 新しく選択したストレージへの書き込みは1時間以内に開始します。
- 7日間の移行期間中、既存のストレージへの書き込みを続行します。移行期間の有効期限がユーザーインターフェイスに表示されます。移行期間を使用して、データ読み込みプロセスを更新してください。必要に応じて移行期間を再開したり、AppsFlyerのバケットに戻したりすることができます。
- ストレージの変更:マルチストレージオプションを使用して複数の宛先に同時にデータを送信することで、あるストレージオプションから別のストレージオプションに移行できます。移行とテストが完了したら、不要になったストレージオプションを削除してください。
AppsFlyer所有ストレージ (AWS) | お客様が所有するストレージ (GCS、AWS、BigQuery、Snowflake) | |
---|---|---|
バケット名 | AppsFlyerが設定します |
例: |
ストレージの所有権 | AppsFlyer | マーケティング担当者 |
ストレージプラットフォーム | AWS | AWS, GCS, Yandex, BigQuery, Snowflake |
データへアクセスするための認証情報 | AppsFlyerアカウントの管理者がData Lockerのユーザーインターフェイスで利用できます。 | AppsFlyerには開示されません。クラウドプロバイダーから提供された認証情報を使用してください。 |
データ保持 | データは14日後に削除されます。 | マーケティング担当者の責任 |
データ削除リクエスト | AppsFlyerの責任です | マーケティング担当者の責任 |
セキュリティ | AppsFlyerがストレージを管理します。顧客は読み込み専用アクセスがあります。 |
マーケターがストレージを管理します。
|
ストレージ容量 | AppsFlyerが管理します | マーケターが管理 |
バケットポリシーでVPCエンドポイントを使用したアクセスコントロール | 不適用 | [オプション] AWSで、バケット単位でVPCエンドポイントセキュリティを実装している場合、AppsFlyerサーバーを許可リストに追加する必要があります。 |
セキュリティご担当者への連絡事項(お客様が管理するストレージの場合)
注意事項:
- バケットまたはストレージ先は、AppsFlyer専用です。この宛先には他のシステムからのデータを送らないでください。
- データを書き込まれた後25時間後に、ストレージ内のデータを削除できます。
- ストレージに書き込まれるデータは、当社のサーバーに既に存在しているデータのコピーです。データは、当社の保持ポリシーに従って引き続き当社のサーバーに格納されます。
- 技術的な理由から、データを削除して書き換えることがあります。このため、削除権限とリスト権限が必要です。どちらの権限もセキュリティリスクではありません。リストの場合、バケットに書き込む唯一のエンティティです。削除の場合、データを再生成することができます。
- 詳細については、hello@appsflyer.com 経由でセキュリティチーム、またはCSMにご連絡ください。
複数連携の原則(2つ以上の接続先設定)
Data Lockerでは、データの一部またはすべてを2つの接続先(接続設定箇所で定義)に送信できます。
例えば、アプリAのデータをAWSへ、アプリBのデータをGCSへ送信できます。
各連携に対して、ディスティネーションを含むData Lockerの設定を全て実行する必要があります。連携設定は互いに独立しています。
連携管理について、以下の点を考慮してください。
- Data Locker設定では、連携はタブに表示されます。各連携には独自の設定タブがあり、そこから連携を管理できます。各タブのアイコンはストレージの種類を示しています。
- 連携の詳細の確認、連携の複製、連携の削除を行うには、⋮ (オプション) をクリックしてください。
手順
Data Lockerの設定
この手順に従って、Data Lockerを設定してください。Data Locker設定への変更が有効になるには、最大3時間かかります。
前提条件
広告主所有のストレージを設置する方法:
マーケティング担当者が所有するクラウドストレージサービスを使用して Data Lockerを設定する場合は、ここで次の手順の 1つ以上を完了してください。
注!Data Lockerのご契約がなく、コホート分析または SKANデータを取得する場合でも、広告主様が所有するクラウドストレージサービスの手順を完了する必要があります。
Data Lockerの設定方法:
- 管理者が設定を実行する必要があります。
- AppsFlyer で、 インテグレーション > Data Lockerに移動します。
- [オプション] 有効なData Locker接続先が既に存在し、別の新しい接続先を追加する場合は、接続の追加 をクリックします。接続に名前を付けます。
-
クラウドサービスのデータ保存先の選択してください。次のいずれかを実行してください:
- AppsFlyer AWSバケットを選択してください(Data Lockerをご契約の方のみご利用いただけるオプションです)。
保存をクリックして、手順 5に進みます。 - S3を選択します。
- AWS S3バケット名を入力します。
af-
プレフィックスは必須であり、手動で入力する必要があります。 - 接続テストをするをクリックしてください。
- バケットパスが無効であることを示すエラーメッセージなどが表示されないことを確認します。
- この接続をAdobe Experience Platformと互換性を持たせるかどうかを選択します。選択した場合は、保存をクリックしてステップ6 に進みます。
- 保存 をクリックしてください。
- AWS S3バケット名を入力します。
- GCSを選択します。
- GCSバケット名を入力します。
- 接続テストをするをクリックしてください。
- バケットパスが無効であることを示すエラーメッセージなどが表示されないことを確認します。
- この接続をAdobe Experience Platformと互換性を持たせるかどうかを選択します。選択した場合は、保存をクリックしてステップ6 に進みます。
- 保存 をクリックしてください。
- [Beta] Yandexを選択します。
- あなたのバケット名、アクセスキー、シークレットキーを入力します。
- バケットパスが無効であることを示すエラーメッセージなどが表示されないことを確認します。
- この接続をAdobe Experience Platformと互換性を持たせるかどうかを選択します。選択した場合は、保存をクリックしてステップ6 に進みます。
- 保存 をクリックしてください。
- BigQueryを選択します。
- BigQuery プロジェクト ID とデータセット名を入力します。
- 接続テストをするをクリックしてください。
- バケットパスが無効であることを示すエラーメッセージなどが表示されないことを確認します。
- 保存 をクリックして、ステップ6 に進みます。
- Snowflakeを選択してください。
- Snowflake地域とアカウントIDを入力します。
- 接続テストをするをクリックしてください。
- バケットパスが無効であることを示すエラーメッセージなどが表示されないことを確認します。
- 保存 をクリックして、ステップ6 に進みます。
- AppsFlyer AWSバケットを選択してください(Data Lockerをご契約の方のみご利用いただけるオプションです)。
- データ設定セクションへ進みます:
- 目的のファイル形式を選択します:
- [デフォルト] Parquet
- CSV
- 必要なファイル圧縮タイプを選択します。
- Snappy(Parquetファイルでのみ使用可能)
- GZIP
- 非圧縮
- ファイルに含める最大行数を 10,000 / 25,000 / 50,000 / 100,000 / 200,000 / 500,000行から選択します。ファイル内の行数が多いほど、ファイルは少なくなりますが、ファイルサイズは大きくなります。
- フォルダ構造で アプリ別に分離を選択してください。
- [デフォルト] 統合
- アプリごとに分離
- 目的のファイル形式を選択します:
- Data Lockerコンテンツセクションへ進みます:
- レポートに含めるアプリを1つ以上選択します。今後追加されるアプリを自動的に含めるには、すべてを選択します。
- [Apply] をクリックします。
- [オプション] レポートに含める メディアソース を1つ以上選択します。
- デフォルト=すべて。今後新たに追加されるメディアソースも自動的に追加されます。
- [Apply] をクリックします。
- [オプション] レポートに含める データ項目を選択します。注:場合によっては追加項目が利用できる場合がありますので、データインポートプロセスでこの点を考慮してください。
- [Apply] をクリックします。
- レポートの種類を選択します。少なくとも1つ選択する必要があります。
- [オプション] アプリ内イベントレポートで、含めるアプリ内イベントを選択します。アプリ内イベントの種類が100個を超えている場合には、検索することはできません。名前を正確に入力して選択してください。
- デフォルト=すべて。今後新たに追加されるアプリ内イベントも自動的に追加されます。
- [Apply] をクリックします。
- 接続を保存をクリックします。次のうちいずれかが発生します:
- AppsFlyer AWSバケットを選択した場合:
- 専用のAWSバケットが作成されます。バケットの認証情報が表示されます。
- バケットはこの認証情報を使用してアクセスできます。認証情報は、バケットへの読み取り専用アクセスを提供します。
- クラウドストレージサービスのいずれかを選択した場合:データは3時間以内にサービスに書き込まれます。
- AppsFlyer AWSバケットを選択した場合:
認証情報のリセット
管理者(アドミン)は、AppsFlyerバケットの認証情報をいつでもリセットできます。注!認証情報をリセットする場合、新しい認証情報を使用してデータインポートスクリプトを更新する必要があります。
AppsFlyerが所有するストレージの認証情報をリセットする方法:
- AppsFlyer で、 インテグレーション > Data Lockerに移動します。
- AppsFlyerが所有するディスティネーションを選択してください。
- 認証情報セクションにて、Reset credentials.をクリックします。
確認画面が表示されます。 - Reset(リセット)をクリックします。
- Credentials successfully reset(認証情報が正常にリセットされました)とメッセージが表示されるまで待ちます(約20秒間)。更新された認証情報が利用できます。
追加情報
特徴と制限
特徴 | 備考 |
---|---|
Ad Networks | アドネットワークは使用できません |
代理店 | 代理店アカウントでは使用できません。 |
アプリ固有のタイムゾーン | 適用されません。Data Lockerフォルダは、UTCを使用して時間に分割されます。実際のイベントは、UTCで時刻が刻まれます。必要に応じて、他のタイムゾーンに時刻を変換します。アプリのタイムゾーンに関係なく、イベント発生からData Lockerに記録されるまでの遅延時間は同じです。 |
アプリ固有の通貨 | サポートされていません |
サイズ制限 | 不適用 |
最後のデータ更新 | データは、この記事内に記載されている個々のレポートデータの更新頻度に従って更新されます。 |
ヒストリカルデータ | サポートされていません。過去のデータが必要な場合、すべてではありませんが、一部のレポートはPull APIを介して利用可能です。 |
ユーザーアクセス | Data Locker を設定できるのは、必要な権限を持つアカウントユーザーのみです。 |
単一アプリ / 複数アプリ | 複数アプリのサポート。Data Lockerはアカウントレベルでのサービスです。 |
トラブルシューティング
- 症状:AWS CLIを使用してデータを取得できない
- エラーメッセージ:ListObjectsV2 操作を呼び出す時にエラーが発生 (AccessDenied) しました:Access Denied
- 原因 :使用されているAWS認証情報がAppsFlyerバケットの正しい認証情報ではありません。これは、複数または無効な資格情報が原因の可能性があります。
-
解決法:
- Cyberduckなどの別の方法、つまりCLI以外を使用してバケットにアクセスしてください。これにより、使用している資格情報が機能していることを確認してください。Cyberduckを使用して接続できる場合は、資格情報キャッシュに問題があることを示しています。
-
AWS認証情報キャッシュを更新してください 。
AWSのスクリーンショット
AWS データの取得
AWS CLIや次のセクションで説明するツールのいずれかのAWSデータ取得ツールを使用してください。注!正確な手順は、AppsFlyerが所有するバケットに適しています。独自のバケットに接続する場合は、必要に応じて手順を調節してください。
AWS CLI
はじめに:
- コンピューターにAWS CLIをインストールします。
- AppsFlyerで、Data Lockerに移動し、資格情報パネルに含まれる情報を取得します。
AWS CLI を使用するには:
- ターミナルを開きます。Windowsでこれを行うには、<Windows>+<R> を押し、[OK] をクリックします。
コマンドラインウィンドウが開きます。 - aws configure を入力してください。
- 認証情報パネルに表示されるAWS Access Keyを入力します。
- 認証情報パネルに表示されるAWS Secret Keyを入力します。
- eu-west-1を入力してください。
- Enterキー(None)を押します。
必要に応じて、以下のCLIコマンドを使用してください。
次のコマンドでは、{home-folder}の値が見つけられます。
バケット内のフォルダーを一覧表示する方法:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/
ファイルとフォルダーの一覧表示
Data Lockerバケットには3種類のフォルダがあります。
- レポートタイプ
t=
- 日付
dt =
- 時間
h=
特定のレポートタイプのすべてのレポートを一覧表示するには:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/
特定の日の特定のレポートタイプのすべてのレポートを一覧表示するには:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17
特定の日の特定の時間の特定のレポートのすべてのレポートを一覧表示するには:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23
特定の日付のファイルをダウンロードする方法:
aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/
Cyberduck
はじめに:
- Cyberduckクライアントをインストールしてください。
- AppsFlyerで、Data Lockerに移動し、資格情報パネルに含まれる情報を取得します。
Cyberduckの設定方法:
- Cyberduckで、[Action]をクリックしてください。
- New Bookmark を選択します。以下の画面が表示されます:
- 最初の項目(以下のスクリーンショットで [1] と表示)で Amazon S3 を選択してください。
- 次のように各フィールドを入力します。
- Nickname: フリーテキスト
- Server: s3.amazonaws.com
- Access Key ID: AppFlyerの認証情報パネルに表示されるAWSアクセスキーをコピーしてください
- Secret Access Key: AppsFlyerの認証情報パネルに表示される Bucket Secretキーをコピーします。
- Path: {Bucket Name}/{Home Folder} 例:af-ext-reports/1234-abc-ffffffff
- ウィンドウを閉じます。画面の右上にある X をクリックしてください。
- 接続を選択します。
データディレクトリが表示されます。
Amazon S3ブラウザー
はじめに:
- Amazon S3ブラウザをインストールします。
- AppsFlyerで、Data Lockerに移動し、資格情報パネルに含まれる情報を取得します。
Amazon S3ブラウザを設定するには :
- S3 ブラウザにて、Accounts > Add New Account をクリックします。
新しいアカウントの追加ウィンドウが開きます。 - 次のように各フィールドを入力します。
- Account Name :フリーテキスト
- Access Key ID :認証情報パネルに表示されるAWS Access Keyをコピーします。
- Secret Access Key:資格情報パネルに表示される Bucket Secret Key をコピーします。
- パスワードで [Encrypt Access Keys] を選択し、パスワードを入力します。このパスワードを覚えておいてください。
- [Use secure transfer] を選択します。
- [Save changes] をクリックします。
- [Buckets] > [Add External Bucket] をクリックします。
外部バケットの追加ウィンドウが開きます。
- バケット名を入力します。バケット名の形式は {Bucket Name} / {Home Folder} です。バケット名とホームフォルダに必要な値は認証情報ウィンドウに表示されます。
- [Add External bucket] をクリックします。
バケットが作成され、ウィンドウの左側のパネルに表示されます。
これで、Data Lockerファイルにアクセスできます。