概要:Data Lockerを使用することで、レポートデータをクラウドストレージに送信し、自社の分析基盤(BIシステム)に読み込むことができます。AppsFlyerでは、多様なデータ保存先を提供しています:AppsFlyerが所有するAWS S3バケット、または広告主保有のAWS、GCS、Yandex、BigQuery、Snowflakeのお客様が所有するストレージ。なお、Data Lockerは、複数の接続先をサポートしています。つまり、すべてのデータを複数の宛先に送信したり、宛先ごとにデータを分離したり、またはその両方の組み合わせを行ったりすることができます。
Data Locker
Data Locker設定画面で、クラウドストレージに格納するAppsFlyerから配信するデータに含めたいアプリ、メディアソース、イベント、レポートを柔軟に選択することができます。その後、ストレージから自社システムへプログラムで読み込ませる形で自社データなどと連携します。
Data Locker—機能
機能 | 説明 |
---|---|
ストレージオプション(クラウド) |
Data Lockerは、次のクラウドサービスプロバイダーへデータを送信できます:
Data Lockerでは複数のストレージを設定できます。つまり、全てまたは一部のデータを複数のストレージに送信することができます。 例
|
複数アプリ |
アカウント内の1つ、複数、または全てのアプリのデータを送信連携します。アカウントにアプリを追加したときに、それらを自動的に含めることができます。 |
利用可能なデータ期間 |
14日間 |
データの分離 |
利用可能なデータ分離オプション(バケットクラウドストレージに関連):
|
データ形式のオプション |
|
データ更新頻度 |
更新頻度はレポートタイプによって異なります。
|
Data Lockerで取得できるレポート
データストレージのアーキテクチャ
概要
ストレージ内のデータ構造は、データが送信されるクラウドストレージまたはデータウェアハウスによって異なります。ここで説明するフォルダの構成は、ストレージ(バケット)に適用されるものです。データウェアハウスストレージの場合は、フォルダーへの参照がビューに適用されることを考慮してください。
各種データは、選択したストレージオプションに書き込まれます。クラウドストレージの場合、ストレージはAppsFlyerが所有しているAWSか、お客様が保有しているAWS、GCS、またはYandexのいずれかもしくは複数を選択できます。ストレージオプションはいつでも切り替えたり、データの一部またはすべてを複数のストレージオプションに送信したりできます。
クラウドバケットストレージ内のデータは、レポートタイプ、日付、時刻に従って階層フォルダ構造に編成されます。次の図は、この構造の例を示しています:
特定のレポートのデータは、そのレポートに紐付けられた時間 (h) フォルダに格納されます。
- 時間フォルダの数は、レポートデータの更新頻度(毎時、毎日、またはバージョン別)によって異なります。
- データは、Snappy または GZIP圧縮ファイル、もしくはParquet 形式またはCSV形式の非圧縮ファイルで提供されます。
- データファイルは列(項目)で構成されています。
- ユーザージャーニーレポートのスキーマ(フィールド)構造は互いに同一であり、選択した項目によって異なります。その他のレポートは、それぞれ独自の明示的な項目を持つ、別名スキーマレスレポートです。利用できるレポートとレポートの仕様へのリンクについては、マーケター向けのData Lockerレポートを参照してください。
フォルダの構成
フォルダ | 説明 |
---|---|
サブスクリプションID |
バケット所有者とクラウドプロバイダーに基づくフォルダの構成の例
|
Topic (t) | レポートタイプはレポートの主題に関連します。 |
Date (dt) |
これはデータの日付に関連します。ローデータの場合、これはイベントが発生した日を意味します。集計データの場合、レポート日が入ります。 |
Time (h or version) |
日付フォルダは、レポートの種類によって、hourly (h) または version フォルダに分かれています。 Hourly(時間別)フォルダh フォルダは、AppsFlyerがデータを受信した時刻に関連します。例えば、インストールイベントを 14:00-15:00 UTC に受信した場合、h=14 ファイルに書き込まれます。注!AppsFlyerにデータが到着してから、h フォルダがData Lockerに書き込まれるまで、約1-3時間のタイムラグがあります。例えば、h=14 フォルダは1時間後の15:00 UTC に書き込まれます。 Hourly フォルダの特性:
Versionフォルダ一部のレポートにはバージョン指定のオプションがあります。つまり、ある日の最新データが複数回提供されます。データは、到着が遅れたり、より正確なデータによって更新され続けることがあるため、同じレポートには複数のバージョンがあり、最新のバージョンが最も正確なものとなります。 ある日のレポートは、その日のバージョンフォルダーに含まれています。各バージョンは、レポートを一意に識別するEpochタイムスタンプを使用して名前が設定されている別のフォルダに格納されています。 データのインポート処理では、データが過去にさかのぼって書き込まれる可能性があることを考慮する必要があります。例えば、1月14日に、1月1日フォルダにデータが書き込まれることがあります。広告主がバケットを所有している場合、インポート処理のトリガーとしてクラウドサービスの通知を使用することを検討してください。 (AWS | GCS) |
アプリ毎のデータ分割
分離タイプ | 説明 |
---|---|
[デフォルト] 統合 |
全てのアプリのデータは、統合されたデータファイルにて提供されます。データを取り込む際に、行レベルで app_id 項目を使用してアプリを区別してください。 データファイルの例は、h=2 フォルダをご覧ください データファイルの命名規則は、unique_id.gz です。
|
アプリごとに分離 |
フォルダにはアプリごとのサブフォルダが含まれています。特定のアプリのデータファイルは、アプリフォルダ内に含まれています。次の図では、h=19 フォルダにアプリフォルダが含まれています。各アプリフォルダには関連するデータファイルが含まれています。注!データファイルには app_id が含まれていないため、フォルダを使用して app_id を特定する必要があります。 各アプリのフォルダでの命名規則は、unique_id.gz です。
制限事項:このオプションはPeople-Based Attributionレポートでは利用できません。 |
データファイル
データファイルはセグメンテーションタイプにより異なります。
コンテンツ | 詳細 | |
---|---|---|
完了フラグ |
最終ファイル(完了)フラグは、対象の h フォルダの全てのデータが書き込まれたあとに設定されます。
|
|
ファイルの種類 |
|
|
列の並び(CSVファイル) |
CSVファイルの場合、レポート項目の順序は常に同じです。新しい項目が追加される場合は、既存項目の右側に追加されます。 この点に関して:
|
|
項目入力に関する考慮事項 |
空白または空のフィールド: 一部の項目は null または空白になります。これは、特定のレポートのコンテキストでは、レポートするデータがないことを意味します。通常、null は、特定のレポートおよびアプリタイプのコンテキストでこの項目に値が入力されないことを意味します。空白("")は、この項目がこのコンテキストに関連しているものの、入力するデータが見つからなかったことを意味します。 制限付きメディアソースの場合、制限された項目の内容は null になります。 一般的に、nullとブランクは同じものであり、利用可能なデータはありません。 タイムゾーンと通貨 アプリ固有のタイムゾーンと通貨設定は、Data Locker に書き込まれるデータには影響しません。次のことが当てはまります。
カンマで区切られた値:これらのカンマは二重引用符 `"` の間に含まれます。例: |
ストレージオプション
警告!
広告主所有のストレージオプションを使用する場合:
- GDPR等のデータプライバシー規制とアドネットワーク/SRNのデータ保持ポリシーに準拠していることをご確認ください。
- 広告主所有のストレージソリューションを使用して第三者にデータを送信しないでください。
- データは、選択したストレージ所有者に次のように書き込まれます。
- AppsFlyer所有のAWS S3ストレージ
- 広告主所有のストレージ — AWS, GCS, Azure, Yandex, BigQuery, Snowflake
- ストレージの選択はいつでも変更できます。
- ストレージを変更すると、次のことが起こります:
- 新しく選択したストレージへの書き込みは1時間以内に開始します。
- 7日間の移行期間中、既存のストレージへの書き込みを続行します。移行期間の有効期限がユーザーインターフェイスに表示されます。移行期間を使用して、データ読み込みプロセスを更新してください。必要に応じて移行期間を再開したり、AppsFlyerのバケットに戻したりすることができます。
- ストレージの変更:複数のストレージオプションを使用して複数の宛先に同時にデータを送信することで、あるストレージオプションから別のストレージオプションに移行できます。移行とテストが完了したら、不要になったストレージオプションを削除してください。
AppsFlyer所有ストレージ (AWS) | 広告主所有のストレージ(GCS, AWS, Azure, Yandex, BigQuery, Snowflake) | |
---|---|---|
バケット名 | AppsFlyerが設定します |
例: |
ストレージの所有権 | AppsFlyer | マーケティング担当者 |
ストレージプラットフォーム | AWS | AWS, GCS, Azure, Yandex, BigQuery, Snowflake |
データへアクセスするための認証情報 | AppsFlyerアカウントの管理者がData Lockerのユーザーインターフェイスで利用できます。 | AppsFlyerには開示されません。クラウドプロバイダーから提供された認証情報を使用してください。 |
データ保持期間 | データは14日後に削除されます。 | マーケティング担当者の責任 |
データ削除リクエスト | AppsFlyerの責任 | マーケティング担当者の責任 |
セキュリティ | AppsFlyerがストレージを管理します。広告主は読み込み専用アクセスがあります。 |
マーケターがストレージを管理します。
|
ストレージ容量 | AppsFlyerが管理します | マーケターが管理 |
バケットポリシーでVPCエンドポイントを使用したアクセスコントロール | 不適用 | [オプション] AWSで、バケット単位でVPCエンドポイントセキュリティを実装している場合、AppsFlyerサーバーを許可リストに追加する必要があります。 |
セキュリティご担当者への連絡事項(お客様が管理するストレージの場合)
注意事項:
- バケットまたはストレージ先は、AppsFlyer専用です。この宛先には他のシステムからのデータを送らないでください。
- データを書き込まれた後25時間後に、ストレージ内のデータを削除できます。
- ストレージに書き込まれるデータは、当社のサーバーに既に存在しているデータのコピーです。データは、当社の保持ポリシーに従って引き続き当社のサーバーに格納されます。
- 技術的な理由により、データを削除したり書き換えたりすることがあります。このため、削除とリストのパーミッションが必要です。どちらのパーミッションも、広告主にとってセキュリティリスクにはなりません。リストの場合、我々はバケットに書き込む唯一の存在です。削除された場合は、データを再生成することができます。
- 詳細については、hello@appsflyer.com 経由でセキュリティチーム、またはCSMにご連絡ください。
複数連携の原則(2つ以上の接続先設定)
Data Lockerでは、データの一部またはすべてを2つの接続先(接続設定箇所で定義)に送信できます。例えば、アプリAのデータをAWSへ、アプリBのデータをGCSへ送信できます。
各連携に対して、ディスティネーションを含むData Lockerの設定を全て実行する必要があります。連携設定は互いに独立しています。
連携管理について、以下の点を考慮してください。
- Data Locker設定では、連携はタブに表示されます。各連携には独自の設定タブがあり、そこから連携を管理できます。各タブのアイコンはストレージの種類を示しています。
- 連携の詳細の確認、連携の複製、連携の削除を行うには、⋮ (オプション) をクリックしてください。
手順
ユーザー権限
適切な権限を持つ管理者とチームメンバーがData Lockerにアクセスできます。
管理者
管理者はData Lockerページへのアクセス、すべての接続の作成と管理、編集者の追加、既存の接続への所有者の割り当てを行うことができます。
チームメンバー
チームメンバーは、Data Lockerページへのアクセス、所有する既存の接続の編集、新規接続の作成を行うことができます。
権限の付与
- チームメンバーにData Lockerへのアクセス権を付与するには、管理に設定されたData Lockerの役割を割り当てます。
- 既存の接続で所有権を譲渡したり、チームメンバーを編集者として追加するには、既存の接続内の3ドットオプションメニュー
をクリックし、所有権の管理から接続の所有者の変更や編集者の追加を行います。
Data Lockerの設定
この手順に従って、Data Lockerを設定します。Data Locker設定への変更が有効になるには、最大3時間かかります。
前提条件
広告主所有のストレージを設置する方法:
マーケティング担当者が所有するクラウドストレージサービスを使用して Data Lockerを設定する場合は、ここで次の手順の 1つ以上を完了してください。
注意!Data Lockerのご契約がなく、コホート分析または SKANデータを取得する場合でも、広告主様が所有するクラウドストレージサービスの手順を完了する必要があります。
Data Lockerの設定:
- 管理者が設定を実行する必要があります。
- AppsFlyer管理画面 左メニュー エクスポート > Data Lockerへ進みます。
- [オプション] 有効なData Locker接続先が既に存在し、別の新しい接続先を追加する場合は、接続の追加 をクリックします。接続に名前を付けます。
-
クラウドサービスのデータ保存先の選択してください。次のいずれかを実行してください:
- AppsFlyer AWSバケットを選択してください(Data Lockerをご契約の方のみご利用いただけるオプションです)。保存をクリックして、手順 5に進みます。
-
S3を選択します。
- AWS S3バケット名を入力します。プレフィックス
af-
は必須であり、手動で入力する必要があります。 - 接続テストをするをクリックしてください。
- バケットパスが無効であることを示すエラーメッセージなどが表示されないことを確認します。
- この接続をAdobe Experience Platformと互換性を持たせるかどうかを選択します。選択した場合は、保存をクリックしてステップ6 に進みます。
- 保存をクリックしてください。
- AWS S3バケット名を入力します。プレフィックス
-
GCSを選択します。
- GCSバケット名を入力します。
- 接続テストをするをクリックしてください。
- バケットパスが無効であることを示すエラーメッセージなどが表示されないことを確認します。
- この接続をAdobe Experience Platformと互換性を持たせるかどうかを選択します。 選択した場合は、保存をクリックしてステップ6 に進みます。
- 保存をクリックしてください。
- [ベータ版]Azureを選択します。
- 接続名、ストレージアカウント名、キーを入力します。
- バケットパスが無効であることを示すエラーメッセージなどが表示されないことを確認します。
- この接続をAdobe Experience Platformと互換性を持たせるかどうかを選択します。 選択した場合は、保存をクリックしてステップ6 に進みます。
- 保存をクリックしてください。
- [Beta] Yandexを選択します。
- あなたのバケット名、アクセスキー、シークレットキーを入力します。
- バケットパスが無効であることを示すエラーメッセージなどが表示されないことを確認します。
- この接続をAdobe Experience Platformと互換性を持たせるかどうかを選択します。 選択した場合は、保存をクリックしてステップ6 に進みます。
- 保存をクリックしてください。
-
BigQueryを選択します。
- BigQuery プロジェクト ID とデータセット名を入力します。
- 接続テストをするをクリックしてください。
- バケットパスが無効であることを示すエラーメッセージなどが表示されないことを確認します。
- 保存 をクリックして、ステップ6 に進みます。
-
Snowflakeを選択してください。
- Snowflake地域とアカウントIDを入力します。
- 接続テストをするをクリックしてください。
- バケットパスが無効であることを示すエラーメッセージなどが表示されないことを確認します。
- 保存 をクリックして、ステップ6 に進みます。
-
データ設定セクションへ進みます:
- 目的のファイル形式を選択します:
- [デフォルト] Parquet
- CSV
- 必要なファイル圧縮タイプを選択します。
- Snappy(Parquetファイルでのみ使用可能)
- GZIP
- 非圧縮
- ファイルに含める最大行数を選択します:1万、2万5千、5万、10万、20万、50万のいずれか / ファイル内の行数が多いほど、ファイルは少なくなりますが、ファイルサイズは大きくなります。
- フォルダ構成を選択します(データ分離):
- [デフォルト] 統合
- アプリごとに分離
- 目的のファイル形式を選択します:
- Data Lockerコンテンツセクションへ進みます:
- レポートに含めるアプリを1つ以上選択します。今後追加されるアプリを自動的に含めるには、すべてを選択します。
- 適用をクリックしてください。
- [オプション] レポートに含める メディアソース を1つ以上選択します。
- デフォルト:すべて。将来新たに追加されるメディアソースも自動的に追加されます。
- 適用をクリックしてください。
- [オプション] レポートに含める データ項目を選択します。 注:新しいフィールドが追加されることもあります。データインポートプロセスの構成時に、この点を考慮してください。
- 適用をクリックしてください。
- レポートの種類を選択します。少なくとも1つ選択する必要があります。
- [オプション] アプリ内イベントレポートで、含めるアプリ内イベントを選択します。アプリ内イベントの種類が100個を超えている場合には、検索することはできません。名前を正確に入力して選択してください。
- デフォルト:すべて - 今後新たに追加されるアプリ内イベントも自動的に追加されます。
- 適用をクリックしてください。
-
接続を保存をクリックします。次のうちいずれかが発生します:
-
AppsFlyer AWSバケットを選択した場合:
- 専用のAWSバケットが作成されます。バケットの認証情報が表示されます。
- バケットはこの認証情報を使用してアクセスできます。認証情報は、バケットへの読み取り専用アクセスを提供します。
- クラウドストレージサービスを選択した場合 :データは3時間以内にお客様のサービスに書き込まれます。
-
AppsFlyer AWSバケットを選択した場合:
認証情報のリセット
管理者(アドミン)は、AppsFlyerバケットの認証情報をいつでもリセットできます。注!認証情報をリセットする場合、新しい認証情報を使用してデータインポートスクリプトを更新する必要があります。
AppsFlyerが所有するストレージの認証情報をリセットします:
- AppsFlyerにて、 レポート> Data Lockerへ進みます。
- AppsFlyerが所有するディスティネーションを選択してください。
- 認証情報セクションにて、認証情報のリセットをクリックします。
確認画面が表示されます。 - リセットをクリックします。
-
認証情報が正常にリセットされましたとメッセージが表示されるまで待ちます(約20秒間)。
更新された認証情報が利用できます。
追加情報
特徴と制限
特性 | 備考 |
---|---|
アドネットワーク | アドネットワークは使用できません。 |
代理店 | 代理店アカウントでは使用できません。 |
アプリ固有のタイムゾーン | 適用されません。Data Lockerフォルダは、UTCを使用して時間に分割されます。実際のイベントは、UTCで時刻が刻まれます。必要に応じて、他のタイムゾーンに時刻を変換します。アプリのタイムゾーンに関係なく、イベント発生からData Lockerに記録されるまでの遅延時間は同じです。 |
アプリ固有の通貨 | サポートされておらず、計測対象外です |
サイズ制限 | 不適用 |
データ更新頻度 | データは、この記事内に記載されている個々のレポートデータの更新頻度に従って更新されます。 |
過去データ | 対応していません過去のデータが必要な場合、すべてではありませんが、一部のレポートはPull APIを介して利用可能です。 |
制限付きデータ | 一部のレポートの項目は、プライバシーの制限により制限されています。詳細はこちら |
ユーザーアクセス | Data Locker を設定できるのは、必要な権限を持つアカウントユーザーのみです。 |
単一アプリ / 複数アプリ | 複数アプリのサポート。複数のアプリをサポートしています。 |
トラブルシューティング
- 症状:AWS CLIを使用してデータを取得できない
- エラーメッセージ: ListObjectsV2 オペレーションの呼び出し時にエラーが発生しました(AccessDenied):アクセス拒否
- 要因:使用されているAWS認証情報が、AppsFlyerバケットの正しい認証情報ではありません。これは、複数または無効な資格情報が原因の可能性があります。
-
解決法:
- Cyberduckなどの別の方法、つまりCLI以外を使用してバケットにアクセスしてください。これにより、使用している資格情報が機能していることを確認してください。Cyberduckを使用して接続できる場合は、資格情報キャッシュに問題があることを示しています。
-
AWS認証情報キャッシュを更新してください。
AWSのスクリーンショット -
AWSデータの取得
AWS CLIや次のセクションで説明するツールのいずれかのAWSデータ取得ツールを使用してください。注!正確な手順は、AppsFlyerが所有するバケットに適しています。独自のバケットに接続する場合は、必要に応じて手順を調節してください。
AWS CLI
はじめに:
- コンピューターにAWS CLIをインストールします。
- AppsFlyerで、Data Lockerに移動し、認証情報パネルに含まれる情報を取得します。
AWS CLIを使用する:
- ターミナルを開きます。Windowsでこれを行うには、<Windows>+<R> を押し、OK をクリックします。
コマンドラインウィンドウが開きます。 - aws configure を入力してください。
- 認証情報パネルに表示されるAWS Access Keyを入力します。
- 認証情報パネルに表示されるAWS Secret Keyを入力します。
- eu-west-1を入力してください。
- Enterキー(None)を押します。
必要に応じて、以下のCLIコマンドを使用してください。
以下のコマンドで、{home-folder}の値を見つけることができる。
バケット内のフォルダーを一覧表示する方法:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/
ファイルとフォルダーの一覧表示
Data Lockerバケットには3種類のフォルダがあります。
- Report Type:
t=
- Date:
dt=
- Hour:
h=
特定のレポートタイプのすべてのレポートを一覧表示するには:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/
特定の日の特定のレポートタイプのすべてのレポートを一覧表示するには:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17
特定の日の特定の時間の特定のレポートのすべてのレポートを一覧表示するには:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23
特定の日付のファイルをダウンロードする方法:
aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/
Cyberduck
はじめに:
- Cyberduckクライアントをインストールしてください。
- AppsFlyerで、Data Lockerに移動し、資格情報パネルに含まれる情報を取得します。
Cyberduckの設定方法:
- Cyberduckで、[Action]をクリックしてください。
- New Bookmark を選択します。以下の画面が表示されます:
- 最初の項目(以下のスクリーンショットで [1] と表示)で Amazon S3 を選択してください。
- 次のフィールドを入力します:
- Nickname: 自由入力欄
- Server: s3.amazonaws.com
- Access key ID: AppFlyerの認証情報パネルに表示されるAWSアクセスキーをコピーしてください
- Secret access key: AppsFlyer の資格情報パネルに表示されているバケットシークレットキーをコピーします。
- Path: {Bucket Name}/{Home Folder} / 例:af-ext-reports/1234-abc-ffffffff
- ウィンドウを閉じます。画面の右上にある X をクリックしてください。
- 接続を選択します。
データディレクトリが表示されます。
Amazon S3ブラウザー
はじめに:
- Amazon S3ブラウザをインストールします。
- AppsFlyerで、Data Lockerに移動し、認証情報パネルに含まれる情報を取得します。
Amazon S3ブラウザを設定するには :
- S3 ブラウザにて、Accounts > Add New Account をクリックします。
[新しいアカウントの追加] ウィンドウが開きます。 - 次のフィールドを入力します:
- Account Name :フリーテキスト
- Access Key ID :認証情報パネルに表示されるAWS Access Keyをコピーします。
- Secret Access Key:資格情報パネルに表示される Bucket Secret Key をコピーします。
- パスワードで Encrypt Access Keys を選択し、パスワードを入力します。このパスワードを覚えておいてください。
- Use secure transfer を選択します。
- 変更を保存をクリックします。
-
Buckets > Add External Bucketをクリックします。
「外部バケットの追加」ウィンドウが開きます。
- バケット名を入力します。バケット名は以下の形式です: {Bucket Name}/{Home Folder}.バケット名とホームフォルダに必要な値は認証情報ウィンドウに表示されます。
-
外部バケットを追加 をクリックします。
バケットが作成され、ウィンドウの左側のパネルに表示されます。
これで、Data Lockerファイルにアクセスできます。