Data Locker ver.2.0:S3バケット内のローデータ

概要:Data Lockerは、あなたのアプリの ローデータ をAWSのS3バケットへほぼリアルタイムに保存する機能です。データは、レポートタイプ別にフォルダに保存され、データ量は無制限です。
なお、データの保持期間は30日間ですので注意してください。

Data Lockerで利用可能なイベントレポートタイプ

DataLockerReports.jpg

Data Locker

特徴

  • アプリ:複数のアプリをサポート
  • シンプルさ:データはAmazon S3バケットに保存され、ストレージ要件を管理できます
  • 信頼性 :データはAWSに保存され、データの永続性を保証します
  • 柔軟性 :レポートに含めるデータをフィールドおよびアプリ内イベント別に選択します
  • 細分性 :データはレポートの種類、日別、時間別に分割されます
  • アクセシビリティ:必要なときにデータを抽出できます

データのセグメンテーション

Data Lockerのデータは、次のようにフォルダーに分割されます。

  • レポートタイプ
  • 日数
  • 時間別

つまり、レポートの種類ごとに、特定の日に、データはデータイベント時間ではなく到着時間で別々のフォルダーに分けられます。たとえば、 ../t=installs/dt=2019-01-17/ は25個のフォルダーが含まれています。0から23までの1時間ごとに24個のフォルダーと、遅れて到着するデータ用の追加フォルダーがあります。

データの更新頻度:これは、イベントがData Lockerに送信された時間です。Data Lockerフォルダーは、リアルタイムイベントおよび毎日のレポートの実際のイベント時間の約6時間後にUTCの午前6時頃に書き込まれます。

データロッカーの実装

データロッカーの構成

前提条件 :Data Lockerを構成・設定するには、アカウント管理者である必要があります。

Data Lockerを構成するには:

  1. 管理画面左メニューから インテグレーション > Data Locker をクリックします
  2. 1つ以上アプリを選択してください。注意!アカウントにアプリを新しく追加したとき、Data Lockerには自動的に追加されないので、この画面で手動で追加することを忘れないでください。
  3. [適用する] をクリックします。
  4. (任意) Media Sources (デフォルト設定はAllで、今後新たに追加されるメディアソースも自動的に追加されます。): レポートに含める メディアソースを1つ以上選択してください。 
  5. [適用する] をクリックします。
  6. レポートタイプを1つ以上選択してください。
  7. (任意)アプリ内イベント (デフォルト設定はAllで、今後新たに追加されるアプリ内イベントも自動的に追加されます。):データに含めるアプリ内イベントを選択してください。もしもアプリ内イベントの種類が100個を超えている場合には、検索することはできませんので、名前を正確に入力して選択してください。
  8. [適用する] をクリックします。
  9. (オプション) フィールド (デフォルト=すべて):レポートに含めるフィールドを選択します。注意 :AppsFlyerは、随時フィールドを追加しています。
  10. (オプション)受信者メール:レポートの準備ができたときに通知するユーザーのメールリスト複数の受信者を追加するには、カンマを使用してメールアドレスを分割します。例:user1@example.com, user2@example.com
  11. Create Bucket をクリックします。

バケットの認証情報

設定が保存されると、専用のAWSバケットが作成されます。バケットの詳細が画面の右上隅に表示されます。バケット名ホームフォルダ、およびデータにアクセスするための認証情報が含まれています。

data-credentials.png

バケットには、(セキュリティ上の理由から)お客様の認証情報を使用してのみアクセスできます。さらに、バケットへのすべてのアクセスが監査されます。

データの可用性

  • データは、6時間後に、1時間ごとに更新されます
  • 各ファイルには、選択したアプリが含まれています
  • リテンション:ファイルとフォルダーは30日間使用でき、データは30日後には削除されます。

フォルダー構造とフォーマット

  • フォルダの構成:af-ext-reports/<Home Folder>/data-locker-hourly/t=<event-type>/dt=<date YYYY-MM-dd>/h=<Hour h>
  • ホームフォルダーは、資格情報ウィンドウに表示されるホームフォルダーです(前のセクションのセットアップ手順を参照)。
  • たとえば、日付 2016-08-12 の場合、関連するレポートは次の場所に表示されます:
    s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly/t=installs/dt=2016-08-12/
  • フォルダー dt=yyyy-mm-dd は、25個の時間別フォルダーに分割されます。これらのフォルダーは、イベント自体のイベント時間ではなく、イベントの到着時間を表します。フォルダーの名前は h = 0、h = 1、h = 2などで、最高でh = 23までと、h = lateがあります。たとえば、フォルダー h = 0には 00:00から01:00の間に到着するイベントが含まれ、同様にフォルダーh = 20には20:00から21:00の間に到着するイベントが含まれます。
  • 各フォルダーでは、大きなファイルを避けるために、データが複数のファイルに分割される場合があります。エクスポートされるデータのタイプに応じて、フォルダーには最大1000個のファイルを含めることができます。この数値は予告なく変更される場合があります。ファイル名の例: part-00000, part-00001, part-00002 など

  • 各フォルダーで、書き込まれる最後のファイルは常に _SUCCESS という名前の空のファイルです。このファイルは、フォルダにこれ以上データが書き込まれないことを示すフラグです。したがって、 _SUCCESS ファイルが存在することを確認する前に、フォルダー内のデータを読み取らないでください。_SUCCESS フラグは、フォルダーに書き込むデータがない場合にも書き込まれます。

遅延フォルダー

遅延フォルダには、00:00 UTC +0 (深夜) 午前 0時 および 02:00 UTC +0 の後に到着した前日のイベントが含まれています。 前のセクションで説明した_SUCCESSフラグも含まれています。自動化されたプロセスは、その日の他のすべてのフォルダで行われるように、遅延フォルダ内のデータを探す必要があります。

 例

1月21日午前1時15分にAppsFlyerがイベントを受信します。イベントのタイムスタンプは1月20日18:45です。このイベントは遅れて到着したため、 /dt=2019-20-01 / h= lateフォルダー内のlate folderに配置されます。

ファイルの構造と形式

  • Data Lockerファイルは、ローデータレポート仕様 Ver.5に基づいています。
  • 実際のデータファイルはCSV形式ですが、ファイル拡張子はありません。
  • レポートファイルは、ダウンロードプロセスを効率化するため、.gz フォーマットで圧縮されています。
  • 各ファイルにはヘッダー行があります。
  • コンマを含む値は、"" `の間に含まれます。例:` ` " iPhone6,1 " `

Data Lockerからデータを取得する

AppsFlyerはAWS原則(Amazonの用語ではARN)を作成し、その原則の認証情報を生成します。次に、ポリシーが設定され、原則がバケットからファイルを参照および取得できるようにします。

AWSコマンドラインツールとほとんどのFTPクライアントを使用してバケットにアクセスできます。これらのツールを使用するには、認証情報、AWSアクセスキーとAWS Secretを 認証情報セクション から取得します。

次のツールを使用してデータにアクセスできます:

  • CLI: AWS CLI
  • Windows: Cyber DuckAmazon S3 Browserなどの利用可能なツールがいくつかあります。DragonDiskは完全にはサポートされていません。

AWS CLI

はじめに:

  • コンピューターにAWS CLIをインストールします。
  • AppsFlyerでData Lockerに移動し、この手順を実行するために必要な資格情報パネルに含まれる情報を取得します。

AWS CLI を使用するには:

  1. ターミナルを開きます。Windowsでこれを行うには、 <Windows> + <R> を押し、 OK をクリックします。
    コマンドラインウィンドウが開きます。
  2. aws configureを入力します
  3. 認証情報パネルに表示されるAWS Access Keyを入力します。
  4. 認証情報パネルに表示されるAWS Secret Keyを入力します。
  5. eu-west-1を入力します
  6. Enterキーを押す(None)

必要に応じて、以下のCLIコマンドを使用してください。

次のコマンドでは、{home-folder}の値が見つけられます。

バケット内のフォルダーを一覧表示するには:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

ファイルとフォルダーの一覧表示

Data Lockerバケットには3種類のフォルダがあります。

  • レポートタイプ t=
  • 日付 dt =
  • 時間 h=

特定のレポートタイプのすべてのレポートを一覧表示するには:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

特定の日の特定のレポートタイプのすべてのレポートを一覧表示するには:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

特定の日の特定の時間の特定のレポートのすべてのレポートを一覧表示するには:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Cyber Duck

はじめに:

  • Cyber Duckクライアントをインストールします。
  • AppsFlyerで、Data Lockerに移動し、資格情報パネルに含まれる情報を取得します。この情報は、Cyber Duckを設定する際に必要になります。

Cyber Duckを設定するには:

  1. Cyber Duckで、[Action]をクリックします。
  2. New Bookmark を選択します。以下の画面が表示されます:
  3. 最初のフィールド(次のスクリーンショットでは[1]とマークされています)で、[ Amazon S3 ] を選択します。

    DataDuckSmall2.png

  4. 次のように各フィールドを入力します。
    • Nickname: フリーテキスト
    • Server: s3.amazonaws.com
    • Access Key ID: AppFlyerの認証情報パネルに表示されるAWSアクセスキーをコピーします
    • Secret Access Key: AppsFlyerの認証情報パネルに表示されるバケットシークレットキーをコピーします
    • Path: {Bucket Name} / {Home Folder} 例: af-ext-reports / 1234-abc-ffffffff
  5. ウィンドウを閉じるには、ウィンドウの右上隅にあるXを使用します。
  6. 接続を選択します。
    データディレクトリが表示されます。

Amazon S3ブラウザー

はじめに:

  • Amazon S3ブラウザをインストールします。
  • AppsFlyerでData Lockerに移動し、この手順を実行するために必要な資格情報パネルに含まれる情報を取得します。

Amazon S3ブラウザを設定するには

  1. S3 ブラウザで、[アカウント] > [新しいアカウントの追加] をクリックします。 
    [新しいアカウントの追加] ウィンドウが開きます。

    mceclip0.png

  2. 次のように各フィールドを入力します。
    • Account Name :フリーテキスト
    • Access Key ID :認証情報パネルに表示されるAWSアクセスキーをコピーします
    • Secret Access Key :資格情報パネルに表示されるバケットシークレットキーをコピーします
    • パスワードで Encrypt Access Keys を選択し、パスワードを入力します。このパスワードのノートを書き留めてください。
    • Use secure transfer を選択します。
  3. 変更を保存 をクリックします。
  4. [バケット] > [外部バケットの追加をクリックします。
    「外部バケットの追加」ウィンドウが開きます。

    mceclip2.png

  5. バケット名を入力します。バケット名の形式は {Bucket Name} / {Home Folder} です。バケット名とホームフォルダに必要な値は認証情報ウィンドウに表示されます。
  6. [ 外部バケットを追加] をクリックします。バケットが作成され、ウィンドウの左側のパネルに表示されます。
    これで、Data Lockerファイルにアクセスできます。

Data Lockerで使用可能なレポートタイプ

  • Data Lockerで使用可能なレポートは、以下表の通りです。
  • ✓+ でマークされたレポートは、Data Lockerでのみ取得可能で、他の手段では入手できません。
カテゴリ レポートの種類 (topic) 説明 オーガニック 非オーガニック
Acquisition clicks クリック - ✓+
リターゲティング clicks_retargeting リターゲティングキャンペーンのクリック - ✓+
Acquisition impressions インプレッション - ✓+
リターゲティング impressions_retargeting リターゲティングキャンペーンのインプレッション - ✓+
Acquisition installs インストール
Acquisition inapps アプリ内イベント 
Acquisition attributed_ad_revenue 非オーガニックインストールに紐づくアプリ内広告収入 -
Acquisition organic_ad_revenue オーガニックインストールに紐づくアプリ内広告収入 -
リターゲティング retargeting_ad_revenue リターゲティング広告に紐づくアプリ内広告収入 -
リターゲティング conversions_retargeting リエンゲージメント / リアトリビューションとを含むリターゲティングコンバージョン -
リターゲティング inapps_retargeting リエンゲージメント / リアトリビューションに起因するアプリ内イベント -
Acquisition sessions アプリのセッション(起動回数) ✓+ ✓+
Acquisition uninstalls 非オーガニックアンインストール -
Acquisition organic_uninstalls オーガニックアンインストール ✓+ -
Protect360 blocked_installs Protest360によりブロックされた不正インストール -
Protect360 blocked_inapps Protest360によりブロックされたアプリ内イベント -
Protect360 blocked_clicks Protest360によりブロックされたクリック -
ピープルベースドアトリビューション web_events ピープスペースドアトリビューション Webイベント ✓+ ✓+
ピープルベースドアトリビューション web_touch_points ピープスペースドアトリビューション Webタッチポイント ✓+ ✓+
ピープルベースドアトリビューション web_to_app ピープルベースドアトリビューション Web to App ✓+ ✓+
Data Lockerで利用可能なイベントレポートタイプ

データソースとしてのレポートの使用

レポートのデータを使用して、独自のデータベースに追加できます。データを抽出してデータベースに追加するには、レポート形式を知る必要があります。Data Lockerレポートは、ローデータレポートに基づいています。ただし、最終的なレポート形式は、設定画面で選択されたフィールドのみが含まれます。

レポート形式

Data Lockerで利用可能なフィールドは、ローデータレポート仕様 Ver.5 にリストされています。

 ヒント

レポートには、キャンペーンの最適化とリターゲティングに使用できるデータが含まれています。

時間別毎時レポート

Data Lockerは、データを1時間ごとのフォルダーに分割します。時間別毎時フォルダは、イベントが発生した時間ではなく、処理時間を表します。データは、処理後6時間以内にData Lockerに書き込まれます。

 例

AppsFlyerは、2020年1月17日の14:00から15:00までのアクティビティのデータを受信しました。15:00以降のある時点で、AppsFlyerがデータの処理を開始します。処理のため、データはData Lockerにすぐには書き込まれません。したがって、フォルダー /t=installs/dt=2019-17-01/h=14 は、2019年1月17日の15:00には利用できず、6時間後に利用できます。

時間別フォルダーの作成

特定の時間のデータがない場合にも、Data Lockerはその時間のフォルダーを作成します。これにより、その時間にデータがなかったことを示します。このフォルダーには、AppsFlyerがこのフォルダーへの書き込みを完了したことを示す `_SUCCESS` ファイルが含まれます。自動処理を設計するときは、これを考慮に入れる必要があります。つまり、空の時間別フォルダーを処理できるようにデータ取得プロセスを設計します。

タイムゾーンと通貨

アプリ固有のタイムゾーンと通貨の設定は、Data Lockerのデータには影響しません。

タイムゾーン: Data LockerレポートはUTCタイムゾーンを使用します

通貨: フィールド event_revenue_usd は米ドルです。

特徴と制限

特徴
特徴 備考
Ad Networks 広告媒体アカウントでは使用できません。
代理店 代理店アカウントでは使用できません。
アプリ固有のタイムゾーン サポートされていません
アプリ固有の通貨 サポートされていません
サイズ制限 不適用
最後のデータ更新 ファイルは、イベント実行時間から6時間遅れて1時間ごとに更新されます。
ヒストリカルデータ サポートされていませんイベントデータは、Data Lockerの構成後に送信されます。過去のデータが必要な場合は、Pull APIを使用してください。
チームメンバーアクセス チームメンバーアカウントはData Lockerを構成できません。
単一アプリ / 複数アプリ Data Lockerはアカウントレベルで、複数のアプリをサポートしています。

トラブルシューティング

  • 症状:AWS CLIを使用してデータを取得できない
  • エラー表記 ListObjectsV2 操作を呼び出す時にエラーが発生しました:アクセスが拒否されました
  • 原因 :使用されているAWS認証情報がAppsFlyerバケットの正しい認証情報ではありません。これは、複数または無効な資格情報が原因の可能性があります。
  • 解決法
    1. Cyber Duck などの別の方法を使用してバケットにアクセスします。これはCLIではありません。これを実行して、使用している資格情報が機能していることを確認します。Cyber Duckを使用して接続できる場合は、資格情報キャッシュに問題があることを示しています。
    2. AWS認証情報キャッシュを更新します
      AWS`のスクリーンショット mceclip0.png
この記事は役に立ちましたか?