概要:リターゲティングキャンペーンにより得られるインクリメンタリティ(増分)を測定しましょう。

関連記事:インクリメンタリティのテスト運用 | オーディエンス | マーケター向け2021年インクリメンタリティ テストガイド

「インクリメンタリティ」とは?

インクリメンタリティ(増分法)を理解するには、例を挙げるのが分かりやすいでしょう。

最近、リマーケティングキャンペーンを実施したとします。わかりやすくするために、ここでは1つのアドネットワークだけを使った場合とします。このキャンペーンのコンバージョン率は5%でした。

さて、このキャンペーンの成果を評価したいと考えており、ここで重要な(そして最も難しい)質問に答える必要があります。

  • このキャンペーンのコンバージョン率の5%は良い数字でしょうか?
  • そのキャンペーンが本当にコンバージョンの増加につながったことをどうやって知ることができるでしょうか?
  • このキャンペーンは、実施にかかったコストに見合うものでしたか?

これらの質問に正確かつ偏りなく答えるためには、測定されたコンバージョン以上の点について考慮する必要があります。リマーケティングキャンペーンと接触しなかったとしても、自然に(オーガニック経由で)コンバージョンしていたであろうユーザーの数を考慮しなければなりません。

このコンバージョン総数と、キャンペーンの有無に関わらず発生したであろうコンバージョン数との差は、増分(インクリメンタル)リフト(あるいは単に "リフト")と呼ばれ、キャンペーンの真の価値を判断する上で重要なものとなります。それを測定するのは非常に難しいことですが、AppsFlyerのIncrementalityはまさにそれを目的としています。

インクリメンタリティテスト

インクリメンタリティは、似たようなグループの行動を比較するための科学的に有効な実験を可能にすることで、増分リフトを測定するという課題を克服します。これらのグループの違いは、あるグループ(テストグループ)はキャンペーンと接触し、またあるグループ(コントロールグループ)はキャンペーンと接触していないという点だけです。

インクリメンタリティ用のテストの作成と実行についての詳細はこちら

計算方法

以下のセクションでは、Incrementalityダッシュボードでレポートされた数値の背後にある計算について説明します。

リフト

AppsFlyerのIncrementalityでは、リフトを算出するために2つの方法を採用しています。

  • Intent-to-treat(ITT解析)
  • Reach-based(リーチベース)

キャンペーンのパフォーマンスを評価する目的では、リーチベースの手法が望ましいのですが、その計算には、すべてのアドネットワークが提供しているわけではないデータポイントを測定する必要があります。それらのネットワークについては、代わりにintent-to-treatの手法が用いられます。

 注記

2021年12月16日以前は、intent-to-treat法のみで増分を算出していました。ただし、それ以前のデータについても、リーチベースのリフトを使用するように更新されています。そのため、過去のテストを見直して、新しい方法論に照らし合わせて結果を分析することができます。

ITTベースのリフト

ITT(intent-to-treat) 実験の方法論は、医学の世界にその基礎があります。ITTを使用して、研究者は母集団を治療を行わないコントロールグループと、研究者が治療を行う意図を持つテストグループにランダムに分割します。研究者は、グループの結果を比較することによって、与えられた治療の有効性を測定します。テストグループのメンバーが 実際に 治療を受けたかどうかは考慮されません。

同様に、リマーケティングでは、増分率指標がキャンペーンの有効性を測定します。テストグループのユーザーが 実際に キャンペーンに参加した(治療を受けた)かどうかは重要ではありません。なぜなら、増分値を計算する際に関係するのはインテンション(意図)だからです。つまり、テストグループのメンバー全員が実際にキャンペーンに参加したものとして結果が算出されます。

どんな時に使うのですか?

AppsFlyerのIncrementalityは、SRN媒体にITTベースのリフト計算を採用しています。

ITTは、私たちのコンテキストではリフトを測定するための好ましい方法ではありませんが、科学的に適切な実験方法であり、リーチベースの計算が不可能な場合に有効な結果を提供します。

結果の解釈

テストグループのメンバー全員が実際にキャンペーンに参加したという前提があるため、コンバージョン率が低くなり、その結果、リフト量も少なくなることがよくあります。

リーチベースのリフト

その名の通り、リーチベースのリフト計算は、テストグループのメンバーがコンバージョンする前に、 実際に リーチした(キャンペーン広告を配信された)かどうかを考慮します。リーチベースのリフト計算は、追加データを必要とすることに加え、統計的に有効であるためには、コントロールグループに一定の数学的調整を必要とするという点で、より複雑なものとなります。これらの調整は累積的に、"counterfactual" コントロールグループの作成として知られています。

どんな時に使うのですか?

AppsFlyerのIncrementalityでは、非SRN媒体(計測リンク使用媒体)に対してリーチベースのリフト計算を行います。

リフトを計算する上で好ましい方法ですが、リーチベースの計算では、アドネットワークが以下のデータをAppsFlyerにレポートする必要があります。

  • インプレッションデータ
  • キャンペーンID(計測リンクより)

このデータがレポートされていない場合、インクリメンタル測定は利用できません(インクリメンタルダッシュボードでは N/A と表示されます)。

結果の解釈

リーチベースのリフト計算は、キャンペーンによって実際にリーチしたテストグループのメンバーのみを考慮するため、リーチベースの増分によって測定されたネットワークは通常、結果が増幅されます(ポジティブリフトはより高くなり、ネガティブリフトはより低くなります)。

ベストプラクティス

2つの異なるリフト計算方法によって結果が大きく異なることがあるため、解釈をより有意義なものにするために、以下のベストプラクティスを推奨します。

  • 実験を行う際には、コントロールグループと1つ以上の同じタイプのネットワーク、どちらかだけに分かれたオーディエンスを選択します。
    • リーチベース計算のための非SRN媒体(計測リンク使用媒体)、または
    • ITTベースの計算のためのSRN
  • 最初の実験では、オーディエンスを1つのネットワークとコントロールグループにのみ分割して使用することを検討してください。これにより、異なるリフト計算を行った2つ以上のネットワーク間で比較することが少なくなります。

統計的有意性

Incrementality実験の有効性を評価する場合、健全な科学的方法論では、 統計的有意性 (リフト結果がランダムな事象や偶然によるものではないという確信のレベル)を考慮することが必要です。

Incrementalityダッシュボードでは、各メディアソースにおいて、有意性がパーセンテージで表示されます。

  • パーセントは、そのメディアソースの結果が、同じような状況でもう一度実験を行った場合に、同じ結果が繰り返される可能性を示しています。
  • 統計的有意性が60%以下と判断された場合、ダッシュボードにはパーセンテージではなく、 結果:信頼性 - 低 が表示されます。
  • 有意性は、オーディエンスのサイズ、実験期間、メディアソースの性能に影響されます。

スケールしたコントロールグループ

テストグループレベルのメトリクスユーザー単位のメトリクス とは対照的)については、 スケールされたコントロールグループ に基づいてリフトが計算されます。
つまり、各メディアソースのコントロールグループの大きさに合わせて、コントロールグループの大きさを調整します。

 

次のようなシナリオを想定してください:

  • ネットワークAのテストグループサイズ=100名
  • コントロールグループサイズ=90名
  • 実験結果:
    • ネットワークAは40件のコンバージョンが発生
    • コントロールグループでは20件のコンバージョンが発生
  • 合計コンバージョン数は、コントロールグループの規模を100名と想定し、調整します。
    • 想定ユーザー数 ー 実績ユーザー数100 - 90 = 11%
      実績ユーザー数:90

    • 実際のコンバージョンの増加分 + 11% = 20 × 1.11 = 22

リフトは、コントロールグループの規模を100名、コンバージョンの増加を22名として計算します。

Incrementality管理画面

incrementality_dashboard.png

ダッシュボードにアクセスする

インクリメンタルダッシュボードにアクセス:

  1. AppsFlyer管理画面 > ダッシュボード > Incrementality に移動します。
  2. 実験リストから、ダッシュボードを表示させたい実験の行をクリックします。

ダッシュボードツアー

  項目 説明

A.png

フィルタ

計測: ダッシュボードに表示する指標を選択します:

  • コンバージョン - 選択したイベントを実行したユニークユーザー数
  • 収益 - 選択されたイベントのユーザーがコンバージョンしたことにより発生した収益
  • イベント - 選択したイベントのうち、コンバージョンするユーザーによって実行された回数

計測フィルタで選択すると、ダッシュボード全体に表示される計測基準が決定されます:

 

イベント: データを表示したいアプリ内イベントを選択します

 

メディアソース: 実験でテストしたメディアソースによって表示するデータをフィルターします

B.png

有意性タイル ダッシュボードに表示されている結果の 統計的有意性 を表示します。

C.png

ヘッドラインメトリックス タイル

表示されるメトリックは、以下のように 計測フィルター での選択によって制御されます。

計測フィルタ選択 表示されるヘッドラインメトリック
コンバージョン/イベント

CPiA(Cost per Incremental Action:増分アクションあたりのコスト)

  • キャンペーンコストに基づく、イベント増加毎の平均コスト
収益
広告費用対効果(iROAS)増加分
  • キャンペーンに費やした金額に対して発生した増収分の比率

注意: ヘッドラインタイルに表示される指標の計算には、コストデータが必要です。したがって、これらの指標は、 Xpend をご利用のお客様のみ利用可能です。必要なコストおよび/または収益のデータが、この理由またはその他の理由で入手できない場合、関連するメトリックは N/A と表示されます。

D.png

ターゲットサイズとリーチタイル

ターゲットサイズ: 実験の日付範囲内に初めてオーディエンスに加えられた、メディアソースごとの個別のユーザー数

  • 円グラフの内側のリング(濃い色)にも表示されます。

リーチ: 該当メディアソースのキャンペーンから、実際に広告を見たターゲットの%割合

  • 円グラフの外側のリング(明るい色 )にも表示されます。

E.png

テストグループレベルのリフトタイル

テストグループ合計増分メトリックとリフトを表示します。(メディアソース別)

計測フィルタ選択 表示されるメトリックス
コンバージョン

コンバージョンの合計増加量

イベント
合計増加イベント数
収益
合計増加収益額

F.png

ユーザーごとのリフトタイル

ユーザー毎の増分メトリックとリフトを表示します。(メディアソース別)

  • ユーザー毎の増分リフトは、テストグループとコントロールグループの実際のユーザー数を用いて計算されます。
  • 表示されるメトリックは、以下のように 計測フィルター での選択によって制御されます。

計測フィルタ選択 表示されるメトリックス
コンバージョン

コンバージョン率の増分

イベント
ユーザーごとのイベント増分
収益
ユーザー1人当たりの増分収益

G.png

トレンドチャート

選択された ユーザー毎 の増分メトリック/リフトを、実験の日付範囲に渡り表示します。

  • 表示される指標は、計測フィルター の選択により制御され、ユーザー毎のリフトタイルで表示される指標と同じデータです。
  • 点線(チャート表示)は、レポートされた日付のデータの一部を示します(将来のイベントがまだデータに影響を与える可能性があることを意味します)。
  • トレンドチャート表示コントロール を使用して、さまざまな表示およびダウンロードオプションを選択します(詳細については後述します)。

H.png

トレンドチャート表示コントロール

表示コントロールを使用して、 トレンドチャート の表示とダウンロードのオプションを選択します。

  • 累積値または日毎の値
  • チャートまたはテーブル形式

 

エクスポート ボタンからデータを CSV形式の表としてダウンロードできます。

  • ダウンロードされるデータは、ビューコントロールで選択したものです: 累積 または 日毎

ローデータレポート

Incrementalityローデータレポートを使用して、ユーザーのリマーケティングキャンペーンとのインタラクションを分析しましょう。

  • コンテンツ: Incrementality実験に参加したユーザーレベルのローデータ
  • 利用方法:
    • Data Locker経由
    • データ更新頻度:UTC時間で毎日19:00 - 23:00(日本時間:毎日 4:00 - 8:00)

Incrementalityローデータサンプルファイル

利用可能なレポート

カテゴリ レポート名

Data Lockerフォルダ

First-seen

First-seen users

incrementality_first_seen_users

In-app events

Organic in-app events

incrementality_organic_inapps

In-app events non-organic

incrementality_inapps

In-app events re-attributions

incrementality_inapps_reattr

Sessions

 

 

Organic sessions

incrementality_organic_sessions

Sessions non-organic

incrementality_sessions

Sessions re-attributions

incrementality_sessions_reattr

Uninstalls

アンインストール
(現在は集計されません) 

incrementality_uninstalls


レポート仕様

レポート構成の基礎となるロジックは以下の通りです:

  • テストに参加しているユーザー:First-seenレポート
    • オーディエンス機能にて、テストに含めるユーザーを特徴付けるルールが設定されます。
    • ユーザーがルールと一致していると識別されると、そのイベントは first_seen レポートに記録されます。
      • ユーザーがテスト、または is_control_group  項目で示されるコントロールグループのいずれかにランダムに割り当てられます。
      • テストグループ内のユーザーは、リターゲティング用にメディアソース(pid_destination)に割り当てられます。
  • アプリ内のユーザーエンゲージメント:テスト中のアプリとのユーザーエンゲージメントは、コンテキスト固有のレポートに記録されます。
    • エンゲージメントタイプ:セッション、またはアプリ内イベント
    • 初めて見るユーザーに対するユーザーアトリビューションステータス:オーガニック、非オーガニック、リアトリビューション例えば、過去にユーザーがアプリをインストールし、オーガニックと計測されました。そのため、テスト中は、アトリビューションステータスがオーガニックになります。  
  • アンインストール:テスト中にアプリをアンインストールしたユーザー。アンインストール計測が有効になっている必要があります。 

データの特性とフィールド

利用できる項目は、レポートの種類に応じて異なります。

Incrementality固有のデータ項目(レポートタイプ別)
項目 説明 First seen In-app events Sessions Uninstalls
is_control_group trueの場合、ユーザーはコントロールグループの一部です Y Y Y Y
pid_destination ユーザーが割り当てられたメディアソース Y Y Y Y
audience_id 一意の識別子 Y Y Y Y
joined_audience_date ユーザーがオーディエンスに最初に参加した日 Y Y Y Y
audience_name オーディエンス名(一意ではない) Y Y Y Y
tm 一日の時間   Y Y Y
timestamp イベントのタイムスタンプ YYYY-MM-DD HH:MM   Y Y  
app_ids オーディエンスルールに関連するアプリID Y      

 

その他のIncrementalityレポート項目(レポートタイプごと)
項目 表示名* First seen In-app events Sessions Uninstalls
advertising_id Advertising ID (GAID) Y Y Y Y
android_id Android ID   Y Y  
app_id App ID Y Y Y Y
app_name App name   Y Y  
app_version App version   Y Y  
appsflyer_id Appsflyer ID   Y Y Y
revenue_alt App-specific currency   Y    
bundle_id Bundle ID   Y Y  
country Country code   Y Y Y
currency Currency code   Y Y Y
customer_user_id Customer user ID   Y Y  
brand Device brand   Y Y  
device_category Device category   Y Y  
model Device model   Y Y  
device_model Device model   Y Y  
device_type Device type   Y Y  
event_name Event name   Y Y Y
event_revenue Event revenue   Y    
event_revenue_currency Event Revenue Currency   Y    
event_revenue_u_s_d Event revenue USD   Y    
event_time Event time   Y Y Y
event_value Event value   Y Y  
idfa IDFA Y Y Y Y
idfv IDFV   Y Y  
imei imei   Y Y  
is_purchase_validated Is receipt validated   Y    
os_version OS version   Y Y  
platform Platform   Y Y Y
sdk_version SDK version   Y Y  
* ローデータの仕様による

Incrementalityの仕様と制限

特性 備考
アドネットワークのアクセス 利用不可
代理店アクセス 利用不可
代理店への運用詳細の開示 N/A
タイムゾーン UTC
通貨 USD
オーガニックデータ はい
非オーガニックデータ はい
データ更新頻度

管理画面:毎日 UTC 18:00に前日データを更新(日本時間:毎日朝4時に前々日のデータを更新)

Data Locker(ローデータ):毎日 UTC 19:00 - 23:00に前日分を更新(日本時間:毎日 4:00 - 8:00 に前々日のデータを更新)

過去データ

N/A

アカウントユーザーのアクセス アカウント権限に依存します
この記事は役に立ちましたか?