概要:インクリメンタリティ機能で、リターゲティングキャンペーンによって生成された純増リフトを計測する方法を理解しましょう。
「インクリメンタリティ」とは?
Probably the best way to understand incrementality analysis is through an example:
最近、リマーケティングキャンペーンを実施したとします。わかりやすくするために、ここでは1つのアドネットワークだけで配信した場合とします。このキャンペーンのコンバージョン率は5%でした。
さて、このキャンペーンの成果を評価したいと考えており、ここで重要な(そして最も難しい)質問に答える必要があります。
- このキャンペーンのコンバージョン率の5%は良い数字でしょうか?
- そのキャンペーンが本当にコンバージョンの増加につながったことをどうやって知ることができるでしょうか?
- このキャンペーンは、配信にかかったコストに見合うものでしたか?
これらの質問に正確かつ偏りなく答えるためには、測定されたコンバージョン以上の点について考慮する必要があります。リマーケティングキャンペーンと接触しなかったとしても、自然に(オーガニック経由で)コンバージョンしていたであろうユーザーの数を考慮しなければなりません。
このコンバージョン総数と、キャンペーンの有無に関わらず発生したであろうコンバージョン数との差は、純増(インクリメンタル)リフト(あるいは単にリフト)と呼ばれ、キャンペーンの真の価値を判断する上で重要なものとなります。それを測定するのは非常に難しいことですが、AppsFlyerのIncrementalityソリューションはまさにそれを目的としています。
Incrementality experiments
インクリメンタリティは、似たようなグループの行動を比較するための科学的に有効な検証を可能にすることで、純増リフトを測定するという課題を克服します。これらのグループの違いは、あるグループ(テストグループ)はキャンペーンと接触し、またあるグループ(コントロールグループ)はキャンペーンと接触していないという点だけです。
インクリメンタリティ用のテストの作成と実行についての詳細はこちら
計算方法
以下のセクションでは、Incrementalityダッシュボードでレポートされた数値の背後にある計算について説明します。
リフト
AppsFlyerのインクリメンタリティでは、リフトを算出するために2つの方法を採用しています:
- Intent-to-treat
- Reach-based(リーチベース)
キャンペーンのパフォーマンスを評価する目的では、実際にユーザーが広告に接触したかどうかの「リーチベース」の手法が望ましいのですが、その計算には、すべてのアドネットワークが提供しているわけではないデータポイントを測定する必要があります。 それらのネットワークについては、代わりにintent-to-treat(ITT解析)の手法が用いられます。 For these networks, intent-to-treat methodology is used instead.
Note
Prior to December 16, 2021, lift was calculated using solely the intent-to-treat method. However, data for earlier dates has been updated to utilize reach-based lift where applicable. Therefore, you can review historical experiments to analyze their results in light of the new methodology.
ITTベースのリフト
Intent-to-treat (ITT) experimental methodology has its foundations in medical science. ITT(intent-to-treat) 検証のメソッドは、医学の世界にその基礎があります。 ITTを使用して、研究者は母集団を治療を行わないコントロールグループと、研究者が治療を行う意図を持つテストグループにランダムに分割します。 研究者は、グループの結果を比較することによって、与えられた治療の有効性を測定します。 テストグループのメンバーが実際に治療を受けたかどうかは考慮されません。 Researchers measure the efficacy of a given treatment by comparing the results of the groups. Whether or not a test group member actually received treatment is not taken into account.
Similarly, in remarketing, the lift metric measures campaign efficacy. 同様に、リマーケティングでは、増分率の指標でキャンペーンの有効性を測定します。 このメソッドでは、テストグループのユーザーが 実際に キャンペーンに接触した(治療を受けた)かどうかは加味されません ー なぜなら、純増値を計算する際に関係するのはインテンション(意図)だからです。 つまり、テストグループのメンバー全員が実際にキャンペーンに接触したものとして結果が算出されます。 In other words, results are calculated as if every member of the test group actually engaged with the campaign.
どんな時に使うのですか?
AppsFlyerのIncrementalityは、SRN媒体にITTベースのリフト計算を採用しています。
Although it is not the preferred method for measuring lift in our context, ITT remains a scientifically sound experimental method, and it provides valid results when reach-based calculation is not possible.
結果の解釈
テストグループのメンバー全員が実際にキャンペーンに接触したという前提があるため、コンバージョン率が低くなり、その結果、リフト量も少なくなることがよくあります。
リーチベースのリフト
As its name implies, reach-based lift calculation takes into account whether or not a member of the test group was actually reached (served a campaign ad) prior to converting. In addition to requiring additional data, reach-based lift calculation is also more complex in that it requires certain mathematical adjustments to the control group in order to be statistically valid. These adjustments are cumulatively known as the creation of a "counterfactual" control group.
どんな時に使うのですか?
AppsFlyerのIncrementalityでは、非SRN媒体(計測リンク使用媒体)に対してリーチベースのリフト計算を行います。
リフトを計算する上で好ましい方法ですが、リーチベースの計算では、アドネットワークが以下のデータをAppsFlyerにレポートする必要があります:
- インプレッションデータ
- キャンペーンID(計測リンク経由)
このデータがレポートされていない場合、インクリメンタル測定は利用できません(インクリメンタルダッシュボードでは結果がN/Aと表示されます)。
結果の解釈
リーチベースのリフト計算は、キャンペーンによって実際にリーチしたテストグループのメンバーのみを考慮するため、リーチベースの純増によって測定されたネットワークは通常、結果が増幅されます(ポジティブリフトはより高くなり、ネガティブリフトはより低くなります)。
ベストプラクティス
2つの異なるリフト計算方法によって結果が大きく異なることがあるため、解釈をより有意義なものにするために、以下のベストプラクティスを推奨します。
-
検証を行う際には、コントロールグループと1つ以上の同じタイプのネットワーク、どちらかだけに分かれたオーディエンスを選択します。
- リーチベース計算の非SRN媒体(計測リンク使用媒体)、または
- SRNs for ITT-based calculation
- 最初の検証では、オーディエンスを1つのネットワークとコントロールグループにのみ分割して使用することを検討してください。これにより、異なるリフト計算を行った2つ以上のネットワーク間で比較することが少なくなります。
統計的有意性
Incrementality検証の有効性を評価する場合、健全な科学的方法論では、 統計的有意性(リフト結果がランダムな事象や偶然によるものではないという信頼度のレベル)を考慮することが必要です。
Incrementalityダッシュボードでは、各メディアソースにおいて、有意性がパーセンテージで表示されます。
- The percentage indicates the likelihood that the results for that media source would repeat themselves if the experiment were performed again under similar circumstances.
- 統計的有意性が60%以下と判断された場合、ダッシュボードにはパーセンテージではなく、結果:信頼性のないデータとして表示されます。
- Significance is affected by audience size, experiment duration, and media source performance.
スケールコントロールグループ
テストグループレベルの指標(ユーザー単位の指標とは対照的)については、スケールコントロールグループに基づいてリフトが計算されます。 つまり、各メディアソースのコントロールグループの大きさに合わせて、コントロールグループの大きさを調整します。 In other words, the size of the control group is adjusted to match the control group size for each media source.
Example
次のようなシナリオを想定してください:
- ネットワークAのテストグループサイズ=100名
- コントロールグループサイズ=90名
-
検証結果:
- ネットワークAは40件のコンバージョンが発生
- コントロールグループでは20件のコンバージョンが発生
-
合計コンバージョン数は、コントロールグループの規模を100名と想定し、調整します:
-
想定ユーザー数 ー 実際のユーザー数 =100 - 90=11%
実際のユーザー数 90
- 実際の純増コンバージョン数 + 11% = 20 × 1.11 = 22
-
想定ユーザー数 ー 実際のユーザー数 =100 - 90=11%
リフトは、コントロールグループの規模を100名、コンバージョンの増加を22名として計算します。
Incrementality管理画面
ダッシュボードにアクセスする
インクリメンタリティはプレミアム機能です。 To get started, reach out to your customer success manager or write to hello@appsflyer.com. After subscribing, you'll be able to access the Incrementality dashboard.
インクリメンタリティダッシュボードへアクセス:
- AppsFlyer管理画面 左メニュー 最適化 > Incrementality: 純増検証 へ移動します。
- From the experiments list, click the row of the experiment for which you want to see the dashboard.
ダッシュボードツアー
| 要素 | 説明 | |||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
|
フィルターバー |
計測: ダッシュボードに表示する指標を選択します:
計測フィルタで選択すると、ダッシュボード全体に表示される計測基準が決定されます:
イベント:データを表示したいアプリ内イベントを選択します
メディアソース:検証でテストしたメディアソースによって表示するデータをフィルターします
日付範囲:選択した日付範囲に従ってオーディエンスの純増分析をフィルターします。 |
||||||||||||||||||||||
|
|
Experiment summary |
Sums up the whole experiment with quick, at-a-glance results.
|
||||||||||||||||||||||
|
|
有意性タイル | ダッシュボードに表示されている結果の統計的有意性を表示します。 | ||||||||||||||||||||||
|
|
ヘッドライン指標タイル |
表示される指標は、以下のように 計測フィルター での選択によって制御されます。
注: ヘッドラインタイルに表示される指標の計算には、コストデータが必要です。 したがって、これらの指標は ROI360をご契約のお客様のみが使用できます。 必要なコストおよび/または収益のデータが、この理由またはその他の理由で入手できない場合、関連する指標は N/A と表示されます。 Therefore, these metrics are available only to ROI360 subscribers. If the required cost and/or revenue data is not available for this or any other reason, the relevant metric will display as N/A. |
||||||||||||||||||||||
|
|
ターゲットサイズとリーチタイル |
ターゲットサイズ:検証の日付範囲内に初めてオーディエンスに加えられた、メディアソースごとのユニークユーザー数
リーチ:該当メディアソースのキャンペーンから、実際に広告に接触したターゲットユーザーの%割合
|
||||||||||||||||||||||
|
|
テストグループレベルのリフトタイル |
テストグループの合計純増指標とリフトを表示します(メディアソース別):
|
||||||||||||||||||||||
|
|
ユーザーごとのリフトタイル |
ユーザー毎の純増指標とリフトを表示します(メディアソース別):
|
||||||||||||||||||||||
|
|
トレンドチャート |
選択された ユーザー毎 の純増指標 / リフトを、検証の日付範囲に渡って表示します。
|
||||||||||||||||||||||
|
|
トレンドチャート表示 |
表示コントロールを使用して、 トレンドチャート の表示とダウンロードのオプションを選択します:
CSV出力ボタンから、データをCSV形式のレポートとしてダウンロードできます。
レポート内の用語の説明
|
ローデータレポート
Incrementalityローデータレポートを使用して、ユーザーのリマーケティングキャンペーンとのインタラクションを分析しましょう。
- コンテンツ: Incrementality検証に参加したユーザーレベルのローデータ
-
Availability:
- Data Locker経由
- データ更新頻度:UTC時間で毎日19:00 - 23:00(日本時間:毎日 4:00 - 8:00)
利用可能なレポート
| カテゴリ | レポート名 | Data Lockerフォルダ |
|---|---|---|
| First-seen | First-seen users | incrementality_first_seen_users |
| In-app events | Organic in-app events | incrementality_organic_inapps |
| In-app events non-organic | incrementality_inapps | |
| In-app events re-attributions | incrementality_inapps_reattr | |
|
Sessions
|
Organic sessions | incrementality_organic_sessions |
| Sessions non-organic | incrementality_sessions | |
| Sessions re-attributions | incrementality_sessions_reattr | |
| Uninstalls | Uninstalls (現在は未入力) |
incrementality_uninstalls |
Report logic
レポート構成の基礎となるロジックは以下の通りです:
-
テストに参加しているユーザー:First-seenレポート
- オーディエンス機能にて、テストに含めるユーザーを特徴付けるルールが設定されます。
- ユーザーがルールと一致していると識別されると、そのイベントは first_seen レポートに記録されます。
- ユーザーがテスト、または is_control_group 項目で示されるコントロールグループのいずれかにランダムに割り当てられます。
- テストグループ内のユーザーは、リターゲティング用にメディアソース(pid_destination)に割り当てられます。
-
アプリ内でのユーザーエンゲージメント: 検証中のアプリとのユーザーエンゲージメントは、コンテキスト固有のレポートに記録されます:
- エンゲージメントタイプ:セッションまたはアプリ内イベント
- ユーザーが First-seen のユーザー属性ステータス :オーガニック、非オーガニック、リアトリビューション。例えば、過去にユーザーがアプリをインストールし、オーガニックと計測されました。そのため、検証中は、アトリビューションステータスがオーガニックになります。
- アンインストール:検証中にアプリをアンインストールしたユーザー。アンインストール計測が有効になっている必要があります。
データの特性と項目
使用できる項目は、次に示すように、レポートの種類によって異なります:
Incrementality固有のデータ項目(レポートタイプ別)
| Field | 説明 | First seen | In-app events | Sessions | Uninstalls |
|---|---|---|---|---|---|
| is_control_group | trueの場合、ユーザーはコントロールグループに属します | Y | Y | Y | Y |
| pid_destination | ユーザーが割り当てられたメディアソース | Y | Y | Y | Y |
| audience_id | 一意の識別子 | Y | Y | Y | Y |
| joined_audience_date | ユーザーがオーディエンスに最初に参加した日 | Y | Y | Y | Y |
| audience_name | オーディエンス名(一意ではない) | Y | Y | Y | Y |
| tm | 一日の時間 | Y | Y | Y | |
| timestamp | イベントのタイムスタンプ YYYY-MM-DD HH:MM | Y | Y | ||
| app_ids | オーディエンスルールに関連するアプリID | Y |
その他のIncrementalityレポート項目(レポートタイプごと)
| Field | 表示名* | First seen | In-app events | Sessions | Uninstalls |
|---|---|---|---|---|---|
| advertising_id | Advertising ID (GAID) | Y | Y | Y | Y |
| android_id | Android ID | Y | Y | ||
| app_id | App ID | Y | Y | Y | Y |
| app_name | App name | Y | Y | ||
| app_version | App version | Y | Y | ||
| appsflyer_id | Appsflyer ID | Y | Y | Y | |
| revenue_alt | App-specific currency | Y | |||
| bundle_id | Bundle ID | Y | Y | ||
| country | Country code | Y | Y | Y | |
| currency | Currency code | Y | Y | Y | |
| customer_user_id | Customer user ID | Y | Y | ||
| brand | Device brand | Y | Y | ||
| device_category | Device category | Y | Y | ||
| model | Device model | Y | Y | ||
| device_model | Device model | Y | Y | ||
| device_type | Device type | Y | Y | ||
| event_name | Event name | Y | Y | Y | |
| event_revenue | Event revenue | Y | |||
| event_revenue_currency | Event revenue currency | Y | |||
| event_revenue_u_s_d | Event revenue USD | Y | |||
| event_time | Event time | Y | Y | Y | |
| event_value | Event value | Y | Y | ||
| idfa | IDFA | Y | Y | Y | Y |
| idfv | IDFV | Y | Y | ||
| imei | IMEI | Y | Y | ||
| is_purchase_validated | Is receipt validated | Y | |||
| os_version | OS version | Y | Y | ||
| platform | Platform | Y | Y | Y | |
| sdk_version | SDK version | Y | Y | ||
| * ローデータの仕様に基づく | |||||
Incrementalityの仕様と制限
| Trait | 注意 |
|---|---|
| アカウントユーザーのアクセス | Yes (according to account permissions) |
| アドネットワークアクセス | 利用不可 |
| 代理店アクセス | Not available. 利用不可現状、インクリメンタリティは広告主アカウントでのみ利用可能です。 |
| Agency transparency | 代理店運用の媒体開示を有効(オン)に設定している代理店が実施したキャンペーンを測定できます。 |
| 通貨 | USD(米ドル) |
| Data freshness |
管理画面:毎日 UTC 18:00に前日データを更新(日本時間:毎日朝4時に前々日のデータを更新) Data Locker(ローデータ):毎日 UTC 19:00 - 23:00に前日分を更新(日本時間:毎日 4:00 - 8:00 に前々日のデータを更新) |
| 過去データ | N/A |
| 非オーガニックデータ | はい |
| オーガニックデータ | はい |
| S2Sイベント | Incrementalityで計測されるには、S2Sイベントのペイロードに広告IDが含まれている必要があります(iOSの場合はIDFA、Android の場合はGAID)。 |
| タイムゾーン | UTC |