Incrementalityガイド

AppsFlyerのIncrementalityでは、リフトを算出するために2つの方法を採用しています。

• Intent-to-treat（ITT解析）
• Reach-based（リーチベース）

キャンペーンのパフォーマンスを評価する目的では、リーチベースの手法が望ましいのですが、その計算には、すべてのアドネットワークが提供しているわけではないデータポイントを測定する必要があります。それらのネットワークについては、代わりにintent-to-treatの手法が用いられます。

ITTベースのリフト

ITT（intent-to-treat） 実験の方法論は、医学の世界にその基礎があります。ITTを使用して、研究者は母集団を治療を行わないコントロールグループと、研究者が治療を行う意図を持つテストグループにランダムに分割します。研究者は、グループの結果を比較することによって、与えられた治療の有効性を測定します。テストグループのメンバーが 実際に 治療を受けたかどうかは考慮されません。

同様に、リマーケティングでは、増分率指標がキャンペーンの有効性を測定します。テストグループのユーザーが 実際に キャンペーンに参加した（治療を受けた）かどうかは重要ではありません。なぜなら、増分値を計算する際に関係するのはインテンション（意図）だからです。つまり、テストグループのメンバー全員が実際にキャンペーンに参加したものとして結果が算出されます。

どんな時に使うのですか？

AppsFlyerのIncrementalityは、SRN媒体にITTベースのリフト計算を採用しています。

ITTは、私たちのコンテキストではリフトを測定するための好ましい方法ではありませんが、科学的に適切な実験方法であり、リーチベースの計算が不可能な場合に有効な結果を提供します。

結果の解釈

テストグループのメンバー全員が実際にキャンペーンに参加したという前提があるため、コンバージョン率が低くなり、その結果、リフト量も少なくなることがよくあります。

リーチベースのリフト

その名の通り、リーチベースのリフト計算は、テストグループのメンバーがコンバージョンする前に、 実際に リーチした（キャンペーン広告を配信された）かどうかを考慮します。リーチベースのリフト計算は、追加データを必要とすることに加え、統計的に有効であるためには、コントロールグループに一定の数学的調整を必要とするという点で、より複雑なものとなります。これらの調整は累積的に、"counterfactual" コントロールグループの作成として知られています。

どんな時に使うのですか？

AppsFlyerのIncrementalityでは、非SRN媒体（計測リンク使用媒体）に対してリーチベースのリフト計算を行います。

リフトを計算する上で好ましい方法ですが、リーチベースの計算では、アドネットワークが以下のデータをAppsFlyerにレポートする必要があります。

• インプレッションデータ
• キャンペーンID（計測リンクより）

このデータがレポートされていない場合、インクリメンタル測定は利用できません（インクリメンタルダッシュボードでは N/A と表示されます）。

結果の解釈

リーチベースのリフト計算は、キャンペーンによって実際にリーチしたテストグループのメンバーのみを考慮するため、リーチベースの増分によって測定されたネットワークは通常、結果が増幅されます（ポジティブリフトはより高くなり、ネガティブリフトはより低くなります）。

ベストプラクティス

2つの異なるリフト計算方法によって結果が大きく異なることがあるため、解釈をより有意義なものにするために、以下のベストプラクティスを推奨します。

• 実験を行う際には、コントロールグループと1つ以上の同じタイプのネットワーク、どちらかだけに分かれたオーディエンスを選択します。
  • リーチベース計算のための非SRN媒体（計測リンク使用媒体）、または
  • ITTベースの計算のためのSRN
• 最初の実験では、オーディエンスを1つのネットワークとコントロールグループにのみ分割して使用することを検討してください。これにより、異なるリフト計算を行った2つ以上のネットワーク間で比較することが少なくなります。

Incrementality実験の有効性を評価する場合、健全な科学的方法論では、 統計的有意性 （リフト結果がランダムな事象や偶然によるものではないという確信のレベル）を考慮することが必要です。

Incrementalityダッシュボードでは、各メディアソースにおいて、有意性がパーセンテージで表示されます。

• パーセントは、そのメディアソースの結果が、同じような状況でもう一度実験を行った場合に、同じ結果が繰り返される可能性を示しています。
• 統計的有意性が60％以下と判断された場合、ダッシュボードにはパーセンテージではなく、 結果：信頼性 - 低 が表示されます。
• 有意性は、オーディエンスのサイズ、実験期間、メディアソースの性能に影響されます。

インクリメンタルダッシュボードにアクセス：

1. AppsFlyer管理画面 > ダッシュボード > Incrementality に移動します。
2. 実験リストから、ダッシュボードを表示させたい実験の行をクリックします。

レポート構成の基礎となるロジックは以下の通りです：

• テストに参加しているユーザー：First-seenレポート
  • オーディエンス機能にて、テストに含めるユーザーを特徴付けるルールが設定されます。
  • ユーザーがルールと一致していると識別されると、そのイベントは first_seen レポートに記録されます。
    • ユーザーがテスト、または is_control_group  項目で示されるコントロールグループのいずれかにランダムに割り当てられます。
    • テストグループ内のユーザーは、リターゲティング用にメディアソース（pid_destination）に割り当てられます。
• アプリ内のユーザーエンゲージメント：テスト中のアプリとのユーザーエンゲージメントは、コンテキスト固有のレポートに記録されます。
  • エンゲージメントタイプ：セッション、またはアプリ内イベント
  • 初めて見るユーザーに対するユーザーアトリビューションステータス：オーガニック、非オーガニック、リアトリビューション例えば、過去にユーザーがアプリをインストールし、オーガニックと計測されました。そのため、テスト中は、アトリビューションステータスがオーガニックになります。  
• アンインストール：テスト中にアプリをアンインストールしたユーザー。アンインストール計測が有効になっている必要があります。 

利用できる項目は、レポートの種類に応じて異なります。