インクリメンタリティの概要

AppsFlyerのIncrementalityでは、リフトを算出するために2つの方法を採用しています。

• Intent-to-treat（ITT解析）
• Reach-based（リーチベース）

キャンペーンのパフォーマンスを評価する目的では、リーチベースの手法が望ましいのですが、その計算には、すべてのアドネットワークが提供しているわけではないデータポイントを測定する必要があります。それらのネットワークについては、代わりにintent-to-treat（ITT解析）の手法が用いられます。

ITTベースのリフト

ITT（intent-to-treat） 検証のメソッドは、医学の世界にその基礎があります。ITTを使用して、研究者は母集団を治療を行わないコントロールグループと、研究者が治療を行う意図を持つテストグループにランダムに分割します。研究者は、グループの結果を比較することによって、与えられた治療の有効性を測定します。テストグループのメンバーが実際に治療を受けたかどうかは考慮されません。

同様に、リマーケティングでは、増分率の指標でキャンペーンの有効性を測定します。テストグループのユーザーが実際にキャンペーンに接触した（治療を受けた）かどうかは重要ではありません。なぜなら、純増値を計算する際に関係するのはインテンション（意図）だからです。つまり、テストグループのメンバー全員が実際にキャンペーンに接触したものとして結果が算出されます。

どんな時に使うのですか？

AppsFlyerのIncrementalityは、SRN媒体にITTベースのリフト計算を採用しています。

ITTは、私たちのコンテキストではリフトを測定するための好ましい方法ではありませんが、科学的に適切な実験方法であり、リーチベースの計算が不可能な場合に有効な結果を提供します。

結果の解釈

テストグループのメンバー全員が実際にキャンペーンに接触したという前提があるため、コンバージョン率が低くなり、その結果、リフト量も少なくなることがよくあります。

リーチベースのリフト

その名の通り、リーチベースのリフト計算は、テストグループのメンバーがコンバージョンする前に、実際に 広告に接触したかどうかを考慮します。リーチベースのリフト計算は、追加データを必要とすることに加え、統計的に有効であるためには、コントロールグループに一定の数学的調整を必要とするという点で、より複雑なものとなります。これらの調整は累積的に、"counterfactual" （反事実的条件文）コントロールグループの作成として知られています。

どんな時に使うのですか？

AppsFlyerのIncrementalityでは、非SRN媒体（計測リンク使用媒体）に対してリーチベースのリフト計算を行います。

リフトを計算する上で好ましい方法ですが、リーチベースの計算では、アドネットワークが以下のデータをAppsFlyerにレポートする必要があります。

• インプレッションデータ
• キャンペーンID（計測リンク経由）

このデータがレポートされていない場合、インクリメンタル測定は利用できません（インクリメンタルダッシュボードでは結果がN/Aと表示されます）。

結果の解釈

リーチベースのリフト計算は、キャンペーンによって実際にリーチしたテストグループのメンバーのみを考慮するため、リーチベースの純増によって測定されたネットワークは通常、結果が増幅されます（ポジティブリフトはより高くなり、ネガティブリフトはより低くなります）。

ベストプラクティス

2つの異なるリフト計算方法によって結果が大きく異なることがあるため、解釈をより有意義なものにするために、以下のベストプラクティスを推奨します。

• 検証を行う際には、コントロールグループと1つ以上の同じタイプのネットワーク、どちらかだけに分かれたオーディエンスを選択します。
  • リーチベース計算の非SRN媒体（計測リンク使用媒体）、または
  • ITTベースのSRN
• 最初の検証では、オーディエンスを1つのネットワークとコントロールグループにのみ分割して使用することを検討してください。これにより、異なるリフト計算を行った2つ以上のネットワーク間で比較することが少なくなります。

Incrementality検証の有効性を評価する場合、健全な科学的方法論では、統計的有意性（リフト結果がランダムな事象や偶然によるものではないという信頼度のレベル）を考慮することが必要です。  

Incrementalityダッシュボードでは、各メディアソースにおいて、有意性がパーセンテージで表示されます。

• パーセントは、そのメディアソースの結果が、同じような状況でもう一度検証を行った場合に、同じ結果が繰り返される可能性を示しています。
• 統計的有意性が60％以下と判断された場合、ダッシュボードにはパーセンテージではなく、結果：信頼性 - 低が表示されます。
• 有意性は、オーディエンスのサイズ、検証期間、キャンペーンのパフォーマンスに影響されます。

テストグループレベルの指標（ユーザー単位の指標とは対照的）については、スケールコントロールグループに基づいてリフトが計算されます。つまり、各メディアソースのコントロールグループの大きさに合わせて、コントロールグループの大きさを調整します。

インクリメンタリティはプレミアム機能です。まずは、担当のカスタマーサクセスマネージャーにお問い合わせいただくか、hello@appsflyer.com までご連絡ください。ご契約後、Incrementalityダッシュボードにアクセスできるようになります。

インクリメンタリティダッシュボードにアクセス：

1. AppsFlyer管理画面 左メニュー 最適化 > Incrementality：純増検証へ移動します。
2. 検証リストから、結果を確認したい検証をクリックします。

レポート構成の基礎となるロジックは以下の通りです：

• テストに参加しているユーザー：First-seenレポート
  • オーディエンス機能にて、テストに含めるユーザーを特徴付けるルールが設定されます。
  • ユーザーがルールと一致していると識別されると、そのイベントは first_seen レポートに記録されます。 
    • ユーザーがテスト、または is_control_group  項目で示されるコントロールグループのいずれかにランダムに割り当てられます。
    • テストグループ内のユーザーは、リターゲティング用にメディアソース（pid_destination）に割り当てられます。
• アプリ内でのユーザーエンゲージメント： 検証中のアプリとのユーザーエンゲージメントは、コンテキスト固有のレポートに記録されます： 
  • エンゲージメントタイプ：セッションまたはアプリ内イベント
  • ユーザーが First-seen のユーザー属性ステータス ：オーガニック、非オーガニック、リアトリビューション。例えば、過去にユーザーがアプリをインストールし、オーガニックと計測されました。そのため、検証中は、アトリビューションステータスがオーガニックになります。    
• アンインストール：検証中にアプリをアンインストールしたユーザー。アンインストール計測が有効になっている必要があります。  

使用できる項目は、次に示すように、レポートの種類によって異なります：

Incrementality固有のデータ項目（レポートタイプ別）

その他のIncrementalityレポート項目（レポートタイプごと）