Incrementality for UAのガイド

Incrementality for UA では、キャンペーンの真の効果を科学的に厳密に計測するために、地理的検証を用います。ユーザーを分割する代わりに、地理的エリアを統計的に類似した「広告を露出する地域」と「広告を露出しない地域」（ホールドアウト）に分けます。これらの地域は、地域の規模やアプリの過去の行動データをもとに選定されます。広告は露出する地域のみに配信され、露出しない地域には一切表示されません。検証期間中に両グループの行動を比較することで、相関ではなく、広告がもたらした実際の因果効果を把握できます。

地理的検証は、以下のようなステップで進行します：

• 事前テスト：両グループに対して、計測対象のキャンペーン広告を同じ条件で露出させます。この期間にベースラインデータを収集し、露出地域とホールドアウト地域の歴史的な関係性をモデル化します。
• 介入（検証フェーズ）：キャンペーンの広告を露出地域のみに配信し、ホールドアウト地域では広告を見られないよう制御します。
• 因果関係の算出：検証期間中、露出地域とホールドアウト地域の観測値の差を時間とともに累積し、キャンペーンの総合的なインパクトを明らかにします。

時系列回帰分析（TBR）について

地理的検証の核心となるのが 時系列回帰分析（TBR）です。TBR は、広告介入がなかった場合に何が起きていたか（反実仮想）を予測することで、マーケティングリフトを計算します。介入を行った露出地域の観測結果と、ホールドアウト地域の過去データに基づいた予測値を比較して算出します。

仕組み：

• 露出地域・ホールドアウト地域の設計：
  • アプリごとに、AppsFlyer が過去のインストールやイベントデータを分析し、複数期間・数千通りの地域組み合わせを TBR で評価し、差が最も小さいペアを選定します。
• 事前テスト期間：
  • 介入前に、両地域のデータを収集します。
  • 露出地域とホールドアウト地域の時系列関係を捉える回帰モデルを構築します。
• 反実仮想（counterfactual）の予測：
  • 事前テストで作成したモデルを使って、テスト期間中の「ホールドアウト地域に介入がなかった場合の予測値」を算出します。これを反実仮想と呼びます。
• 検証期間：
  • Incrementality 検証の対象となるキャンペーンでは、ホールドアウト地域は検証中ずっと広告配信対象から除外されます。
• 因果関係の算出：
  • 各タイムポイントで、ホールドアウト地域の観測結果と反実仮想値の差を計算します。
• 累積効果の算出：
  • こうして得られた差を累積し、介入がもたらした総合的な成果（インストール増など）を評価します。
• マーケティングリフト：
  • これは、広告が配信されなければ得られなかった増分成果を数値化したものです。

Incrementality for UA は、キャンペーンがビジネスにもたらす「本当の影響」を明らかにし、主要な成長課題を解決する手助けをします。以下は、地理的検証によるインクリメンタリティ計測が特に価値を発揮するケースです。

1. 広告プラットフォーム間の予算配分を最適化する
   課題アトリビューションの指標を見ると複数の広告プラットフォームのパフォーマンスが似通っており、どれが本当に成長を牽引しているのか判断できない。ソリューション：複数のプラットフォームにまたがって複数セルのインクリメンタリティテストを並行実施し、どのプラットフォームが実際にリフト効果を生み出しているのかを特定します。その結果に基づいて、予算配分を見直します。
2. 新しいチャネルやフォーマットの効果を検証する
   課題新しいチャネルや広告プラットフォームをテストしているものの、初期指標がターゲティングの重複などの影響で不安定、あるいは過大に見えてしまう。ソリューション：地理的検証を用いて、その新チャネルの効果を他のチャネルから切り離して計測します。これにより、「純粋な新規インストールを生んでいるのか」「既存の成果を食い合っているだけなのか」を見極めることができます。
3. ブランドキャンペーンの本当の効果を見極める
   課題ブランドキャンペーンはアトリビューション上の成果が良く見えるものの、広告がなくてもユーザーがコンバージョンしていたのではないかという疑問が残る。ソリューション：地理的検証により、ブランド検索やディスプレイ広告が実際にユーザー行動に影響を与えているのか、それとも既に存在する需要を単に拾っているだけなのかを明らかにします。
4. 同一プラットフォーム内でキャンペーン戦略を比較する
   課題同じネットワーク内で、2 つのクリエイティブ戦略（例：動画 vs カルーセル）や入札戦略（例：インストール最大化 vs ROAS）を比較したい。ソリューション：各戦略をそれぞれ異なるセルに割り当てたマルチセルの地理的検証を実施し、それぞれのインクリメンタルリフトを比較して、どの戦略がより効果的かを判断します。
5. 頭打ち市場から成長余地のある市場へ投資をシフトする
   課題成熟市場ではリターンが逓減し、獲得単価も上昇しているものの、アトリビューションデータだけでは本当に新規ユーザーにリーチできているか判断しづらい。ソリューション：地理的リフトテストにより、こうした市場でのキャンペーンがまだインクリメンタルな成果を生んでいるかどうかを計測します。もしそうでない場合は、よりポテンシャルの高い未開拓または過小評価されている地域へ予算を再配分します。

このセクションでは、どのキャンペーンを検証対象として選ぶべきか、その考え方を整理します。ポイントは次のとおりです。

• インパクト：どのテストが全体のマーケティング戦略に最も大きな影響を与えうるかを考えます。多くの場合、まずは規模の大きい取り組みから始めることで、それらが成長にどう寄与しているかを深く理解でき、大きな最適化につながります。
• コンバージョン数：強い検証には十分なデータ量が必要です。計測したい主なKPIに応じて、各キャンペーンごとに月あたり 5,000 件以上のアプリインストールまたはイベントを目安としてください。
• 調査：Incrementality は、新しい市場への参入や新チャネルの立ち上げなど、「これから試す」施策の検証にも非常に適しています。
• 明確な仮説や質問を持つ他の科学的な検証と同様に、検証の主となる問いをきちんと言語化しておくことで、Incrementality 検証の有効性と、得られた結果の“使いやすさ（アクショナビリティ）”が大きく高まります。たとえば：あるチャネルは他のチャネルよりインクリメンタルだと期待しているか？仮説が正しかった／間違っていた場合、それをどのようにマーケティング戦略へ反映させるか？などです。

主要な検証 KPI は次のとおりです：

• リフト(%)：計測対象のマーケティング活動が生み出した因果的なインパクト。広告がなかった場合と比べて、どれだけ追加のコンバージョン（例：インストールやアプリ内イベント）を生んだかを示します。
• Incremental conversions（増分コンバージョン）：検証によって「このキャンペーンが原因」と判断されたインストールやイベントの数。
• Cost per incremental install / Cost per incremental event（増分単価）：キャンペーンの広告費に基づく、増分コンバージョン 1 件あたりの平均コスト。
• インクリメンタリティ係数：検証で得られた増分インストール／イベント数と、AppsFlyer のクラシックアトリビューションで計測されたインストール／イベント数との比率。

検証KPIの全一覧は、管理画面のセクションを参照してください。

これらのインサイトをマーケティングの意思決定に活かせるように、AppsFlyer では リフト(%) とキャンペーンレベルの Incrementality KPI の両方を提供しています。

Lift % に基づいた最適化

A.リフトが「0」の場合（No lift）：
マーケティングの最終目的は、増分成果を生み出すことです。もしキャンペーンのリフトが 0（ホールドアウト地域と露出地域のパフォーマンスが同じ）と計測された場合、それは「広告がなくても同じ結果だった」ということを意味し、成長への貢献度を高めるには追加の最適化が必要です。その場合に検討すべきことは以下の通りです：

• よりインクリメンタルなキャンペーンやチャネルへ予算をシフトする
• 入札、目標設定、ターゲットオーディエンス、クリエイティブなどを調整し、キャンペーンのパフォーマンスを改善する / 設定変更後に再度 Incrementality 検証を行い、インクリメンタリティが改善したかを確認する
• テックセットアップ、ターゲティング、チャネルミックス、配置、予算、キーワード、クリエイティブ、キャンペーン同士の重複などを確認し、リフトが低い要因を洗い出す。これらの学びは、今後インクリメンタルな成果を最大化するうえで大きなヒントになります。

B.リフトが「プラス」の場合（Positive lift）：
リフトがプラスということ は、キャンペーンが広告なしの状態を上回る増分成果を生み出していることを意味します。まずは、マーケティング活動全体がポジティブなリフトを生み出せているかを確認することが重要です。リフトがプラスのときに検討すべきことは以下の通りです：

• プラットフォーム/チャネル/キャンペーンへの投資を増やし、成長を促進すると実証されているものを拡大します。
• 成長を牽引しているプラットフォーム／チャネル／キャンペーンへの投資を拡大する
• 成功要因を特定し、他の施策にも展開することで優先すべき戦略を明確にする
• リフト を基準にキャンペーンを比較する際の注意点：リフト は、ホールドアウト地域と露出地域の比較に基づく「相対指標」です。そのため、リフトを基にキャンペーン同士を比較することは困難です。同じインパクトのキャンペーンでも、リーチしているユーザー数や投下予算が大きい方が、結果的にリフトが高く見えることがあります。
  そのため比較する場合は、なるべく 同じくらいの配信規模・リーチ・予算規模 のキャンペーン同士、かつ ターゲット地域が近いもの同士を比べるのが理想的です。
• また、アプリやビジネスで Incrementality 計測を始めたばかりの段階では、「このチャネルならリフトはどの程度が普通か」といった明確なベンチマークがないことも多いです。その場合は、以下で説明する キャンペーンレベルの Incrementality KPI を軸に最適化していくことをおすすめします。

キャンペーンレベルの Incrementality KPI に基づく最適化：

A.増分コンバージョン合計とコスト指標：
クラシックアトリビューションと同じように、「どれだけの増分コンバージョンを、いくらの広告費で獲得したか」という視点は、非常に分かりやすく行動に移しやすい指標です。キャンペーンレベルの増分コンバージョン数と、増分コンバージョン単価を見ることで：そのキャンペーンがボリューム面・ROI 面で目標を満たしているか / 他のキャンペーンやチャネルと比べてどうか、を判断できます。

B.クラシックアトリビューションとIncrementality データを横並びで見る
Incrementality ダッシュボードでは、キャンペーンのコンバージョン数とコンバージョン単価について、クラシック（ラストタッチ）アトリビューションのデータ と Incrementalityのデータ を横並びで表示します。これにより、2 つのモデルの関係性を理解し、そこから得た学びをより大きなスケールで活用することができます。
それぞれの特徴は次のとおりです：

• クラシック（ラストタッチ）アトリビューション：　リアルタイム、標準化、スケーラブル、かつ粒度が細かい / 広告主側の最適化や広告プラットフォームのアルゴリズム最適化に非常に適している / ただしボトムファネルのエンゲージメントに偏りやすく、因果効果の証明にはならない
• Incrementality：　科学的に因果インパクトを証明でき、オムニチャネル計測に非常に有効 / ただし集計レベルでのインサイトであり、期間ごとに更新する必要があるためスケールはやや難しい

両方を組み合わせることで、マーケティングパフォーマンスをより立体的・包括的に捉えられます。AppsFlyer の インクリメンタリティ係数 は、継続的なマーケティング最適化の「ベースライン」として使われるクラシックアトリビューションデータと、因果的なインパクトを計測するためのIncrementalityデータとの関係性を示す指標です。以下では、インクリメンタリティ係数をどのように最適化に活用できるかを説明します：

• インクリメンタリティ係数が100%を超える場合：同じキャンペーンについて、クラシックアトリビューションで計測されたコンバージョン数よりも、Incrementality によるコンバージョン数の方が多いことを意味します。たとえば 110% であれば、増分コンバージョンがクラシックアトリビューションで計測されたコンバージョンより 10% 多いということです。同じ広告費でより多くのコンバージョンが獲得できているため、結果として 1 コンバージョンあたりのコストは低くなります。
  インクリメンタリティ係数が 100% を上回っている場合は、以下の点を検討してください。
  • 増分コンバージョン単価が下がっていることを踏まえ、予算配分の見直し。
  • 増分コンバージョン単価やインクリメンタル ROAS に合わせて、入札額や最適化目標を再評価。
  • 将来のマーケティング判断に活かすため、類似キャンペーンを評価する際にもこの係数を前提として導入。たとえば、インクリメンタリティ検証で動画キャンペーンのアプリインストールにおける インクリメンタリティ係数が一貫しておよそ 110％ を示している場合、類似のキャンペーンにおいては、意思決定を行う際にクラシックアトリビューション上のインストール数を 10％ 多く見積もることができ（つまり、クラシックアトリビューションで 100 インストールと表示されていれば、実際には 110 インストールに近いとみなすことができます）、より現実に近い形で成果を評価できます。
• インクリメンタリティ係数が100%未満：同じキャンペーンについて、クラシックアトリビューションで計測されたコンバージョン数よりも Incrementality で計測されたコンバージョン数のほうが少ないことを意味します。たとえば 90％ の場合、増分コンバージョンがクラシックアトリビューションで計測されたコンバージョンより 10％ 少ないということになります。同じ広告費で得られるコンバージョン数が少なくなるため、結果として 1 コンバージョンあたりのコストは高くなることになります。インクリメンタリティ係数が100%より低い場合は、以下の点を検討してください。
  • 増分コンバージョン単価が上昇していることを踏まえ、予算配分を再評価。

•  
  • 増分コンバージョン単価やインクリメンタル ROAS に合わせて、入札額や最適化目標を再評価。
  • また、今後のマーケティング判断に役立てるため、類似キャンペーンの評価にこの係数を導入。たとえば、インクリメンタリティ検証で動画キャンペーンのアプリインストールにおける インクリメンタリティ係数 が一貫しておよそ 90％ を示している場合、類似のキャンペーンにおいては、意思決定を行う際に従来のアトリビューション上のインストール数を 10％ 低く見積もることができ（つまり、従来のアトリビューションで 100 インストールと表示されていても、実際の増分インストールは 90 件程度に近いとみなすことができ）、より保守的かつ現実に即した評価が可能になります。

次のいずれかに該当する場合は、デフォルトの 30 日より前に検証を一時停止することを検討してください。

• 7 日以上にわたり、リフト、インクリメンタリティ係数、コスト関連の指標が安定して推移している
• インクリメンタリティ指標の精度や平常時との比較可能性がやや下がったとしても、ビジネス上、より早く結果を得ることに十分な理由がある。

逆に、次のような場合は、デフォルトの 30 日を超えて検証を延長することを検討してください。

• キャンペーンボリュームが当初の想定より少なく、日次の増分コンバージョン数が必要な最低ラインに届いていないものの、今後の増加が見込まれる。
• 計測対象イベントのコンバージョンウィンドウが非常に長く、ユーザーがコンバージョンに至るまでに追加の時間が必要となる。

まず最初に、検証そのものを作成します。

検証を作成するには：

1. AppsFlyer のサイドメニューからOptimize > Incrementality for UAをクリックし、Incrementality for UAの画面を開きます。 

   

2. + New experimentをクリックします。
    
3. 表示されたフォームに必要事項を入力します：
   1. 検証名を入力 - 検証を説明する名前を入力し、次へをクリックします。

   2. 地域設計を追加 (または選択) - 検証対象のアプリ、国、メイン指標を選択し、検証のベースとなる地域設計を定義します。
AppsFlyer は、その地域設計が有効な検証条件を満たしているかどうかを審査します（目安として約 24 時間かかります）。承認されると、AppsFlyer が地理的な手法に基づき、最適な露出地域とホールドアウト地域を自動で割り当てます。。作成した地域設計は、今後の他の検証でも再利用可能です。（詳細はこちら）

      

      注意：新しい地域設計が承認されたかどうか、24時間後にもう一度確認してください。承認されなかった場合は、現時点では有効な検証条件を満たしていないことを意味します。
ただし、アプリのデータが蓄積されるにつれて条件を満たす可能性があるため、時間をおいて再度同じ地域設計を申請することもできます。

      •  
        • アプリを選択 - 検証対象となるアプリを選択します。

        • 国を選択 - 検証を実行する国を選択して、次へをクリックします。

          注意

          各国ごとに、検証で利用できる セル の数には上限があります。セルとは、その国全体と統計的に類似するように構成された「露出グループ」と「ホールドアウトグループ」のペアを指します。1 つの検証の中で複数のセルを使ってメディアソースをまたいだキャンペーン同士を直接比較することもできますし、セルを分けて別々の検証で利用することもできます。

          国ごとに利用可能なセルの数は、その国の地理的な広さ、人口分布、アプリのアクティビティレベルなど、統計的に妥当な露出／ホールドアウトのペアを構成できるかどうかに影響する要素によって決まります。細かく分割されたアクティブな地域を多く持つ国ほど、より多くのセルを設定でき、実施可能な検証の幅も広がります。

•  
  • 計測したいメイン指標を選択します。（インストール、またはアプリ内イベントを指定できます。）

1. キャンペーンの詳細を設定 -
   • 各検証のセルに対して、キャンペーンを配信するメディアソースの接続を選択する必要があります。まだ接続がない場合は、新しい接続を作成できます。
   • そのうえで、対象となるキャンペーン名を選択してください。
     選択したメイン指標に基づき、キャンペーンのポジティブなインパクトを高い統計的信頼度で計測するために必要な、最小の増分インストール数またはイベント数が表示されます。これは検証の「検出可能な最小効果」と呼ばれます。選択したキャンペーンが、少なくともこのコンバージョン数を見込めるかどうかを確認してください。
     ヒント：安定してこの最低ラインを満たす、あるいは上回るキャンペーンを選ぶことで、より信頼性が高く統計的に有意な結果を得やすくなります。

   • 必要に応じて、さらにセルを追加してください。

     

     検証で別のセルを追加する場合は、+ New cell をクリックし、関連する連携とキャンペーンを選択してください。セルとは、その国全体と統計的に類似するように構成された「露出グループ」と「ホールドアウトグループ」のペアを指します。1つの検証の中で複数のセルを利用することで、異なるメディアソースのキャンペーン同士を直接比較できます。
     
     セルを設定したら、[次へ] をクリックします。

2. サマリーの確認 - 検証のサマリーを確認し、問題なければ検証開始をクリックしてください。
   これで検証が開始されます。最初の結果は 24 時間以内に表示されます。

   注意：

   検証が終了すると、紐づいているキャンペーンのジオターゲティング設定は自動的に検証前の状態に戻ります。これにより、キャンペーンの継続性と一貫性が保たれ、ターゲティングを改めて手動で設定しなくても UAキャンペーンをスムーズに再開できます。

   例
   たとえば、日本で3つの都道府県を露出地域として設定して検証を行ったとします。検証期間中、キャンペーンはその都道府県のみに配信されます検証終了後は、検証開始前に設定していた「日本国内」のような元のターゲティングに自動的に戻り、同じ条件で配信が再開されます。

検証の結果は、［検証］のダッシュボードで確認できます。

［検証］ダッシュボードへのアクセス

1. AppsFlyerのサイドメニューで、 Optimize >Incrementality for UA をクリックして、［検証］のタブを開いてください。 
    

   

2. 特定の検証をクリックして、ダッシュボードにアクセスしてください。

   

管理画面概要

管理画面の最上部には、2つのグラフが表示されます。

• リフト：広告の露出地域とホールドアウト地域のグラフ - 検証のセルごとの増分リフトを示します。
• 検証のタイムライン：広告の露出地域とホールドアウト地域のグラフ - 検証を実施した期間における、1日あたりの増分インストールをセルごとに並べて比較します。 

ダッシュボード中央には、セル別・メディアソース別・キャンペーン別の検証KPIが表示されます：

• クラシック アトリビューション インストール - クラシック アトリビューションで計測された、キャンペーンに紐づいたインストール数
• Incrementality installs - テストで測定された、キャンペーンが貢献したインストール数。
   
• インクリメンタリティ係数 - 増分インストール（検証で計測）とクラシックアトリビューションのインストールの比率
たとえば、110% の場合、増分インストールはクラシックアトリビューションを使用して計測されたインストールよりも 10% 高くなります。
• クラシックインストールあたりのアトリビューションコスト - アトリビューション対象の各インストールの、キャンペーンの広告費に基づく平均コスト
• 1インストールあたりの増分コスト - キャンペーンの広告費に基づく増分インストールあたりの平均コスト
• リフト - キャンペーンによって発生したインストール数と、キャンペーンなしで発生したインストール数の比較計算方法：リフト (%) =（露出グループ（対象ジオ）の実績値 − 露出グループの予測値）／ 露出グループの予測値 × 100 × -1
• 信頼度 - Lift が 0 より大きいと判断できる統計的な信頼度
  
  結果の読み解き方については、「検証結果の理解とインサイトの使用」 を参照してください。

管理画面の下部には、増分インストールの累積グラフがあり、セルごとの増分インストールの累積値を示しています。

地域設計は、検証の基礎となります。検証するアプリ、国、メイン指標を選択して定義します。地域設計を作成すると、AppsFlyerが実行可能性を確認します。承認されると、地域設計はすべての検証で使用できるようになります。一度に最大10個のアクティブな地域設計を設定できます。地域設計を作成すると、それらを表示および管理できるようになります。

地域設計を表示および管理するには：

Incrementality for UA で、地域設計のタブをクリックします。

地域設計はアプリごとに整理され、国、主要指標、ステータス、作成者、作成日、設計に基づいた検証回数が表示されます。

ステータス

地域設計を作成した後、AppsFlyerが実行可能性を確認します（プロセスには約24時間かかります）。承認されると、AppsFlyer が地理的な手法に基づき、最適な露出地域とホールドアウト地域を自動で割り当てます。地域設計は、今後の検証でも利用できます。地域設計のステータスは次のとおりです。

• In review - AppsFlyerが地域設計の適格性を確認しています。24時間後に承認されているか確認してください。
• Ready - 地域設計が適切な状態です。検証を開始できます。
• Unavailable - 現在のアプリ、国、計測の組み合わせに関するデータに基づく地域設計が適切ではない状態です。別の地域設計を使用してください。（30日後に設計を再提出することも可能です）より多くのデータが利用できるようになると、対象になる可能性があります。

接続とは、Incrementality for UAとメディアパートナーとの連携を指します。キャンペーンをリンクさせ、接続されたプラットフォームでの検証を実施することが可能になります。
 

メディアソース接続を追加する方法：  

1. AppsFlyerのサイドメニューで、 Optimize  > Incrementality for UA をクリックして、Incrementality for UA にアクセスします。 

2. ［接続］ タブをクリックし、［+ 新しい接続］ をクリックします。

   

3. 接続するメディアソースを選択してください。

   

4. 認証情報を入力してログインし、接続を作成します。

検証すべての検証を1か所で表示および管理することができます。

検証を表示および管理するには：

Incrementality for UA で、検証 タブをクリックします。

各検証について、以下を確認可能です：

• 検証名
• アプリ  - ソート可能
• 国 - ソート可能
• メディアソース
• 日付 - 検証日の範囲
• ステータス - 検証の残り日数または完了日
• リフト

［ステータス］の カラム

• Completed - 検証期間が終了
• Active - 検証中
• Pending - 検証結果が保留中（最初の24時間）
• In review - 設計をレビュー中（回答まで最大24時間）
• Ready - 設計がレビューされ、適切であることが判明した状態
• Unavailable - 設計はレビューされたものの、適切ではなかった状態

検証にカーソルを合わせ、のアイコンをクリックしてください。

このページでは次のことが可能です：

• 検証の詳細を見る
• 検証期間の延長
• 検証を停止

検証を延長する方法：

検証から、右上のアイコンをクリックして、検証期間の延長 を選択します。

これにより、検証はさらに14日間延長されます。

検証を停止するには：

検証のタブから、右上の⠇アクションアイコンをクリックし、検証を停止 を選択してください。