How can we help?

リターゲティング向けインクリメンタリティ(純増検証)概要 プレミアム機能

  • 更新

概要:インクリメンタリティ機能で、リターゲティングキャンペーンによって生成された純増リフトを計測する方法を理解しましょう。

「インクリメンタリティ」とは?

インクリメンタリティ(純増)を理解するには、例を挙げるのが分かりやすいでしょう。

最近、リマーケティングキャンペーンを実施したとします。わかりやすくするために、ここでは1つのアドネットワークだけで配信した場合とします。このキャンペーンのコンバージョン率は5%でした。

さて、このキャンペーンの成果を評価したいと考えており、ここで重要な(そして最も難しい)質問に答える必要があります。

  • このキャンペーンのコンバージョン率の5%は良い数字でしょうか?
  • そのキャンペーンが本当にコンバージョンの増加につながったことをどうやって知ることができるでしょうか?
  • このキャンペーンは、配信にかかったコストに見合うものでしたか?

これらの質問に正確かつ偏りなく答えるためには、測定されたコンバージョン以上の点について考慮する必要があります。リマーケティングキャンペーンと接触しなかったとしても、自然に(オーガニック経由で)コンバージョンしていたであろうユーザーの数を考慮しなければなりません。

このコンバージョン総数と、キャンペーンの有無に関わらず発生したであろうコンバージョン数との差は、純増(インクリメンタル)リフト(あるいは単にリフト)と呼ばれ、キャンペーンの真の価値を判断する上で重要なものとなります。それを測定するのは非常に難しいことですが、AppsFlyerのIncrementalityソリューションはまさにそれを目的としています。

インクリメンタリティテスト

インクリメンタリティは、似たようなグループの行動を比較するための科学的に有効な検証を可能にすることで、純増リフトを測定するという課題を克服します。これらのグループの違いは、あるグループ(テストグループ)はキャンペーンと接触し、またあるグループ(コントロールグループ)はキャンペーンと接触していないという点だけです。

インクリメンタリティ用のテストの作成と実行についての詳細はこちら

計算方法

以下のセクションでは、Incrementalityダッシュボードでレポートされた数値の背後にある計算について説明します。

リフト

AppsFlyerのインクリメンタリティでは、リフトを算出するために2つの方法を採用しています:

  • Intent-to-treat(ITT解析)
  • Reach-based(リーチベース)

キャンペーンのパフォーマンスを評価する目的では、実際にユーザーが広告に接触したかどうかの「リーチベース」の手法が望ましいのですが、その計算には、すべてのアドネットワークが提供しているわけではないデータポイントを測定する必要があります。 それらのネットワークについては、代わりにintent-to-treat(ITT解析)の手法が用いられます。

注意

2021年12月16日以前は、intent-to-treat(ITT解析)法のみで純増を算出していました。 ただし、それ以前のデータについても、リーチベースのリフトを使用するように更新されています。 そのため、過去のテストを見直して、新しいメソッドで照らし合わせて結果を分析することができます。  

ITTベースのリフト

ITT(intent-to-treat) 検証のメソッドは、医学の世界にその基礎があります。 ITTを使用して、研究者は母集団を治療を行わないコントロールグループと、研究者が治療を行う意図を持つテストグループにランダムに分割します。 研究者は、グループの結果を比較することによって、与えられた治療の有効性を測定します。 テストグループのメンバーが実際に治療を受けたかどうかは考慮されません。

同様に、リマーケティングでは、増分率の指標でキャンペーンの有効性を測定します。 このメソッドでは、テストグループのユーザーが 実際に キャンペーンに接触した(治療を受けた)かどうかは加味されません ー なぜなら、純増値を計算する際に関係するのはインテンション(意図)だからです。 つまり、テストグループのメンバー全員が実際にキャンペーンに接触したものとして結果が算出されます。

どんな時に使うのですか?

AppsFlyerのIncrementalityは、SRN媒体にITTベースのリフト計算を採用しています。

ITTは、AppsFlyerの文脈ではリフトを測定するための好ましい方法ではありませんが、科学的に適切な実験方法であり、リーチベースの計算が不可能な場合に有効な結果を提供します。

結果の解釈

テストグループのメンバー全員が実際にキャンペーンに接触したという前提があるため、コンバージョン率が低くなり、その結果、リフト量も少なくなることがよくあります。

リーチベースのリフト

その名の通り、リーチベースのリフト計算は、テストグループのメンバーがコンバージョンする前に、実際に 広告に接触したかどうかを考慮します。 リーチベースのリフト計算は、追加データを必要とすることに加え、統計的に有効であるためには、コントロールグループに一定の数学的調整を必要とするという点で、より複雑なものとなります。 これらの調整は累積的に、"counterfactual" (反事実的条件文)コントロールグループの作成として知られています。

どんな時に使うのですか?

AppsFlyerのIncrementalityでは、非SRN媒体(計測リンク使用媒体)に対してリーチベースのリフト計算を行います。

リフトを計算する上で好ましい方法ですが、リーチベースの計算では、アドネットワークが以下のデータをAppsFlyerにレポートする必要があります:

  • インプレッションデータ
  • キャンペーンID(計測リンク経由)

このデータがレポートされていない場合、インクリメンタル測定は利用できません(インクリメンタルダッシュボードでは結果がN/Aと表示されます)。

結果の解釈

リーチベースのリフト計算は、キャンペーンによって実際にリーチしたテストグループのメンバーのみを考慮するため、リーチベースの純増によって測定されたネットワークは通常、結果が増幅されます(ポジティブリフトはより高くなり、ネガティブリフトはより低くなります)。

ベストプラクティス

2つの異なるリフト計算方法によって結果が大きく異なることがあるため、解釈をより有意義なものにするために、以下のベストプラクティスを推奨します。

  • 検証を行う際には、コントロールグループと1つ以上の同じタイプのネットワーク、どちらかだけに分かれたオーディエンスを選択します。
    • リーチベース計算の非SRN媒体(計測リンク使用媒体)、または
    • ITTベースのSRN
  • 最初の検証では、オーディエンスを1つのネットワークとコントロールグループにのみ分割して使用することを検討してください。これにより、異なるリフト計算を行った2つ以上のネットワーク間で比較することが少なくなります。

統計的有意性

Incrementality検証の有効性を評価する場合、健全な科学的方法論では、 統計的有意性(リフト結果がランダムな事象や偶然によるものではないという信頼度のレベル)を考慮することが必要です。   

Incrementalityダッシュボードでは、各メディアソースにおいて、有意性がパーセンテージで表示されます。

  • パーセントは、キャンペーンの結果が、同じような状況でもう一度検証を行った場合に、同じ結果が繰り返される可能性を示しています。
  • 統計的有意性が60%以下と判断された場合、ダッシュボードにはパーセンテージではなく、結果:信頼性のないデータとして表示されます。
  • 有意性は、オーディエンスのサイズ、検証期間、キャンペーンのパフォーマンスに影響されます。

スケールコントロールグループ

テストグループレベルの指標ユーザー単位の指標とは対照的)については、スケールコントロールグループに基づいてリフトが計算されます。 つまり、各メディアソースのコントロールグループの大きさに合わせて、コントロールグループの大きさを調整します。

次のようなシナリオを想定してください:

  • ネットワークAのテストグループサイズ=100名
  • コントロールグループサイズ=90名
  • 検証結果:
    • ネットワークAは40件のコンバージョンが発生
    • コントロールグループでは20件のコンバージョンが発生
  • 合計コンバージョン数は、コントロールグループの規模を100名と想定し、調整します:
    • 想定ユーザー数 ー 実際のユーザー数 =100 - 90=11%            
                        実際のユーザー数                      90                             

       
    • 実際の純増コンバージョン数 + 11% = 20 × 1.11 = 22

リフトは、コントロールグループの規模を100名、コンバージョンの増加を22名として計算します。

Incrementality管理画面

New_Incrementality_Guide_image.jpg

ダッシュボードにアクセスする

インクリメンタリティはプレミアム機能です。利用をご希望の場合は、カスタマーサクセスマネージャーまたは hello@appsflyer.com へお問い合わせください。 トライアルもしくはご契約開始後、Incrementalityダッシュボードにアクセスできるようになります。

インクリメンタリティダッシュボードへアクセス:

  1. AppsFlyer管理画面 左メニュー 最適化 > Incrementality: 純増検証 へ移動します。
  2. 検証リストから、ダッシュボードを表示させたい検証をクリックします。

ダッシュボードツアー

  要素 説明
A.png フィルターバー

計測: ダッシュボードに表示する指標を選択します:

  • コンバージョン コンバージョン (UU) - 選択したイベントを実行したユニークユーザー数
  • 収益 - 選択されたイベントのユーザーがコンバージョンしたことにより発生した収益
  • イベント - 選択したイベントのうち、コンバージョンするユーザーによって実行された回数

計測フィルタで選択すると、ダッシュボード全体に表示される計測基準が決定されます:

 

イベント:データを表示したいアプリ内イベントを選択します

 

メディアソース:検証でテストしたメディアソースによって表示するデータをフィルターします

 

日付範囲:選択した日付範囲に従ってオーディエンスの純増分析をフィルターします。

B.png 検証結果の要約

検証結果全体を一目でわかるように要約でまとめています。

C.png 有意性タイル ダッシュボードに表示されている結果の統計的有意性を表示します。
D.png ヘッドライン指標タイル

表示される指標は、以下のように 計測フィルター での選択によって制御されます。

 

計測フィルターの選択 表示されるヘッドライン指標
コンバージョン/イベント CPiA(Cost per Incremental Action:純増アクションあたりのコスト)
  • キャンペーンコストに基づく、純増イベント毎の平均コスト
収益
広告費用対効果(iROAS)増加分
  • キャンペーンに費やした金額に対して発生した増収分の比率

注: ヘッドラインタイルに表示される指標の計算には、コストデータが必要です。 したがって、これらの指標は ROI360をご契約のお客様のみが使用できます。 必要なコストおよび/または収益のデータが、この理由またはその他の理由で入手できない場合、関連する指標は N/A と表示されます。

E.png ターゲットサイズとリーチタイル

ターゲットサイズ:検証の日付範囲内に初めてオーディエンスに加えられた、メディアソースごとのユニークユーザー数

  • 円グラフの内側のリング(濃い色)にも表示されます。

リーチ:該当メディアソースのキャンペーンから、実際に広告に接触したターゲットユーザーの%割合

  • 円グラフの外側のリング(明るい色 )にも表示されます。
F.png テストグループレベルのリフトタイル テストグループ合計純増指標とリフトを表示します(メディアソース別):
計測フィルターの選択 表示される指標
コンバージョン コンバージョンの合計純増量
イベント
合計純増イベント数
収益
合計純増収益額
G.png ユーザーごとのリフトタイル ユーザー毎の純増指標とリフトを表示します(メディアソース別):
  • ユーザー毎の純増リフトは、テストグループとコントロールグループの実際のユーザー数を用いて計算されます。
  • 表示される指標は、以下のように計測フィルターでの選択によって制御されます。

     
計測フィルターの選択 表示される指標
コンバージョン コンバージョン率の純増
イベント
ユーザーごとのイベント純増
収益
ユーザー1人当たりの純増収益
H.png トレンドチャート 選択された ユーザー毎 の純増指標 / リフトを、検証の日付範囲に渡って表示します。
  • 表示される指標は、計測フィルターの選択により制御され、ユーザー毎のリフトタイルで表示される指標と同じデータです。
  • 点線(チャート表示)は、レポートされた日付のデータの一部を示します(将来のイベントがまだデータに影響を与える可能性があることを意味します)。
  • トレンドチャート表示コントロール を使用して、さまざまな表示およびダウンロードオプションを選択します(詳細については後述します)。
I.jpg トレンドチャート表示

表示コントロールを使用して、 トレンドチャート の表示とダウンロードのオプションを選択します:

  • 累積値または日毎の値
  • チャートまたはテーブル形式

CSV出力ボタンから、データをCSV形式のレポートとしてダウンロードできます。

  • ダウンロードされるデータは、表示タイプで選択したものです: 累積または当日

レポート内の用語の説明

用語 説明
ロー(生)計測 コンバージョン / イベント / 収益の合計 インプレッションに関係なく、テストグループによって生成されます(分割設定によって各ユーザーに割り当てられたネットワークのみに基づきます)。
リーチ計測 テストグループによって生成されたコンバージョン数、イベント数、収益数(基になるイベントをトリガーする前に選択したキャンペーンのインプレッションが発生そたユーザーのみ)。
未リーチ計測 ロー計測からリーチ計測ユーザーのコンバージョンデータを差し引いたデータ これは、基になるイベントをトリガーする前にインプレッションが発生しなかった(広告接触しなかった)テストグループのユーザーによって生成されたコンバージョン、イベント、収益の合計量を表します。
ユーザー毎の計測 テストグループのリーチ / 生計測(選択したネットワークがリーチをサポートしているかどうかに基づく)を、テストグループのグループサイズ/リーチで割った数値。
コントロールグループのロー計測 コントロールグループによって生成されたコンバージョン / イベント / 収益の合計金額。
コントロールグループのリーチ計測 テストグループのリーチに合わせて調整された、コントロールグループグループによって生成されたコンバージョン数、イベント数、収益数(この値は反事実であり、同一条件での比較手段として機能します)。
コントロールグループの未リーチ計測 ロー計測から反事実にリーチ計測を差し引いたもの。 これは、コントロールグループのユーザーが生成したコンバージョン/イベント/収益の合計量を示します。
コントロールグループのユーザー毎の計測 コントロールグループの反事実 リーチ / 生の測定値(選択したネットワークがリーチをサポートしているかどうかによって異なる)を、コントロールグループのグループサイズ / 反事実リーチで割った数値。
純増計測の合計 テストグループの広告接触から、スケールコントロールグループを差し引いたもの。
ユーザーごとの純増計測 ユーザー毎の計測からコントロールグループのユーザー毎の計測を引いたもの。

 

ローデータレポート

Incrementalityローデータレポートを使用して、ユーザーのリマーケティングキャンペーンとのインタラクションを分析しましょう。

  • コンテンツ: Incrementality検証に参加したユーザーレベルのローデータ
  • 利用方法:
    • Data Locker経由
    • データ更新頻度:UTC時間で毎日19:00 - 23:00(日本時間:毎日 4:00 - 8:00)

Incrementalityローデータサンプルファイル

利用可能なレポート

カテゴリ レポート名  Data Lockerフォルダ
First-seen First-seen users incrementality_first_seen_users
In-app events Organic in-app events incrementality_organic_inapps
In-app events non-organic incrementality_inapps
In-app events re-attributions incrementality_inapps_reattr

Sessions

 

 

Organic sessions incrementality_organic_sessions
Sessions non-organic incrementality_sessions
Sessions re-attributions incrementality_sessions_reattr
Uninstalls Uninstalls
(現在は未入力) 
incrementality_uninstalls

レポート仕様

レポート構成の基礎となるロジックは以下の通りです:

  • テストに参加しているユーザー:First-seenレポート
    • オーディエンス機能にて、テストに含めるユーザーを特徴付けるルールが設定されます。
    • ユーザーがルールと一致していると識別されると、そのイベントは first_seen レポートに記録されます。
      • ユーザーがテスト、または is_control_group  項目で示されるコントロールグループのいずれかにランダムに割り当てられます。
      • テストグループ内のユーザーは、リターゲティング用にメディアソース(pid_destination)に割り当てられます。
  • アプリ内でのユーザーエンゲージメント: 検証中のアプリとのユーザーエンゲージメントは、コンテキスト固有のレポートに記録されます:
    • エンゲージメントタイプ:セッションまたはアプリ内イベント
    • ユーザーが First-seen のユーザー属性ステータス :オーガニック、非オーガニック、リアトリビューション。例えば、過去にユーザーがアプリをインストールし、オーガニックと計測されました。そのため、検証中は、アトリビューションステータスがオーガニックになります。  
  • アンインストール:検証中にアプリをアンインストールしたユーザー。アンインストール計測が有効になっている必要があります。  

データの特性と項目

使用できる項目は、次に示すように、レポートの種類によって異なります:

Incrementality固有のデータ項目(レポートタイプ別)

項目 説明 First seen In-app events Sessions Uninstalls
is_control_group trueの場合、ユーザーはコントロールグループに属します Y Y Y Y
pid_destination ユーザーが割り当てられたメディアソース  Y Y Y Y
audience_id 一意の識別子 Y Y Y Y
joined_audience_date ユーザーがオーディエンスに最初に参加した日 Y Y Y Y
audience_name オーディエンス名(一意ではない)  Y Y Y Y
tm 一日の時間   Y Y Y
timestamp イベントのタイムスタンプ YYYY-MM-DD HH:MM   Y Y  
app_ids オーディエンスルールに関連するアプリID Y      

その他のIncrementalityレポート項目(レポートタイプごと)

項目 表示名* First seen In-app events Sessions Uninstalls
advertising_id Advertising ID (GAID) Y Y Y Y
android_id Android ID   Y Y  
app_id App ID Y Y Y Y
app_name App name   Y Y  
app_version App version   Y Y  
appsflyer_id Appsflyer ID   Y Y Y
revenue_alt App-specific currency   Y    
bundle_id Bundle ID   Y Y  
country Country code   Y Y Y
currency Currency code   Y Y Y
customer_user_id Customer user ID   Y Y  
brand Device brand   Y Y  
device_category Device category   Y Y  
model Device model   Y Y  
device_model Device model   Y Y  
device_type Device type   Y Y  
event_name Event name   Y Y Y
event_revenue Event revenue   Y    
event_revenue_currency Event revenue currency   Y    
event_revenue_u_s_d Event revenue USD   Y    
event_time Event time   Y Y Y
event_value Event value   Y Y  
idfa IDFA Y Y Y Y
idfv IDFV   Y Y  
imei IMEI   Y Y  
is_purchase_validated Is receipt validated   Y    
os_version OS version   Y Y  
platform Platform   Y Y Y
sdk_version SDK version   Y Y  
* ローデータの仕様に基づく

Incrementalityの仕様と制限

特性 備考
アカウントユーザーのアクセス アカウント権限に依存
アドネットワークアクセス 利用不可
代理店アクセス 利用不可現状、インクリメンタリティは広告主アカウントでのみ利用可能です。
代理店の運用媒体の開示設定 代理店運用の媒体開示を有効(オン)に設定している代理店が実施したキャンペーンを測定できます。
通貨  USD(米ドル)
データ更新頻度

管理画面:毎日 UTC 18:00に前日データを更新(日本時間:毎日朝4時に前々日のデータを更新)

Data Locker(ローデータ):毎日 UTC 19:00 - 23:00に前日分を更新(日本時間:毎日 4:00 - 8:00 に前々日のデータを更新)

過去データ N/A
非オーガニックデータ はい
オーガニックデータ はい
S2Sイベント Incrementalityで計測されるにはS2Sイベントのペイロードに広告IDが含まれている必要があります(iOSの場合はIDFA、Android の場合はGAID)
タイムゾーン UTC

This article was translated using AI and may contain errors. For the most accurate information, please refer to the English version using the language selector.


Share article: