どのようにお手伝いできますか?

Incrementality for remarketing overview プレミアム機能

  • 更新

概要:インクリメンタリティ機能で、リターゲティングキャンペーンによって生成された純増リフトを計測する方法を理解しましょう。

「インクリメンタリティ」とは?

Probably the best way to understand incrementality analysis is through an example:

最近、リマーケティングキャンペーンを実施したとします。わかりやすくするために、ここでは1つのアドネットワークだけで配信した場合とします。このキャンペーンのコンバージョン率は5%でした。

さて、このキャンペーンの成果を評価したいと考えており、ここで重要な(そして最も難しい)質問に答える必要があります。

  • このキャンペーンのコンバージョン率の5%は良い数字でしょうか?
  • そのキャンペーンが本当にコンバージョンの増加につながったことをどうやって知ることができるでしょうか?
  • このキャンペーンは、配信にかかったコストに見合うものでしたか?

これらの質問に正確かつ偏りなく答えるためには、測定されたコンバージョン以上の点について考慮する必要があります。リマーケティングキャンペーンと接触しなかったとしても、自然に(オーガニック経由で)コンバージョンしていたであろうユーザーの数を考慮しなければなりません。

このコンバージョン総数と、キャンペーンの有無に関わらず発生したであろうコンバージョン数との差は、純増(インクリメンタル)リフト(あるいは単にリフト)と呼ばれ、キャンペーンの真の価値を判断する上で重要なものとなります。それを測定するのは非常に難しいことですが、AppsFlyerのIncrementalityソリューションはまさにそれを目的としています。

Incrementality experiments

インクリメンタリティは、似たようなグループの行動を比較するための科学的に有効な検証を可能にすることで、純増リフトを測定するという課題を克服します。これらのグループの違いは、あるグループ(テストグループ)はキャンペーンと接触し、またあるグループ(コントロールグループ)はキャンペーンと接触していないという点だけです。

インクリメンタリティ用のテストの作成と実行についての詳細はこちら

計算方法

以下のセクションでは、Incrementalityダッシュボードでレポートされた数値の背後にある計算について説明します。

リフト

AppsFlyerのインクリメンタリティでは、リフトを算出するために2つの方法を採用しています:

  • Intent-to-treat
  • Reach-based(リーチベース)

キャンペーンのパフォーマンスを評価する目的では、実際にユーザーが広告に接触したかどうかの「リーチベース」の手法が望ましいのですが、その計算には、すべてのアドネットワークが提供しているわけではないデータポイントを測定する必要があります。 それらのネットワークについては、代わりにintent-to-treat(ITT解析)の手法が用いられます。 For these networks, intent-to-treat methodology is used instead.

 Note

Prior to December 16, 2021, lift was calculated using solely the intent-to-treat method. However, data for earlier dates has been updated to utilize reach-based lift where applicable. Therefore, you can review historical experiments to analyze their results in light of the new methodology. 

ITTベースのリフト

Intent-to-treat (ITT) experimental methodology has its foundations in medical science. ITT(intent-to-treat) 検証のメソッドは、医学の世界にその基礎があります。 ITTを使用して、研究者は母集団を治療を行わないコントロールグループと、研究者が治療を行う意図を持つテストグループにランダムに分割します。 研究者は、グループの結果を比較することによって、与えられた治療の有効性を測定します。 テストグループのメンバーが実際に治療を受けたかどうかは考慮されません。 Researchers measure the efficacy of a given treatment by comparing the results of the groups. Whether or not a test group member actually received treatment is not taken into account.

Similarly, in remarketing, the lift metric measures campaign efficacy. 同様に、リマーケティングでは、増分率の指標でキャンペーンの有効性を測定します。 このメソッドでは、テストグループのユーザーが 実際に キャンペーンに接触した(治療を受けた)かどうかは加味されません ー なぜなら、純増値を計算する際に関係するのはインテンション(意図)だからです。 つまり、テストグループのメンバー全員が実際にキャンペーンに接触したものとして結果が算出されます。 In other words, results are calculated as if every member of the test group actually engaged with the campaign.

どんな時に使うのですか?

AppsFlyerのIncrementalityは、SRN媒体にITTベースのリフト計算を採用しています。

Although it is not the preferred method for measuring lift in our context, ITT remains a scientifically sound experimental method, and it provides valid results when reach-based calculation is not possible.

結果の解釈

テストグループのメンバー全員が実際にキャンペーンに接触したという前提があるため、コンバージョン率が低くなり、その結果、リフト量も少なくなることがよくあります。

リーチベースのリフト

As its name implies, reach-based lift calculation takes into account whether or not a member of the test group was actually reached (served a campaign ad) prior to converting. In addition to requiring additional data, reach-based lift calculation is also more complex in that it requires certain mathematical adjustments to the control group in order to be statistically valid. These adjustments are cumulatively known as the creation of a "counterfactual" control group.

どんな時に使うのですか?

AppsFlyerのIncrementalityでは、非SRN媒体(計測リンク使用媒体)に対してリーチベースのリフト計算を行います。

リフトを計算する上で好ましい方法ですが、リーチベースの計算では、アドネットワークが以下のデータをAppsFlyerにレポートする必要があります:

  • インプレッションデータ
  • キャンペーンID(計測リンク経由)

このデータがレポートされていない場合、インクリメンタル測定は利用できません(インクリメンタルダッシュボードでは結果がN/Aと表示されます)。

結果の解釈

リーチベースのリフト計算は、キャンペーンによって実際にリーチしたテストグループのメンバーのみを考慮するため、リーチベースの純増によって測定されたネットワークは通常、結果が増幅されます(ポジティブリフトはより高くなり、ネガティブリフトはより低くなります)。

ベストプラクティス

2つの異なるリフト計算方法によって結果が大きく異なることがあるため、解釈をより有意義なものにするために、以下のベストプラクティスを推奨します。

  • 検証を行う際には、コントロールグループと1つ以上の同じタイプのネットワーク、どちらかだけに分かれたオーディエンスを選択します。
    • リーチベース計算の非SRN媒体(計測リンク使用媒体)、または
    • SRNs for ITT-based calculation
  • 最初の検証では、オーディエンスを1つのネットワークとコントロールグループにのみ分割して使用することを検討してください。これにより、異なるリフト計算を行った2つ以上のネットワーク間で比較することが少なくなります。

統計的有意性

Incrementality検証の有効性を評価する場合、健全な科学的方法論では、 統計的有意性(リフト結果がランダムな事象や偶然によるものではないという信頼度のレベル)を考慮することが必要です。 

Incrementalityダッシュボードでは、各メディアソースにおいて、有意性がパーセンテージで表示されます。

  • The percentage indicates the likelihood that the results for that media source would repeat themselves if the experiment were performed again under similar circumstances.
  • 統計的有意性が60%以下と判断された場合、ダッシュボードにはパーセンテージではなく、結果:信頼性のないデータとして表示されます。
  • Significance is affected by audience size, experiment duration, and media source performance.

スケールコントロールグループ

テストグループレベルの指標(ユーザー単位の指標とは対照的)については、スケールコントロールグループに基づいてリフトが計算されます。 つまり、各メディアソースのコントロールグループの大きさに合わせて、コントロールグループの大きさを調整します。 In other words, the size of the control group is adjusted to match the control group size for each media source.

 Example

次のようなシナリオを想定してください:

  • ネットワークAのテストグループサイズ=100名
  • コントロールグループサイズ=90名
  • 検証結果:
    • ネットワークAは40件のコンバージョンが発生
    • コントロールグループでは20件のコンバージョンが発生
  • 合計コンバージョン数は、コントロールグループの規模を100名と想定し、調整します:
    • 想定ユーザー数 ー 実際のユーザー数 =100 - 90=11%            
                        実際のユーザー数                      90                             

       
    • 実際の純増コンバージョン数 + 11% = 20 × 1.11 = 22

リフトは、コントロールグループの規模を100名、コンバージョンの増加を22名として計算します。

Incrementality管理画面

New_Incrementality_Guide_image.jpg

ダッシュボードにアクセスする

インクリメンタリティはプレミアム機能です。 To get started, reach out to your customer success manager or write to hello@appsflyer.com. After subscribing, you'll be able to access the Incrementality dashboard.

インクリメンタリティダッシュボードへアクセス:

  1. AppsFlyer管理画面 左メニュー 最適化 > Incrementality: 純増検証 へ移動します。
  2. From the experiments list, click the row of the experiment for which you want to see the dashboard.

ダッシュボードツアー

  要素 説明
A.png フィルターバー

計測: ダッシュボードに表示する指標を選択します:

  • コンバージョン コンバージョン (UU) - 選択したイベントを実行したユニークユーザー数
  • 収益 - 選択されたイベントのユーザーがコンバージョンしたことにより発生した収益
  • イベント - 選択したイベントのうち、コンバージョンするユーザーによって実行された回数

計測フィルタで選択すると、ダッシュボード全体に表示される計測基準が決定されます:

 

イベント:データを表示したいアプリ内イベントを選択します

 

メディアソース:検証でテストしたメディアソースによって表示するデータをフィルターします

 

日付範囲:選択した日付範囲に従ってオーディエンスの純増分析をフィルターします。

B.png Experiment summary

Sums up the whole experiment with quick, at-a-glance results.

 

C.png 有意性タイル ダッシュボードに表示されている結果の統計的有意性を表示します。
D.png ヘッドライン指標タイル

表示される指標は、以下のように 計測フィルター での選択によって制御されます。

 

計測フィルターの選択 表示されるヘッドライン指標
コンバージョン/イベント CPiA(Cost per Incremental Action:純増アクションあたりのコスト)
  • キャンペーンコストに基づく、純増イベント毎の平均コスト
収益
広告費用対効果(iROAS)増加分
  • キャンペーンに費やした金額に対して発生した増収分の比率

注: ヘッドラインタイルに表示される指標の計算には、コストデータが必要です。 したがって、これらの指標は ROI360をご契約のお客様のみが使用できます。 必要なコストおよび/または収益のデータが、この理由またはその他の理由で入手できない場合、関連する指標は N/A と表示されます。 Therefore, these metrics are available only to ROI360 subscribers. If the required cost and/or revenue data is not available for this or any other reason, the relevant metric will display as N/A.

E.png ターゲットサイズとリーチタイル

ターゲットサイズ:検証の日付範囲内に初めてオーディエンスに加えられた、メディアソースごとのユニークユーザー数

  • 円グラフの内側のリング(濃い色)にも表示されます。

リーチ:該当メディアソースのキャンペーンから、実際に広告に接触したターゲットユーザーの%割合

  • 円グラフの外側のリング(明るい色 )にも表示されます。
F.png テストグループレベルのリフトタイル テストグループの合計純増指標とリフトを表示します(メディアソース別):
計測フィルターの選択 表示される指標
コンバージョン コンバージョンの合計純増量
イベント
合計純増イベント数
収益
合計純増収益額
G.png ユーザーごとのリフトタイル ユーザー毎の純増指標とリフトを表示します(メディアソース別):
  • ユーザー毎の純増リフトは、テストグループとコントロールグループの実際のユーザー数を用いて計算されます。
  • 表示される指標は、以下のように計測フィルターでの選択によって制御されます。

     
計測フィルターの選択 表示される指標
コンバージョン コンバージョン率の純増
イベント
ユーザーごとのイベント純増
収益
ユーザー1人当たりの純増収益
H.png トレンドチャート 選択された ユーザー毎 の純増指標 / リフトを、検証の日付範囲に渡って表示します。
  • 表示される指標は、計測フィルターの選択により制御され、ユーザー毎のリフトタイルで表示される指標と同じデータです。
  • 点線(チャート表示)は、レポートされた日付のデータの一部を示します(将来のイベントがまだデータに影響を与える可能性があることを意味します)。
  • トレンドチャート表示コントロール を使用して、さまざまな表示およびダウンロードオプションを選択します(詳細については後述します)。
I.jpg トレンドチャート表示

表示コントロールを使用して、 トレンドチャート の表示とダウンロードのオプションを選択します:

  • 累積値または日毎の値
  • チャートまたはテーブル形式

CSV出力ボタンから、データをCSV形式のレポートとしてダウンロードできます。

  • ダウンロードされるデータは、表示タイプで選択したものです: 累積または当日

レポート内の用語の説明

用語 説明
ロー(生)計測 コンバージョン / イベント / 収益の合計 インプレッションに関係なく、テストグループによって生成されます(分割設定によって各ユーザーに割り当てられたネットワークのみに基づきます)。
リーチ計測 テストグループによって生成されたコンバージョン数、イベント数、収益数(基になるイベントをトリガーする前に選択したキャンペーンのインプレッションが発生そたユーザーのみ)。
未リーチ計測 Raw measure minus reached measure. ロー計測からリーチ計測ユーザーのコンバージョンデータを差し引いたデータ これは、基になるイベントをトリガーする前にインプレッションが発生しなかった(広告接触しなかった)テストグループのユーザーによって生成されたコンバージョン、イベント、収益の合計量を表します。
ユーザー毎の計測 テストグループのリーチ / 生計測(選択したネットワークがリーチをサポートしているかどうかに基づく)を、テストグループのグループサイズ/リーチで割った数値。
コントロールグループのロー計測 コントロールグループによって生成されたコンバージョン / イベント / 収益の合計金額。
コントロールグループのリーチ計測 テストグループのリーチに合わせて調整された、コントロールグループグループによって生成されたコンバージョン数、イベント数、収益数(この値は反事実であり、同一条件での比較手段として機能します)。
コントロールグループの未リーチ計測 Raw measure minus counterfactual reached measure. This describes the total amount of conversions/events/revenue generated by users from the control group.
コントロールグループのユーザー毎の計測 コントロールグループの反事実 リーチ / 生の測定値(選択したネットワークがリーチをサポートしているかどうかによって異なる)を、コントロールグループのグループサイズ / 反事実リーチで割った数値。
純増計測の合計 Reached test measure minus control counterfactual reached measure.
ユーザーごとの純増計測 ユーザー毎の計測からコントロールグループのユーザー毎の計測を引いたもの。

 

ローデータレポート

Incrementalityローデータレポートを使用して、ユーザーのリマーケティングキャンペーンとのインタラクションを分析しましょう。

  • コンテンツ: Incrementality検証に参加したユーザーレベルのローデータ
  • Availability:
    • Data Locker経由
    • データ更新頻度:UTC時間で毎日19:00 - 23:00(日本時間:毎日 4:00 - 8:00)

Incrementalityローデータサンプルファイル

利用可能なレポート

カテゴリ レポート名  Data Lockerフォルダ
First-seen First-seen users incrementality_first_seen_users
In-app events Organic in-app events incrementality_organic_inapps
In-app events non-organic incrementality_inapps
In-app events re-attributions incrementality_inapps_reattr

Sessions

 

 

Organic sessions incrementality_organic_sessions
Sessions non-organic incrementality_sessions
Sessions re-attributions incrementality_sessions_reattr
Uninstalls Uninstalls
(現在は未入力) 
incrementality_uninstalls

Report logic

レポート構成の基礎となるロジックは以下の通りです:

  • テストに参加しているユーザー:First-seenレポート
    • オーディエンス機能にて、テストに含めるユーザーを特徴付けるルールが設定されます。
    • ユーザーがルールと一致していると識別されると、そのイベントは first_seen レポートに記録されます。
      • ユーザーがテスト、または is_control_group  項目で示されるコントロールグループのいずれかにランダムに割り当てられます。
      • テストグループ内のユーザーは、リターゲティング用にメディアソース(pid_destination)に割り当てられます。
  • アプリ内でのユーザーエンゲージメント: 検証中のアプリとのユーザーエンゲージメントは、コンテキスト固有のレポートに記録されます:
    • エンゲージメントタイプ:セッションまたはアプリ内イベント
    • ユーザーが First-seen のユーザー属性ステータス :オーガニック、非オーガニック、リアトリビューション。例えば、過去にユーザーがアプリをインストールし、オーガニックと計測されました。そのため、検証中は、アトリビューションステータスがオーガニックになります。
  • アンインストール:検証中にアプリをアンインストールしたユーザー。アンインストール計測が有効になっている必要があります。 

データの特性と項目

使用できる項目は、次に示すように、レポートの種類によって異なります:

Incrementality固有のデータ項目(レポートタイプ別)

Field 説明 First seen In-app events Sessions Uninstalls
is_control_group trueの場合、ユーザーはコントロールグループに属します Y Y Y Y
pid_destination ユーザーが割り当てられたメディアソース  Y Y Y Y
audience_id 一意の識別子 Y Y Y Y
joined_audience_date ユーザーがオーディエンスに最初に参加した日 Y Y Y Y
audience_name オーディエンス名(一意ではない)  Y Y Y Y
tm 一日の時間   Y Y Y
timestamp イベントのタイムスタンプ YYYY-MM-DD HH:MM   Y Y  
app_ids オーディエンスルールに関連するアプリID Y      

その他のIncrementalityレポート項目(レポートタイプごと)

Field 表示名* First seen In-app events Sessions Uninstalls
advertising_id Advertising ID (GAID) Y Y Y Y
android_id Android ID   Y Y  
app_id App ID Y Y Y Y
app_name App name   Y Y  
app_version App version   Y Y  
appsflyer_id Appsflyer ID   Y Y Y
revenue_alt App-specific currency   Y    
bundle_id Bundle ID   Y Y  
country Country code   Y Y Y
currency Currency code   Y Y Y
customer_user_id Customer user ID   Y Y  
brand Device brand   Y Y  
device_category Device category   Y Y  
model Device model   Y Y  
device_model Device model   Y Y  
device_type Device type   Y Y  
event_name Event name   Y Y Y
event_revenue Event revenue   Y    
event_revenue_currency Event revenue currency   Y    
event_revenue_u_s_d Event revenue USD   Y    
event_time Event time   Y Y Y
event_value Event value   Y Y  
idfa IDFA Y Y Y Y
idfv IDFV   Y Y  
imei IMEI   Y Y  
is_purchase_validated Is receipt validated   Y    
os_version OS version   Y Y  
platform Platform   Y Y Y
sdk_version SDK version   Y Y  
* ローデータの仕様に基づく

Incrementalityの仕様と制限

Trait 注意 
アカウントユーザーのアクセス Yes (according to account permissions)
アドネットワークアクセス 利用不可
代理店アクセス Not available. 利用不可現状、インクリメンタリティは広告主アカウントでのみ利用可能です。
Agency transparency 代理店運用の媒体開示を有効(オン)に設定している代理店が実施したキャンペーンを測定できます。
通貨  USD(米ドル)
Data freshness

管理画面:毎日 UTC 18:00に前日データを更新(日本時間:毎日朝4時に前々日のデータを更新)

Data Locker(ローデータ):毎日 UTC 19:00 - 23:00に前日分を更新(日本時間:毎日 4:00 - 8:00 に前々日のデータを更新)

過去データ N/A
非オーガニックデータ はい
オーガニックデータ はい
S2Sイベント Incrementalityで計測されるには、S2Sイベントのペイロードに広告IDが含まれている必要があります(iOSの場合はIDFA、Android の場合はGAID)。
タイムゾーン UTC