Incrementality: 純増検証の実行

プレミアム機能

概要: 純増検証を実施して、リマーケティングキャンペーンの真の効果を把握します。

KB_toggle_final.jpg

関連記事:  Incrementalityガイド

オーバービュー管理画面

Incrementalityテストは、純増、つまりマーケティングキャンペーンの結果発生したコンバージョン数と、キャンペーン無しでも発生したであろうコンバージョン数の差を正確に測定するA/Bテストによって、キャンペーンの真の効果を計測します。

結果は、マーケティング投資によって生み出される実際の価値を理解するために重要です。AppsFlyerのソリューション Incrementality を使用することで、特定のチャネルとキャンペーンの影響を客観的に確認し、予算配分とキャンペーンの最適化についてより適切な決定を下すことができます。

AppsFlyerは、オーディエンスの作成から始まる自動化されたプロセスにより、純増検証を容易にします。新しいオーディエンスは、有効な [増分効果の測定] トグルを使用して、接続された広告媒体とコントロールグループとに自動的に分割されます。コントロールグループは、広告との接触をさせないユーザーグループで、検証において不可欠なオーディエンスです。オーディエンスが保存されると、純増検証が自動的に作成されます。パートナー側でキャンペーンを開始し、正しいキャンペーンが接続されていることを確認すると、Incrementalityダッシュボードで検証結果を表示できるようになります。

まずはじめに

純増検証を開始するには、次の手順に従ってください。各手順の詳細については、以下の検証を設定するを参照してください。

# 説明
01

テストの目的を把握する

明確なテスト目標と結果の仮説を定義することで、実験結果の実行可能性を最大化します。

02

対象ユーザーを作成し、グループを分割する

オーディエンスページにて:

  • オーディエンスを設定してください
  • アドネットワークに連携してください
  • オーディエンスは、オンに設定されたトグルを介して自動的にテストグループとコントロールグループに分割されます。
    (Incrementalityご契約のお客様:2023年1月11日以降に作成されたオーディエンス)

    AppsFlyerのAudiences機能は、テストグループを広告媒体へ接続し、コントロールグループのメンバーを保留します。

03

キャンペーン / 検証を開始する

  • アドネットワークで、オーディエンスのユーザーをターゲットとするキャンペーンを作成して開始します。
  • 純増検証は自動的に作成されます(Incrementalityご契約のお客様の場合)

テストグループに含まれるユーザーには広告が表示されます。コントロールグループのユーザーには広告は表示されません。

04

結果の分析

適切に実行された純増検証から得られた洞察により、マーケティングキャンペーンを最適化して最大のプラスの影響を得ることができます。たとえば、ターゲットオーディエンスに最適なメッセージ、最高のクリエイティブまたはプロモーション、最も効果的なメディアソースなどを示すのに役立ちます。

検証を設定する

テストの目的を把握する

他の実験と同様に、検証する内容(変数)と、結果がどうなるか(仮説)を正確に定義することが重要です。次の表に、検証を設計するためのガイドラインとベストプラクティスを記載しています。

変数 / 仮説 ガイドラインとベストプラクティス
オーディエンス 検証するオーディエンスを設定してください。AppsFlyerのAudiencesですでに設定済みのオーディエンスを選択するか、検証条件を満たす新しいオーディエンスを作成します。
オーディエンスのサイズ

ユーザー数が多く、コンバージョン率の高いイベントがあるオーディエンスを選択します。サンプルサイズが大きいほど、 統計的に有意な結果が得られる可能性が高くなります。

 

ベストプラクティス:
少なくとも50,000人のユーザーのオーディエンス
1〜3社の広告媒体
コントロールグループに分割

キャンペーン キャンペーンの説明(訴求、インセンティブなど)
コントロールグループ% コントロールグループは自動的にオーディエンス全体サイズの15%に設定されます(ベストプラクティスは15-25%の間です)。
検証グループ(接触者)

検証する広告媒体を決定する
分割の割合はそれらの間で均等に分割されます。(各媒体への割合はカスタマイズ可能です)

 

ベストプラクティス:1-3つ程の広告ネットワークで検証

仮説

検証で期待される結果を定義してください。

始める前に結果を予測するのは直感に反するように感じるかもしれませんが、仮説を立てることは実験計画の重要な要素で、結果を解釈するのに役立ちます。

ベストプラクティス: あいまいな推定値ではなく、実際のパーセンテージを使用して容易に検証できる仮説を述べます。
例:

  • アップグレード購入するユーザーが 15% 増加:容易に検証できる仮説
  • アップグレード購入するユーザーが大幅に増加:検証が難しくなります。

 

上記のガイドラインを使用して、次のような検証を設定できます。

変数 / 仮説
オーディエンス ユーザー登録は完了したが、購入に至っていないユーザー
オーディエンスのサイズ 100,000
キャンペーン 指定した期間中に購入を行ったユーザーに割引クーポンを提供するキャンペーン
コントロールグループ% オーディエンス(条件に当てはまるユーザー)全体の20%
検証グループ(接触者)

残りのオーディエンスメンバーを次の接続先に送信します。

  • 媒体A(オーディエンスの40%)
  • 媒体B(オーディエンスの40%)
仮説 リターケティングキャンペーンに接触し購入を実行するユーザーの割合は、コントロールグループのユーザーよりも、検証グループのユーザーのほうが大幅に高くなる。

ターゲットユーザーを作成し、グループを分割する

目標を定義したら、次に検証するオーディエンスを設定します。

  1. AppsFlyerのAudiencesで、オーディエンスを追加します。
    (または、検証要件を満たす既存のオーディエンスを分割することもできます。)
  2. 選択したオーディエンスの 接続タブで、次の操作を行います:
    • オーディエンスを1~3社のアドネットワークパートナーに連携してください。
    • オーディエンスの分割 するトグルがオンになっていることを確認します(2023年1月11日以降に作成されたオーディエンス:自動的に有効)。
      オフの場合は、トグルをクリックしてオンにします。

      Measure_inc_impact_toggle.jpg

    • コントロールグループは自動的に15%に設定されます(推奨)。
    • 残りのオーディエンスは、選択した広告媒体間で自動的に均等に分割されます。
      • 合計分割率は 100%でなければなりません(コントロールグループを含む)。

分割を有効にしてオーディエンスを保存すると、純増検証が自動的に開始されます(Incrementalityご契約のお客様のみ)。これらの検証は、検証名の冒頭にプレフィックス "[Auto]" が付与された名前でIncrementalityダッシュボードで表示されます。

Auto_before_title.jpg

重要な注意事項:

  • 検証の実行中は、Audiencesで対象ユーザーの構成を変更しないでください。パートナー、オーディエンス名、またはその他の設定を変更すると、統計分析が不正確になります。
    ベストプラクティス: 検証が終了した後でも、以前に検証したオーディエンスの定義を変更する必要がある場合は、まずオーディエンスを複製し、新しいコピーに変更を加えます。これにより、Incrementalityダッシュボードの過去データの継続的な整合性が保証されます。
  • 既存のオーディエンスの分割とパートナー設定を変更すると、現在の純増検証が終了し、新しい検証が作成されます。
  • オーディエンス拡張機能を確認:

Meta広告とGoogle広告の両方でキャンペーンのリーチを拡大するために、設定されたオーディエンスリスト以外のキャンペーンをターゲットにできるオプション機能があります。この機能をオンのままにすると、Incrementality検証にバイアスがかかり、不正確な結果が発生します。必ず、この機能がオフになっていることを確認してください。

Meta広告では、この機能は「アドバンテージカスタムオーディエンス」と呼ばれます。広告セットレベルで表示され、デフォルトで有効になっています。

image__4_.png
Google広告では、「オーディエンスの拡大」と呼ばれています。

Google_Ads_Incrementality_limitation_cropped.jpg

キャンペーン / 検証を開始する

以下のアクションを実行します:

1. 広告媒体でキャンペーンを設定する

最初のステップは、オーディエンスのユーザーをターゲットとするキャンペーンを作成し、広告媒体側で(オーディエンスがアップロードされている媒体ごとに)開始することです。

  • 重要:正確な検証結果を得るには、検証対象のオーディエンスユーザーのみをターゲットにするようにキャンペーンを構成します。他のソースのユーザーを含めないでください。
  • 検証対象のオーディエンスが新しく作成されたオーディエンスの場合、そのオーディエンスが広告ネットワーク プラットフォームで利用可能になるまでに最大 24時間かかることがあります。

2. 正しいキャンペーンがテストに接続されていることを確認する

増分影響の測定トグルを有効にして新しいオーディエンスが作成されると(または既存のオーディエンスで新しく有効になった場合)、新しいインクリメンタリティテストが自動的に開始されます。最も関連性の高いキャンペーンが自動的にテストに接続されますが、必要に応じてキャンペーンを変更できます。

キャンペーンの接続または変更:

1. Incrementalityダッシュボード > 特定の検証をクリック > 懸賞を編集 をクリックします。

Edit_experiment.jpg

 

もしくは

Audiences で特定のオーディエンスを見つけ、検証列の + キャンペーンを接続をクリックします。

Link_campaign__audiences_status_.jpg

ウィンドウが表示され、キャンペーンを接続できます。

Link_campaign_to_experiment_window.jpg

2. 各広告媒体に連携するキャンペーンを選択します。

手記: ドロップダウンメニューには、広告媒体から取得したキャンペーンが表示されます。データが利用可能な場合、ドロップダウンのキャンペーンは、特定のオーディエンスへのマーケティングに使用される可能性によって並べ替えられます。一番上の提案が事前に選択されます。

3. 保存 をクリックします。

これで、キャンペーンが検証に接続されました。

 

検証を手動で作成する

2023年1月11日以降にオーディエンスを作成されたIncrementalityをご契約のお客様の場合、手動でテストを作成する必要はありません。テストはオーディエンス向けに自動的に作成されます(Incrementalityダッシュボードでは検証名の冒頭に '[Auto]' が付与されて表示されます。古いオーディエンスやその他の理由で手動テストを作成する場合は、こちらの手順に沿って操作してください。

新しい純増検証を作成する:

  • AppsFlyer管理画面 > ダッシュボード > Incrementality に移動します。
  • Incrementality検証 ページで、新しい検証ボタンをクリックします。
  • ウィザードの手順に従って、検証を作成します。詳細な手順は、各手順を実行するときに提供されます。

     注記

    ウィザードの手順 2 オーディエンスの設定

    ウィザードの手順2 では、対象ユーザーを検証に含める期間を選択するように求められます。

    デフォルトでは、これはオーディエンスが最初にコントロールグループと分割された期間です。正確な検証結果を得るために、次のいずれかの状況に当てはまる場合は、この日付を変更する必要があります:

    • 選択したオーディエンスの定義(オーディエンスセグメントルールセットユーザー識別子など)を変更した場合 これらのオーディエンス定義の変更が最後に行われた日付と一致するように、この日付を変更します。
    • 既存のオーディエンスで新しいキャンペーンを検証する場合は この日付を新しいキャンペーンを開始した日付に変更します。

    ウィザードの手順 3 – ターゲットを設定する

    Step_3_Set_targets.jpg

    ここで、ターゲットアプリとKPIを選択します。

    注意: 他のすべてのKPIは選択されていない場合でも、検証終了時に使用可能になります。

     

    ウィザードの手順 4 確認

    ウィザードの手順4 で、検証期間を設定するように求められます。

    • デフォルトでは、検証は作成から 30日間実行するように設定されています。これは、検証を実行するための最小推奨期間です。
    • 手動で終了するまで検証を継続する場合は、無期限に続行 オプションを選択します。

結果の分析

最初の検証結果は、接続されたキャンペーンがアドネットワークで開始されてから24〜36時間以内に Incrementalityダッシュボード に表示されます(毎日デイリー更新されます)。検証ページで、結果の精度を損なう可能性のある問題を特定し、それらを解決するために実行できるアクションを提案するのに役立つアラートが表示される場合があります。

Incrementalityのローデータレポートは、Data Locker経由で取得できます。