どのようにお手伝いできますか?

検索

A/Bテストの作成

  • 更新

概要：AppsFlyerを使って、メディアソース、キャンペーン、クリエイティブ、ターゲティング、広告掲載位置のA/Bテストを実施できます。

AB_TESTING.jpg

A/Bテストとは？

A/Bテストとは、広告やキャンペーンのさまざまな要素を比較検証するための手法です。各広告には、ターゲティング、ビジュアル、テキストなど、見込みユーザーのコンバージョン率に影響する要素が含まれています。広告の各要素について、より高い成果につながるバリエーションを見つけることで、モバイルマーケティングの成果を大きく向上させられる可能性があります。

この記事では、AppsFlyerを使ってA/Bテストを実施し、より高い成果につながる広告要素を見つける方法を説明します。

モバイルキャンペーンのA/Bテスト

ある要素をA/Bテストするには、同じオファーを表示する2つのソースにモバイルトラフィックを50/50で分割します。次に、テスト対象の要素について2つのバリエーションを作成します。十分なトラフィックが集まったら、既存バージョン（コントロール）と新しいバージョン（バリエーション）の結果を比較できます。

以下の手順は、AppsFlyerを使ってA/Bテストを実施する場合に適用されます。

設定：

  1. テストする要素を選択します。
    この記事では、クリエイティブ、広告掲載位置、メディアソース、キャンペーンのA/Bテストについて説明します。
  2. 同一のキャンペーン（または広告）を2つ作成し、それぞれで広告内の1つの要素だけを変えます。例えば、CTAボタンの文言などです。
    • バリエーションがインストールコンバージョン率に与える影響をテストするには、2つのキャンペーンにトラフィックを均等に分配します。 
      両方のソースでインプレッションデータを完全に取得できる場合は、インストール数をインプレッション数で割ってインストールコンバージョン率を算出します。
    • バリエーションがインストール後のユーザーの質に与える影響をテストする場合は、2つのキャンペーンに異なる量のトラフィックを送ることができます。
  3. 統計的有意性を確保できるだけの十分なトラフィックを各キャンペーンに送ります。つまり、各キャンペーンで少なくとも50件のインストールが必要です。 「A/Bテスト有意性計算ツール」を使用します。

分析：

  1. AppsFlyerのダッシュボードとデータを使用して、2つのキャンペーンの主要KPIのパフォーマンスを比較します。
  2. 成果の高いバリエーションを選択し、実際のキャンペーンで使用します。

クリエイティブとターゲティングのA/Bテスト

クリエイティブには、コピー、画像、色、フォント、ボタンなど、ユーザーのコンバージョン率にさまざまな影響を与える多くの要素が含まれています。国、年齢、性別などのターゲティングパラメータも、コンバージョン率に大きな影響を与える可能性があります。また、iOS 15以降では、最大35個のカスタムプロダクトページを利用できます。これらの要素をA/Bテストすることで、ユーザーのコンバージョン率の改善に最も大きな影響を与える要因を特定できます。

ここでは、次の2つの方法でA/Bテストを実施する手順を説明します。

  • 単一のメディアソース
  • 複数のメディアソース
方法 メリット デメリット
単一のメディアソースでA/Bテスト
  • 簡単な設定
  • インストールコンバージョン率を簡単にテストできる
  • 特定のメディアソースのユーザーにしか結果を適用できない場合がある
  • テストに時間がかかる場合がある
複数のメディアソースでA/Bテスト
  • 迅速に結果を得られる
  • すべてのメディアソースのユーザーに結果を適用できる
  • 複数の場所でアトリビューションリンクを更新する必要がある

方法1：単一のメディアソースでA/Bテスト

設定：

  1. 十分なトラフィックがある、信頼できるメディアソースを選択します。
  2. 次のいずれかの方法で、AppsFlyerに2つのキャンペーンまたはSmart Bannersを作成します。
    • アトリビューションリンクの「c」パラメータの値となるキャンペーン名を変えます。
    • または、1つのキャンペーン内に2つの広告セット（「af_adset="」）を作成するか、1つの広告セット内に個別の広告（「af_ad=」）を作成します。注意：Smart Bannersでは、同じバナーグループ内で各バナーに異なるパラメータを設定してA/Bテストすることもできます。
    • iOS 15以降では、異なるOneLink URLを異なるプロダクトページに送ることで、カスタムプロダクトページごとの効果をテストすることもできます。詳細を見る
  3. テスト対象のバリエーション以外は、両方のキャンペーンで同じクリエイティブを使用します。
  4. 両方のキャンペーンに同じ量のトラフィックを送ります。

分析：

  • 概要ダッシュボードページで、キャンペーンのKPI（インストールコンバージョン率、ROI、ARPU、ロイヤルユーザー率など）を比較します。

方法2：複数のメディアソースでA/Bテスト

設定：

  1. バリエーションの値を格納するサブスクライバーパラメータを選択します。
    例えば、CTAの文言を2パターンテストする場合、af_sub1="install now"またはaf_sub1="please install"を使用できます。サブスクライバーパラメータとクリエイティブのテスト例についてはこちらをご覧ください。
  2. すべての有効なアトリビューションリンクに、対応する値を設定したサブスクライバーパラメータを追加します。
  3. テスト対象のバリエーション以外は、すべてのキャンペーンで同じクリエイティブを使用することを推奨します。

分析：

  1. インストールまたはアプリ内イベントのローデータレポートをダウンロードします。選択したサブスクライバーパラメータの列を使用して、データをフィルタリングおよび並べ替えます。
  2. 保存されている2つの値のどちらかを基準に、クリエイティブのパフォーマンスを比較します。

モバイルWebで広告掲載位置をA/Bテストする

ad_placement.png

モバイルWebサイト上でアプリのバナーをどこに表示するかによって、ユーザーのコンバージョン率が大きく変わる可能性があります。多くの場合、広告主は自社のモバイルWebサイトを使って、訪問者をモバイルユーザーへ誘導します。

AppsFlyerのSmart Banners機能を使うと、モバイルWebバナーをすばやく簡単に設定できます。さらに、この機能を使えば、Webサイトの訪問者をモバイルユーザーへ転換するうえで最適な掲載位置を判断するためのA/Bテストも簡単に実施できます。

設定：

  1. モバイルWebサイトにSmart Bannersを実装します。
  2. 新しい訪問者ごとに、ページの上部と下部のどちらにバナーを表示するかを決定します。両方にトラフィックを50/50で分割してください。
    開発者向けヒント：Webサイトのトラフィックを分割する簡単な方法として、訪問者カウンターを使用し、新しい訪問者ごとにカウンターの値が奇数（A）か偶数（B）かを確認します。

  3. 決定した表示位置に応じて、Smart BannersのSDK API ShowBannerを使用してバナーの表示位置とアトリビューションリンクを設定します。
    例：

    showBanner({ bannerContainerQuery: "#document.body", additionalParams:{ af_sub5: "top"}})

分析：

  1. インストールまたはアプリ内イベントのローデータレポートをダウンロードします。選択したサブスクライバーパラメータ（例：af_sub5）の列を使用して、データをフィルタリングおよび並べ替えます。
  2. 2つの広告掲載位置のパフォーマンスを比較します。つまり、どちらの掲載位置でより多くのインストールまたはインストール後イベントが発生したかを確認します。

メディアソースのA/Bテスト

広告主がアプリにとって最も成果の高い（または低い）メディアソースを特定できるようにすることは、AppsFlyerが開発された目的の1つです。ただし、メディアソースを正しく比較しないと、トラフィックの品質について誤った結論に至る可能性があります。

設定：

  1. 両方のメディアソースに対して、同じ1つの広告クリエイティブを作成します。
  2. 各メディアソースに、まったく同じオーディエンスのターゲティングパラメータを設定した広告を作成します。
  3. 2つのメディアソースに異なる量のトラフィックを送ることもできます。

分析：

  1. 両方のメディアソースでテスト対象の広告のみを配信している場合は、AppsFlyerのダッシュボードとデータを使用して、2つのソースの主要KPIを簡単に比較できます。

    それ以外の場合：
  2. AppsFlyerのリテンションレポート、コホートレポート、Master API、またはピボットテーブルに移動します。
  3. メディアソース → キャンペーン → 広告セット → 広告の順にグループ化します。
  4. KPIを比較して、最も成果の高いメディアソースを特定します。

 例

  • 1と2は、同じメディアソース上の異なる広告です。クリエイティブ、ターゲティング、広告掲載位置のA/Bテストを行うには、例えば4日目のリテンション率など、1つのKPIを比較します。
  • 2と3は、異なるメディアソース上の広告です。広告のクリエイティブとターゲティングが同一であれば、1つのKPIを比較することでメディアソースのA/Bテストを行えます。

オーディエンスを分割してメディアソースのA/Bテストを簡単に実施

各メディアソースに同じターゲティングパラメータを設定すると、テスト結果には各ネットワークのターゲティング機能の違いも含まれます。 A/Bテストでは、毎回1つのバリエーションだけをテストするのが最適です。そのため、ネットワークのパフォーマンスにおける他の要素をA/Bテストする際は、ターゲティング機能の違いを排除することを推奨します。

これを実現するには、オーディエンスをランダムに分割し、テストする各ネットワークで、両方のオーディエンスに同じクリエイティブをターゲティングすることを推奨します。 AppsFlyerでは、オーディエンスを定義、分割し、異なるメディアソースに自動で振り分けるための簡単な方法を提供しています。こちらをご覧ください。

Tags