Incrementality 가이드

앱스플라이어 성과 증분 측정은 증분(증가분)을 계산하기 위해 두 가지 방법을 활용합니다:

• 치료 의향 분석(ITT, intent-to-treat, 실험도중 탈락한 피험자까지 포함하여 통계를 처리하는 방법)
• 도달 기준 분석(reach-based)

캠페인 성과를 평가하기 위해 도달 기준 분석론이 선호되지만, 계산에 필요한 데이터 포인트를 모든 애드 네트워크가 제공하지 않습니다. 이러한 네트워크의 경우 치료 의향 분석론이 대신 사용됩니다.

ITT 기반 증분

ITT(Intent-to-treat, 치료 의향 분석)는 원래 임상 실험에 사용되는 방법론입니다. ITT 방법을 통해 연구자들은 특정 집단을 치료하지 않는 대조군과 치료 예정인 시험군으로 무작위 분할합니다. 연구자들은 두 그룹의 결과를 비교해 해당 치료의 효과를 평가합니다. 시험군 구성원이 실제로 치료를 받았는지는 고려 대상이 아닙니다.

리마케팅에서도 증분 지표는 캠페인의 효과를 측정하는 데 사용됩니다. 시험군 내 유저가 캠페인에 실제로 참여했는지(임상실험의 경우 치료를 받았는지)는 중요하지 않습니다. 중요한 것은 성과 증분을 계산할 때의 의도입니다. 즉, 모든 시험군 구성원이 캠페인에 참여한 것으로 가정하여 결과를 계산합니다.

사용되는 경우는?

앱스플라이어의 성과 증분 측정은 SRN에 대해 ITT 방식으로 증분을 계산합니다.

본 문맥에서 선호되는 방식은 아니지만, ITT는 과학적으로 탄탄한 실험 방법으로, 도달 기반 계산이 가능하지 않을 때 유효한 결과를 제공합니다.

결과 해석

기본적으로 시험군의 모든 구성원이 캠페인에 도달했다고 가정하면, 전환율이 낮아 결과적으로 성과 증가분도 낮아집니다.

도달 기반 증분

이름에서 알 수 있듯이, 도달 기반 증분 계산은 캠페인이 시험군 구성원에게 실제로 도달했는지 (캠페인 광고가 제공됐는지)를 고려합니다. 추가 데이터가 필요할 뿐 아니라, 도달 기반 증분 계산 방식은 대조군을 통계적으로 타당하게 조정해야하는데, 이는 더 복잡한 작업입니다. 이러한 조정은 "실제 현상과 반대의 경우를 가정한" 대조군을 만드는 작업으로 알려져 있습니다.

사용되는 경우는?

앱스플라이어의 성과 증분 측정은 어트리뷰션-링크 네트워크인 비-SRN에 대해 리치 기반 리프트 계산을 사용합니다.

리치 기반 계산이 리프트를 계산하는 데 선호되는 방법이지만, 광고 네트워크가 앱스플라이어에 다음과 같은 데이터를 보고해야 합니다:

• 노출 데이터
• 캠페인 ID (어트리뷰션 링크 기반)

이 데이터가 보고되지 않을 경우, 성과 증분 측정은 불가능하며(성과 증분 대시보드에서 N/A로 표시됩니다).

결과 해석

범위 기반으로 한 증분 측정이 캠페인에 의해 실제로 접근된 테스트 그룹 구성원만을 고려하기 때문에, 이 방식을 사용하는 네트워크는 대체로 결과가 증폭되는 경향이 있습니다(양수(+) 증분값은 훨씬 더 높아지고, 음수(-) 증분값은 훨씬 더 낮아집니다 ).

모범 활용 사례

두 가지 다른 증분 계산 방법이 크게 다른 결과를 낳을 수 있으므로, 결과 해석을 더 의미있게 만들기 위한 다음과 같은 모범 답안을 권장합니다.

• 실험을 설계할 때, 통제군과 실험군은 동일 유형의 네트워크 유저를 대상으로 나누세요. 네트워크 유형은 다음과 같습니다.
  • 도달 기반 증분 계산: 어트리뷰션 링크를 사용하는 비 SRN
  • ITT 계산: SRN(self-reporting network)
• 초기 실험에서는 단 하나의 네트워크와 단 하나 통제군을 사용하는 것이 바람직합니다. 이렇게 하면 서로 다른 증분 계산을 사용하는 두 개 이상의 네트워크 간 비교가 이루어질 가능성이 낮아집니다.

증분 실험의 타당성을 평가할 때 우리는 통계적 유의성(증분 결과가 무작위 이벤트나 우연이 아니라는 확신 수준)을 고려해야 합니다.

증분 대시보드에서, 각 미디어 소스별 유의성은 백분율로 보고됩니다:

• 해당 백분율은 유사한 상황에서 실험을 다시 수행할 경우 그 미디어 소스의 결과가 재현될 가능성을 나타냅니다.
• 통계적 유의미함이 60% 미만으로 판명될 경우, 대시보드는 백분율 대신 신뢰할 수 없는 결과를 표시합니다.
• 유의미함은 오디언스 크기, 실험 기간, 그리고 미디어 소스의 퍼포먼스에 의해 영향을 받습니다.

성과 증분 측정 대시보드 접근 방법:

1. 앱스플라이어의 사이드 메뉴에서 최적화 > 성과 증분 측정을 선택하세요.
2. 실험 목록에서 해당 실험의 행을 클릭하여 대시보드를 볼 수 있습니다.

"리포트 구조의 기본 논리는 다음과 같습니다:"

• 실험 참가자들—처음 확인된 리포트
  • "오디언스에서 실험에 포함될 사용자를 구분하는 규칙이 설정됩니다."
  • "규칙에 부합하는 특정 사용자가 확인되면, 해당 이벤트는 first_seen 리포트에 기록됩니다." 
    • is_control_group 필드에 의해 사용자들은 무작위로 테스트 그룹이나 대조 그룹으로 배정됩니다.
    • 테스트 그룹의 사용자들은 리타겟팅 목적으로 특정 미디어 소스(pid_destination)에 배정됩니다.
• 앱 내 사용자 인게이지먼트: 실험 기간 중 앱과의 사용자 인게이지먼트는 상황에 따른 보고서에 기록됩니다: 
  • 인게이지먼트 유형: 세션 혹은 인앱 이벤트
  • 처음 보게 되는 순간의 사용자 어트리뷰션 상태: 오가닉, 논오가닉, 재어트리뷰션. 예를 들어 과거에 사용자가 앱을 설치했고 그때 오가닉으로 어트리뷰션되었다면, 실험 기간 동안 해당 사용자의 어트리뷰션 상태는 오가닉으로 간주됩니다.  
• 앱 삭제: 실험 기간 동안 앱을 삭제하는 사용자들. 앱 삭제 측정 기능이 활성화되어 있어야 합니다. 

리포트 유형에 따라 필드 사용 가능 여부가 달라집니다:

성과 증분 측정에만 특화된 필드들(리포트 유형별)

성과 증분 측정 리포트별 기타 필드들