Incrementality 가이드

프리미엄

한눈에 보기: 리타겟팅 캠페인으로 발생한 성과 증분을 측정합니다.

성과 증분 측정이란?

성과 증분 분석을 이해하기 쉽게 예시를 들어보겠습니다.

최근에 리마케팅 캠페인을 실행했다고 가정합시다. 간단히 설명하기 위해 하나의 애드 네트워크만을 사용했다고 합시다. 해당 캠페인의 전환율은 5%였습니다.

이 캠페인의 성과를 평가하기 위해 필요한 중요하고 (어렵기도 한) 질문들이 있습니다.

  • 이 캠페인에 있어 5%의 전환율은 좋은가요?
  • 캠페인이 실제로 추가 전환을 유도했는지 어떻게 알 수 있을까요?
  • 캠페인 운영 비용 대비 가치가 있었습니까?

이 질문들에 정확하고 중립적으로 답하기 위해서는 측정된 전환 총계만 고려해서는 안 됩니다. 리마케팅 캠페인을 전혀 접하지 않았어도 자연스럽게 전환했을 사용자 수도 고려해야 합니다.

총 전환 수와 해당 캠페인 없이도 원래 발생했을 전환 수의 차이가 바로 성과 증가분(또는 간단히 "리프트"라고 함)이며, 이는 캠페인의 실제 가치를 확인하는 데 매우 중요합니다. 캠페인이 기여한 순 성과 증가분을 측정하기는 어렵지만, 앱스플라이어의 성과 증분 측정 솔루션이 바로 이런 목적을 위해 설계되었습니다.

성과 증분 측정 실험

성과 증분 측정 솔루션은 비슷한 그룹 간의 행동을 비교할 수 있는 과학적으로 타당한 실험을 생성하여 성과 증분을 측정하도록 지원합니다. 이 실험에서 유사 유저 집단을 둘로 나눕니다. 한 그룹("실험군")은 캠페인에 노출되지만, 한 그룹("통제군")은 노출되지 않습니다.

성과 증분 측정 실험 생성 및 실행 자세히 보기

계산 방법론

아래 섹션들은 성과 증분 측정 대시보드에서 보고된 수치들이 어떻게 계산되는지 설명합니다.

증분

앱스플라이어 성과 증분 측정은 증분(증가분)을 계산하기 위해 두 가지 방법을 활용합니다:

  • 치료 의향 분석(ITT, intent-to-treat, 실험도중 탈락한 피험자까지 포함하여 통계를 처리하는 방법)
  • 도달 기준 분석(reach-based)

캠페인 성과를 평가하기 위해 도달 기준 분석론이 선호되지만, 계산에 필요한 데이터 포인트를 모든 애드 네트워크가 제공하지 않습니다. 이러한 네트워크의 경우 치료 의향 분석론이 대신 사용됩니다.

 참고

2021년 12월 16일 이전에는 치료 의향 분석론으로 증분을 계산했습니다. 그러나, 그 이전 날짜의 데이터는 적용 가능한 경우에 도달 기준 분석법으로 얻은 증분으로 업데이트되었습니다. 따라서, 새로운 방법을 적용하여 이전 실험 결과를 분석할 수 있습니다. 

ITT 기반 증분

ITT(Intent-to-treat, 치료 의향 분석)는 원래 임상 실험에 사용되는 방법론입니다. ITT 방법을 통해 연구자들은 특정 집단을 치료하지 않는 대조군과 치료 예정인 시험군으로 무작위 분할합니다. 연구자들은 두 그룹의 결과를 비교해 해당 치료의 효과를 평가합니다. 시험군 구성원이 실제로 치료를 받았는지는 고려 대상이 아닙니다.

리마케팅에서도 증분 지표는 캠페인의 효과를 측정하는 데 사용됩니다. 시험군 내 유저가 캠페인에 실제로 참여했는지(임상실험의 경우 치료를 받았는지)는 중요하지 않습니다. 중요한 것은 성과 증분을 계산할 때의 의도입니다. 즉, 모든 시험군 구성원이 캠페인에 참여한 것으로 가정하여 결과를 계산합니다.

사용되는 경우는?

앱스플라이어의 성과 증분 측정은 SRN에 대해 ITT 방식으로 증분을 계산합니다.

본 문맥에서 선호되는 방식은 아니지만, ITT는 과학적으로 탄탄한 실험 방법으로, 도달 기반 계산이 가능하지 않을 때 유효한 결과를 제공합니다.

결과 해석

기본적으로 시험군의 모든 구성원이 캠페인에 도달했다고 가정하면, 전환율이 낮아 결과적으로 성과 증가분도 낮아집니다.

도달 기반 증분

이름에서 알 수 있듯이, 도달 기반 증분 계산은 캠페인이 시험군 구성원에게 실제로 도달했는지 (캠페인 광고가 제공됐는지)를 고려합니다. 추가 데이터가 필요할 뿐 아니라, 도달 기반 증분 계산 방식은 대조군을 통계적으로 타당하게 조정해야하는데, 이는 더 복잡한 작업입니다. 이러한 조정은 "실제 현상과 반대의 경우를 가정한" 대조군을 만드는 작업으로 알려져 있습니다.

사용되는 경우는?

앱스플라이어의 성과 증분 측정은 어트리뷰션-링크 네트워크인 비-SRN에 대해 리치 기반 리프트 계산을 사용합니다.

리치 기반 계산이 리프트를 계산하는 데 선호되는 방법이지만, 광고 네트워크가 앱스플라이어에 다음과 같은 데이터를 보고해야 합니다:

  • 노출 데이터
  • 캠페인 ID (어트리뷰션 링크 기반)

이 데이터가 보고되지 않을 경우, 성과 증분 측정은 불가능하며(성과 증분 대시보드에서 N/A로 표시됩니다).

결과 해석

범위 기반으로 한 증분 측정이 캠페인에 의해 실제로 접근된 테스트 그룹 구성원만을 고려하기 때문에, 이 방식을 사용하는 네트워크는 대체로 결과가 증폭되는 경향이 있습니다(양수(+) 증분값은 훨씬 더 높아지고, 음수(-) 증분값은 훨씬 더 낮아집니다 ).

모범 활용 사례

두 가지 다른 증분 계산 방법이 크게 다른 결과를 낳을 수 있으므로, 결과 해석을 더 의미있게 만들기 위한 다음과 같은 모범 답안을 권장합니다.

  • 실험을 설계할 때, 통제군과 실험군은 동일 유형의 네트워크 유저를 대상으로 나누세요. 네트워크 유형은 다음과 같습니다.
    • 도달 기반 증분 계산: 어트리뷰션 링크를 사용하는 비 SRN
    • ITT 계산: SRN(self-reporting network)
  • 초기 실험에서는 단 하나의 네트워크와 단 하나 통제군을 사용하는 것이 바람직합니다. 이렇게 하면 서로 다른 증분 계산을 사용하는 두 개 이상의 네트워크 간 비교가 이루어질 가능성이 낮아집니다.

통계적 유의성(statistical significance)

증분 실험의 타당성을 평가할 때 우리는 통계적 유의성(증분 결과가 무작위 이벤트나 우연이 아니라는 확신 수준)을 고려해야 합니다.

증분 대시보드에서, 각 미디어 소스별 유의성은 백분율로 보고됩니다:

  • 해당 백분율은 유사한 상황에서 실험을 다시 수행할 경우 그 미디어 소스의 결과가 재현될 가능성을 나타냅니다.
  • 통계적 유의미함이 60% 미만으로 판명될 경우, 대시보드는 백분율 대신 신뢰할 수 없는 결과를 표시합니다.
  • 유의미함은 오디언스 크기, 실험 기간, 그리고 미디어 소스의 퍼포먼스에 의해 영향을 받습니다.

확대된 통제군

실험군 수준 지표(사용자 별 지표과 반대로)에 있어서, 증분은 확대된 제어 그룹에 기반하여 산출됩니다. 즉, 통제군의 크기가 각 미디어 소스의 통제군 크기와 일치하도록 조정됩니다.

 예시

다음 시나리오를 가정합니다:

  • 네트워크 A의 테스트 그룹 규모 = 100명
  • 통제군 규모 = 90명
  • 실험 결과:
    • 네트워크 A는 40회 전환을 달성했습니다
    • 통제군에서는 20회의 전환을 달성했습니다
  • 총 전환 수는 100명으로 가정된(확대된) 제어 그룹 크기에 따라 조정될 것입니다:
    • 가정된 회원수 - 실제 회원수 = 100 - 90 = 11%           
                        실제 회원 수                              90명

    • 실제 증분 전환 + 11%는 20 x 1.11 = 22입니다

리프트는 100명의 컨트롤 그룹 크기 및 22개의 증분 전환을 기준으로 계산됩니다.

성과 증분 측정 대시보드

New_Incrementality_Guide_image.jpg

대시보드 조회하기

성과 증분 측정 대시보드 접근 방법:

  1. 앱스플라이어의 사이드 메뉴에서 최적화 > 성과 증분 측정을 선택하세요.
  2. 실험 목록에서 해당 실험의 행을 클릭하여 대시보드를 볼 수 있습니다.

대시보드 안내

  구성 요소 설명

A.png

필터 표시줄

측정 기준: 대시보드에서 조회하고 싶은 메트릭을 선택하세요:

  • 전환 – 선택한 이벤트를 수행한 고유 사용자 수
  • 수익 – 선택한 이벤트로 전환된 사용자가 생성한 수익
  • 이벤트 – 전환된 사용자가 수행한 선택된 이벤트의 발생 횟수

측정 필터 내의 선택이 대시보드 곳곳에 나타나는 메트릭에 영향을 줍니다.

 

이벤트: 대시보드에서 확인하고 싶은 인앱 이벤트를 선택하세요.

 

미디어소스: 실험에서 테스트된 하나 이상의 매체 소스로 대시보드 화면을 필터링합니다.

 

날짜 범위: 선택된 날짜 범위에 따라 오디언스의 증분 분석을 필터링합니다.

B.png

실험 요약

간결하고 한눈에 확인 가능한 결과로 전체 실험을 요약합니다.

 

C.png

유의성 타일 대시보드에서 보여지는 결과의 통계적 유의성을 보여줍니다

D.png

헤드라인 지표 타일

측정 필터에서의 선택에 따라 어떤 메트릭이 표시될지 결정됩니다.

측정 필터 선택 표시된 주요 메트릭
전환수/이벤트수

증분 행동당 비용(CPiA)

  • 캠페인 비용을 바탕으로 한 증분 이벤트의 평균 비용
수익
증분 광고비 수익률(iROAS)
  • 캠페인비 지출 대비 생성된 증분 수익의 비율

참고: 주요 타일에 표시된 메트릭 계산에는 비용 데이터가 필요합니다. 이 메트릭들은 ROI360 구독자에 한해서만 사용할 수 있습니다. 만약 필요한 비용 및/또는 수익 데이터가 이유 때문에 사용할 수 없을 경우, 관련 메트릭은 N/A로 나타납니다.

E.png

목표 크기 및 도달 공간

목표 크기: 실험 기간 동안 각 미디어 소스별로 처음 오디언스에 추가된 고유 사용자 수

  • 원형 차트의 내부 링(더 어두운 색상)으로도 표현됩니다

도달 범위: 해당 미디어 소스의 캠페인에서 실제로 광고를 본 타겟의 비율

  • 원형 차트의 외부 링(더 밝은 색상)으로도 표현됩니다

F.png

테스트 그룹 수준의 성과 증가분 타일

테스트 그룹(미디어 소스별로)의 전체 증가분 지표와 성과 증가분을 보여줍니다:

측정 필터 선택 표시되는 지표
Conversions

전체 증가분 전환 수

이벤트
전체 증가분 이벤트 수
수익
전체 증가분 수익

G.png

사용자별 증가분 타일

(미디어 소스별로) 사용자별 증가분 지표와 성과 증가분을 보여줍니다:

  • 사용자별 증가분 성과는 테스트 그룹과 제어 그룹의 실제 사용자 수를 사용하여 계산됩니다.
  • 측정 필터에서의 선택에 따라 어떤 메트릭이 표시될지 결정됩니다.

측정 필터 선택 표시되는 지표
Conversions

전환 증가분 비율

이벤트
사용자당 증가분 이벤트 수
수익
사용자당 증가분 수익

H.png

트렌드 차트

실험 기간 동안 선택한 사용자별 증가분 지표/성과를 표시합니다:

  • 표시되는 지표는 측정 필터에서의 선택에 따라 결정되며, 사용자별 증가분 타일에 보이는 지표와 같습니다.
  • 차트 뷰에서 점선은 보고된 날짜에 대한 부분 데이터를 나타내며(미래의 이벤트가 데이터에 여전히 영향을 미칠 수 있음을 의미함).
  • 트렌드 차트 뷰 컨트롤을 사용해 다양한 조회 및 다운로드 옵션을 선택하세요(바로 아래에서 더 자세히 설명됩니다).

I.jpg

트렌드 차트 보기 컨트롤

트렌드 차트 디스플레이 및 다운로드 옵션을 선택하기 위한 뷰 컨트롤을 사용하세요:

  • 누적 또는 당일 기준 값
  • 차트 또는 표 형식

내보내기 버튼을 이용해 데이터를 CSV 포맷 리포트로 다운로드할 수 있습니다.

  • 뷰 컨트롤을 통한 선택에 따라 다운로드되는 데이터가 결정됩니다: 누적 혹은 당일

리포트 용어 설명

용어 설명
원시 측정값 실험 그룹이 생성한 전환/이벤트/수익의 총량, 노출 여부와 관계없이 (분할 구성에 따라 각 사용자에게 할당된 네트워크만을 기반으로 함).
도달 측정값 실험 그룹에서 기본 이벤트를 유발하기 전에 선택된 캠페인에 대한 노출을 받은 사용자로부터 생성된 전환/이벤트/수익량.
미도달 측정값 원본 측정값에서 도달 측정값을 차감한 값. "테스트 그룹 사용자들이 기본 이벤트를 발생시키기 전 아무런 인상도 받지 않았을 때 생성된 전환\/이벤트\/수익의 총합을 설명합니다."
"사용자별 측정" "선택된 네트워크가 도달을 지원하는지 여부에 따라, 테스트 그룹의 도달\/로데이터 측정치를 테스트 그룹의 크기 또는 도달로 나눈 값을 말합니다."
"제어 그룹 로데이터 측정치" "제어 그룹에 의해 발생된 전환\/이벤트\/수익의 총액을 나타냅니다."
"제어 그룹 도달 측정치" "테스트 그룹의 도달을 고려해 조정된 제어 그룹으로부터 발생된 전환\/이벤트\/수익량입니다(이 값은 비교를 위한 반사실적으로 사용됩니다)."
"제어 그룹 미도달 측정치" "로데이터 측정치에서 도달 측정치를 차감한 값입니다." "제어 그룹 사용자가 발생시킨 전환\/이벤트\/수익의 전체 합계를 기술합니다."
"제어 그룹 사용자별 측정치" "선택된 네트워크가 도달을 지원하는지에 따라 달라지는, 제어 그룹의 도달\/로데이터 측정값을 제어 그룹의 크기 또는 도달 범위로 나눈 값을 말합니다."
"전체 증분 측정치" "테스트 그룹의 도달 측정치에서 제어 그룹의 도달 측정치를 뺀 값입니다."
"사용자별 증분 측정치" "사용자별 측정치에서 제어 그룹의 사용자별 측정치를 뺀 값입니다."

 

로데이터(Raw data) 보고서

"성과 증분 측정 리포트를 활용해 사용자들의 리마케팅 캠페인과의 상호작용을 분석해 보세요:"

"성과 증분 로데이터 파일 예시 다운로드"

"사용 가능 리포트"

카테고리 리포트 이름 

"데이터 락커 폴더"

"첫 확인"

"처음 확인된 사용자"

incrementality_first_seen_users

인앱 이벤트

오가닉 인앱 이벤트

incrementality_organic_inapps

논오가닉 인앱 이벤트

incrementality_inapps

인앱 이벤트 재속성 평가

incrementality_inapps_reattr

세션

 

 

오가닉 세션

incrementality_organic_sessions

논오가닉 세션

incrementality_sessions

세션 리어트리뷰션

incrementality_sessions_reattr

앱 삭제

앱 삭제
(현재 채워지지 않음) 

incrementality_uninstalls

보고서 로직

"리포트 구조의 기본 논리는 다음과 같습니다:"

  • 실험 참가자들—처음 확인된 리포트
    • "오디언스에서 실험에 포함될 사용자를 구분하는 규칙이 설정됩니다."
    • "규칙에 부합하는 특정 사용자가 확인되면, 해당 이벤트는 first_seen 리포트에 기록됩니다." 
      • is_control_group 필드에 의해 사용자들은 무작위로 테스트 그룹이나 대조 그룹으로 배정됩니다.
      • 테스트 그룹의 사용자들은 리타겟팅 목적으로 특정 미디어 소스(pid_destination)에 배정됩니다.
  • 앱 내 사용자 인게이지먼트: 실험 기간 중 앱과의 사용자 인게이지먼트는 상황에 따른 보고서에 기록됩니다: 
    • 인게이지먼트 유형: 세션 혹은 인앱 이벤트
    • 처음 보게 되는 순간의 사용자 어트리뷰션 상태: 오가닉, 논오가닉, 재어트리뷰션. 예를 들어 과거에 사용자가 앱을 설치했고 그때 오가닉으로 어트리뷰션되었다면, 실험 기간 동안 해당 사용자의 어트리뷰션 상태는 오가닉으로 간주됩니다.  
  • 앱 삭제: 실험 기간 동안 앱을 삭제하는 사용자들. 앱 삭제 측정 기능이 활성화되어 있어야 합니다. 

데이터 특성 및 필드

리포트 유형에 따라 필드 사용 가능 여부가 달라집니다:

성과 증분 측정에만 특화된 필드들(리포트 유형별)

필드 설명 처음 보기 인앱 이벤트 세션 앱 삭제
is_control_group 사용자가 제어 그룹에 속해 있으면 참입니다 Y Y Y Y
pid_destination 사용자를 안내한 미디어 소스  Y Y Y Y
audience_id 고유 식별자 Y Y Y Y
joined_audience_date 사용자가 오디언스에 최초로 참여한 날짜 Y Y Y Y
audience_name 오디언스 이름(고유값 아님)  Y Y Y Y
tm 일일 시간   Y Y Y
타임 스탬프 이벤트 타임스탬프 YYYY-MM-DD HH:MM   Y Y  
app_ids 오디언스 규칙에 연결된 앱 ID들 Y      

성과 증분 측정 리포트별 기타 필드들

필드 표시될 이름* 처음 보기 인앱 이벤트 세션 앱 삭제
advertising_id 광고 ID(GAID) Y Y Y Y
android_id 안드로이드 ID   Y Y  
app_id 앱 ID Y Y Y Y
app_name App Name   Y Y  
app_version App Version   Y Y  
appsflyer_id 앱스플라이어 ID   Y Y Y
revenue_alt 앱 별 통화   Y    
bundle_id 번들 ID   Y Y  
country 국가 코드   Y Y Y
currency 통화 코드   Y Y Y
CUSTOMER_USER_ID Customer User ID   Y Y  
브랜드 Device brand   Y Y  
device_category 기기 범주   Y Y  
모델 기기 모델명   Y Y  
디바이스 모델 기기 모델명   Y Y  
device_type 기기 유형   Y Y  
event_name 이벤트 이름   Y Y Y
event_revenue 이벤트 수익   Y    
event_revenue_currency Event Revenue Currency   Y    
event_revenue_u_s_d 이벤트 수익 USD   Y    
event_time Event Time   Y Y Y
event_value 이벤트 값(event value)   Y Y  
idfa IDFA Y Y Y Y
idfv IDFV   Y Y  
imei IMEI   Y Y  
is_purchase_validated 영수증 확인 상태   Y    
os_version OS Version   Y Y  
platform 플랫폼   Y Y Y
sdk_version SDK Version   Y Y  
* 로데이터 사양에 따라

성과 증분 측정의 세부 사항 및 제약사항

특징 비고 
애드 네트워크 접근 이용 불가
에이전시 접근 이용 불가. 성과 증분 측정은 광고주 계정에만 사용 가능합니다.

 

에이전시의 투명성 에이전시 투명성 기능이 활성화된 에이전시가 진행하는 캠페인 측정이 가능합니다.
시간대 UTC
통화 USD
오가닉 데이터 있음
논오가닉 데이터 있음
데이터의 신선도

대시보드: 매일 UTC 18:00에 전날 데이터로 업데이트됨

데이터 락커의 로데이터 리포트: 매일 UTC 19:00-23:00에 전날 데이터로 업데이트됨

역사적 데이터

해당사항 없음

계정 사용자 액세스 가능함 (계정 권한에 따름)