Data Clean Room - 소스 작업

소스 내의 데이터는 다음 요구 사항을 충족해야 합니다.

• 날짜와 시간:
  • 형식: yyyy-MMM-dd hh:mm:ss (예시, 2023-APR-18 15:30:35)
  • 시간대: UTC
• 숫자: 소수점 이하 최대 2자리
• 문자열 길이: 최대 256자
• 문자 제한:
  • 필드 이름(열 머리글): 공백 또는 특수 문자 없음
  • 기타 모든 데이터: 제한 없음(모든 문자가 유효함)

처리를 위해 공유되는 데이터 외에도 BigQuery 또는 Snowflake의 소스 테이블에는 2개의 추가 열인 날짜 및 버전이 포함되어야 합니다.

• 날짜:
  • 열 헤더: dt
  • 열 유형: 날짜
  • 데이터 형식: yyyy-mm-dd (예, 2023-04-18)
  • 추가 사항: BigQuery 테이블은 상기 열로 분할되어야 합니다.
• 버전:
  • 열 헤더: v
  • 열 유형: 문자열
  • 데이터 형식: 숫자(예, 1, 2, 3, 10)
  • 중요! DCR이 이 열에서 새 값을 검색할 때마다 새 버전의 리포트가 트리거됩니다. 리포트의 완전성을 보장하려면 열 값이 변경될 때마다 원본 테이블을 전체 데이터 집합으로 채워야 합니다.

Amazon S3 또는 GCS에 저장된 소스 파일은 다음 파일 이름 및 형식 요구 사항을 충족해야 합니다.

• 파일 이름은 DCR 이름 지정 요구 사항을 준수해야 합니다.
• CSV 또는 GZIP 형식
  • GZIP 압축의 기반 파일은 CSV 파일이어야 합니다.
• 데이터 폴더당 데이터 소스 파일 수:
  • CSV: 최대 1개
  • GZIP: 최대 1개의 단일 파트 파일. 다중 부분 GZIP 파일은 다음과 같이 이름이 지정될 때 지원됩니다. filename _part01.gzip, filename_part02.gzip 등.

1. Data Clean Room의 소스 탭으로 이동합니다.
2. + 새 소스 버튼을 클릭합니다.
   새 소스 페이지가 열립니다.
3. 왼쪽 상단 모서리에 소스 이름을 입력합니다.
   • 이것은 DCR 플랫폼 내에서 소스를 식별하는 데 도움이 되는 고유한 이름일 수 있습니다. 파일 이름과 일치할 필요는 없습니다.
   • 중요! 소스 이름이 계정의 다른 모든 소스와 다른지 확인하십시오. 그렇지 않으면 소스를 저장할 수 없습니다.
   • 소스 이름 요구 사항:
     • 길이: 2-80자
     • 유효한 문자:
       • 문자 (A-Z, a-z)
       • 숫자 (0-9), 이름의 첫 문자가 될 수 없습니다
     • 유효하지 않은 문자:
       • 공백
       • 기타 모든 기호 또는 특수 문자

소스 위치를 지정하는 방법:

1. 소스가 생성될 (또는 생성된) 연결을 선택합니다.
   • 계정에 정의된 연결이 없는 경우 새 연결 대화 상자가 열리고 연결을 만들라는 메시지가 표시됩니다. 상기 지침에 따라 만드십시오.
   • 기존 연결이 있지만 새 연결을 사용하려면 버튼을 클릭하여 새 연결 대화 상자를 엽니다.상기 지침에 따라 만드십시오.
2. 소스에 대한 데이터가 있는 위치에 따라 아래의 관련 지침을 따라 계속 진행합니다.

BigQuery의 소스 위치

BigQuery 소스의 소스 위치 지정을 완료하려면 다음 안내를 따르십시오.

1. 소스 테이블이 있는 데이터 집합을 선택합니다.
2. 소스 데이터가 있는 테이블을 선택합니다.

이러한 선택 목록에는 연결을 만들 때 지정한 BigQuery 프로젝트에서 각각 사용 가능한 데이터 세트와 테이블이 포함됩니다.

Snowflake의 소스 위치

Snowflake 소스에 대한 소스 위치 지정을 완료하려면:

1. 소스 데이터가 포함된 공유를 선택합니다.
2. 소스 테이블이 있는 스키마를 선택합니다.
3. 소스 데이터가 있는 테이블을 선택합니다.

이러한 선택 목록에는 연결을 생성할 때 지정한 Snowflake 계정의 공유, 스키마 및 테이블이 각각 포함됩니다.

Cloud Storage 버킷의 소스 위치

Amazon S3 또는 GCS의 소스 위치는 연결에서 지정한 클라우드 스토리지 버킷과 DCR이 업데이트될 때마다 소스 파일을 읽는 기본 폴더 경로로 구성됩니다. 

연결을 지정하면 앱스플라이어는 소스 생성 프로세스의 일부로 필요한 기본 폴더 경로를 자동으로 생성할 수 있습니다.

• 앱스플라이어가 폴더를 생성하도록 허용하면 프로세스가 쉬워집니다. 그러나 여기에 자세히 설명된 지침에 따라 대신 수동으로 생성하도록 선택할 수 있습니다.

앱스플라이어에서 폴더를 생성하는 경우 필요한 추가 정보는 소스 폴더에 지정할 이름뿐입니다. (이 폴더는 새 리포트 버전을 실행하는 데 사용할 때마다 원본을 업데이트하는 최상위 폴더입니다.) 또한 원본 폴더를 상위 폴더, 대개 이름이 지정된 입력 아래에 만들 것인지 여부를 지정할 수 있습니다.

Cloud Storage 버킷에서 소스 위치 지정을 완료하려면 소스 폴더 이름을 입력합니다.

• 기본적으로 표시된 소스 폴더 이름은 다음과 같습니다.
  • 소스에 지정한 이름을 기반으로 합니다. DCR 이름지정 요구 사항을 준수하는 한 필요에 맞게 폴더 이름을 변경할 수 있습니다.
  • 입력이라는 상위 폴더 내에서 생성됨을 나타냅니다.이 폴더는 DCR에 업로드하는 모든 소스의 상위 폴더 역할을 합니다.
    • 입력 폴더는 필요하지 않으며 DCR 이름지정 요구 사항을 준수하는 한 제거하거나 다른 이름을 지정할 수 있습니다.
    • 이 폴더가 필수는 아니지만 입력 폴더(또는 다른 이름의 동등한 폴더)를 가지는 것이 가장 좋은 방법입니다. 이 방법은 데이터 파일 업로드(입력)와 리포트 수신(출력)에 동일한 클라우드 스토리지 버킷을 사용하는 경우 더욱 권장됩니다.

처리를 위해 DCR와 공유하는 모든 소스에 대해 앱스플라이어는 리포트를 생성하기 위해 각 데이터 필드를 어떻게 사용해야 하는지 알아야 합니다. 소스 구조 정의는 다음과 같이 구성됩니다.

• 소스 필드 로드하기
• 각 필드 (열)를 다음 유형 중 하나로 분류:
  • 식별자: 고유한 앱 사용자를 식별하는 필드(예에는 CUID, 앱스플라이어 ID 등이 포함될 수 있음).
    • DCR의 컨텍스트에서 식별자의 주요 목적은 해당 사용자 수준 데이터가 일치될 수 있도록 데이터 소스를 결합하는 것입니다.
  • 기준: 앱 사용자를 분류하는 속성(예를 들어 지역, 인스톨 날짜, 캠페인 등)
  • 지표: 앱 사용자와 관련하여 수집한 수치 데이터(예로는 수익, 앱 열기 횟수, LTV 등이 포함될 수 있음.)
    • 지표로 식별된 데이터 필드에는 숫자 값만 포함될 수 있습니다.

소스 필드 로드하기

아래의 관련 지침을 사용하여 소스 필드를 로드합니다.

데이터 웨어하우스 소스

데이터 웨어하우스(BigQuery 또는 Snowflake)에 있는 소스에서 필드를 로드하려면 버튼을 클릭합니다.

Cloud Storage 버킷 소스

클라우드 스토리지 버킷(Amazon S3 또는 GCS)에 있는 소스에서 필드를 로드하려면 프로토타입 소스 파일을 업로드해야 합니다.

소스 구조를 정의하기 위해: 

• 로컬 파일에서 소스의 프로토타입 버전을 업로드할 수 있습니다.
  • 이 옵션을 선택하면 앱스플라이어는 항상 소스 폴더 경로를 자동으로 생성합니다.

                                                                - 또는 -

• 해당 연결에서 직접 소스 파일의 프로토타입 버전을 업로드할 수 있습니다.
  • 이 옵션을 선택하면 다음을 추가로 선택할 수 있습니다.
    • 앱스플라이어가 소스 폴더 구조를 자동으로 생성하도록 허용하거나
    • 소스 폴더 구조를 수동으로 생성하도록 합니다

프로토타입 소스 파일을 업로드하려면 아래 관련 탭의 지침을 따르십시오.

필드 분류

필드를 로드하면 앱스플라이어가 파일을 분석하고 모든 데이터 필드(열)의 목록이 사용 가능한 필드 목록에 표시됩니다.

필드 분류 방법:

1. 왼쪽에 있는 사용 가능한 필드 목록에서 필드를 하나 이상 선택하고 화면 중앙에 있는 버튼을 사용하여 필드를 식별자, 기준 또는 지표로 분류합니다.
   • 필드를 분류하면 결과가 화면 오른쪽의 해당 카테고리 목록에 표시됩니다.
   • 검색 창을 사용하여 목록에서 필드를 검색할 수 있습니다.
   • 할당된 카테고리에서 필드를 제거하려면 관련 카테고리 목록에서 필드를 선택하고 제거 버튼을 사용하여 사용 가능한 필드 목록으로 돌아갑니다.
2. DCR 리포트에 포함하려는 각 필드를 분류할 때까지 이 프로세스를 반복합니다.
   • 사용 가능한 필드 목록의 모든 필드를 분류할 필요는 없습니다. 그러나 나중에 리포트에 사용하려면 필드를 분류해야 합니다.
3. 소스를 저장하기 전에 소스를 편집하고 편집된 소스 데이터의 필드를 사용하려면 사용 가능한 필드 목록 아래에 있는 필드 재로드 링크를 클릭합니다.
   • 소스를 다시 로드하면 사용 가능 필드 목록에 필드 이름을 덮어쓴다는 것을 알아두십시오. 이전에 분류한 모든 필드는 식별자, 기준 또는 지표 목록에 남아 있습니다.
   • 이전에 분류된 필드가 다시 로드된 소스 데이터에 없는 경우 관련 카테고리 목록에 계속 표시되지만 오류 아이콘과 함께 표시됩니다.

1. [선택사항] 을 클릭하여 소스 필드의 형식 또는 유효성 오류를 확인합니다.
2. 저장을 클릭하여 소스를 저장합니다.

   소스가 생성되고 확인 메시지가 표시됩니다.

   • 로컬 파일에서 소스를 업로드한 경우 소스를 저장하면 폴더 구조가 자동으로 생성되고 표시되는 확인 메시지에 소스 폴더에 대한 링크가 포함됩니다.

   새 소스는 Data Clean Room의 소스 탭에 있는 모든 기존 소스 목록에 표시됩니다.

중첩된 하위 폴더의 구조는 다음과 같습니다.

• 소스 폴더 내 --> 각 날짜에 대한 1개의 하위 폴더("날짜 폴더")
  • 형식: dt=yyyy-mm-dd/
  • 예시: dt=2022-12-15/
• 각 날짜 폴더 내 --> 해당 날짜의 각 버전에 대한 1개의 하위 폴더("버전 폴더")
  • 형식: v=n/
  • 예시: v=1/
  • 일러두기: 하루에 한 번만 파일을 업로드하더라도 버전 폴더는 필수입니다.
• 각 버전 폴더 내 --> 데이터 위치를 나타내는 1개의 하위 폴더("데이터 폴더")
  • 형식: 데이터/
  • 데이터 폴더는 소스 파일이 업로드되는 위치입니다.

대부분의 경우 API 호출 또는 기타 사용 가능한 프로그래밍 방식을 사용하여 데이터 소스 파일이 업로드될 때마다 날짜/버전/데이터 폴더를 자동으로 생성합니다. 추가 정보는 클라우드 서비스에 대한 API 참조( AWS, GCS)를 참조하십시오.

소스 파일을 데이터 폴더로 업로드하는 것이 완료되면 _SUCCESS라는 빈 파일을 버전 폴더에 업로드해야 합니다. 이를 통해 새 파일을 처리할 수 있음을 앱스플라이어에 알립니다. 대부분의 경우 API 스크립트를 사용하여 이 파일을 자동으로 생성하고 업로드하게 됩니다.

중요! _SUCCESS 파일은 데이터 폴더 외부의 버전 폴더에 업로드됩니다.

_SUCCESS 파일의 파일 이름:

• 모두 대문자여야 합니다.
• 밑줄(_)이 앞에 와야 합니다.
• 파일 확장자가 없어야 합니다.

다중 파트 GZIP 파일의 경우:

• 모든 파일 부분에 대해 하나의 _SUCCESS 파일만 업로드해야 합니다.
• _SUCCESS 파일은 모든 파일 부분 업로드가 완료된 후에만 업로드해야 합니다.

2일 동안 소스 파일을 업로드하고 (프로그래밍 방식으로 날짜/버전/데이터 폴더 및 _SUCCESS 파일을 생성한 후) 버킷/폴더는 다음과 같은 구조를 가질 수 있습니다.

소스 이름을 편집하는 방법:

1. Data Clean Room의 소스 탭으로 이동합니다.
2. 소스 목록에서 편집하려는 소스 행 위로 마우스를 가져갑니다.
3. 행의 오른쪽에 표시되는 편집 버튼 을 클릭합니다.
4. 소스 편집 페이지에서 소스 이름을 편집합니다.
5. 저장 버튼을 클릭하여 소스를 새 이름으로 저장하거나 취소를 클릭하여 변경 사항을 취소합니다.

소스 구조를 편집하는 방법:

1. Data Clean Room의 소스 탭으로 이동합니다.
2. 소스 목록에서 편집하려는 소스 행 위로 마우스를 가져갑니다.
3. 행의 오른쪽에 표시되는 편집 버튼 을 클릭합니다.
4. 소스 편집 페이지의 화면 오른쪽의 관련 카테고리 목록에 이전에 식별자, 기준 또는 지표로 분류되었던 필드가 표시됩니다.
5. 소스 파일에서 필드를 다시 로드하지 않고 이전에 분류된 필드를 다른 카테고리로 이동할 수 있습니다. 설정 방법:
   1. 먼저 관련 카테고리 목록에서 그것을 선택하고 제거 버튼을 사용하여 사용 가능한 필드 목록으로 되돌립니다.
   2. 다음으로 사용 가능한 필드 목록에서 그것을 선택하고 화면 중앙에 있는 버튼을 사용하여 식별자, 기준 또는 지표로 분류합니다.
6. 아직 분류되지 않은 소스 파일의 필드로 작업하려면 소스 위치 또는 로컬 파일에서 필드에서 다시 로드해야 합니다. 사용 가능한 필드 목록 하단에 있는 필드 재로드 링크를 클릭하여 선택합니다.
7. 앱스플라이어는 파일을 분석하고 이전에 분류되지 않은 모든 데이터 필드(열) 목록이 사용 가능한 필드 목록에 표시됩니다.
   • 이전에 식별자, 기준 또는 지표로 분류된 필드는 화면 오른쪽의 관련 카테고리 목록에 계속 표시됩니다.
   • 이전에 분류된 필드가 다시 로드된 소스 파일에 없는 경우 관련 카테고리 목록에 계속 표시되지만 오류 아이콘과 함께 표시됩니다.
8. 왼쪽에 있는 사용 가능한 필드 목록에서 필드를 하나 이상 선택하고 화면 중앙에 있는 버튼을 사용하여 필드를 식별자, 기준 또는 지표로 분류합니다.
9. 필요한 사항을 모두 변경했으면 저장 버튼을 클릭하여 업데이트된 구조로 소스를 저장하거나 취소를 클릭하여 변경 사항을 취소합니다.

1. Data Clean Room의 소스 탭으로 이동합니다.
2. 소스 목록에서 삭제하려는 소스 행 위로 마우스를 가져갑니다.
3. 행의 오른쪽에 표시되는 삭제 버튼 을 클릭합니다.
4. 대화 상자에서 소스를 삭제하려 한다는 것을 확인합니다.
   • 리포트에서 사용 중인 소스는 삭제할 수 없습니다. 이 경우 메시지에 소스를 사용하는 리포트가 나열됩니다. 소스를 삭제하려면 다음 중 한 가지를 수행할 수 있습니다.
     • 사용 중인 리포트를 삭제합니다. 또는
     • 사용되는 리포트의 정의에서 소스 필드를 제거하십시오.

일반적으로 앱스플라이어가 소스 생성 프로세스의 일부로 필요한 폴더 구조를 자동으로 생성하도록 허용하는 것이 가장 쉽습니다. 그러나 이러한 폴더를 수동으로 만들려면 다음과 같이 해야 할 수 있습니다.

DCR 키 폴더 만들기

최대 보안을 보장하려면 버킷 바로 아래에 있는 폴더("DCR 키 폴더")의 이름을 계정에 할당된 8자의 영숫자 DCR 키(예: 01bcc5fb )로 지정해야 합니다. 이는 AppsFlyer 계정과 연결된 다른 비밀번호 또는 키와는 다릅니다.

DCR 키 폴더는 일반적으로 선택한 클라우드 서비스의 인터페이스를 사용하여 수동으로 생성합니다.

계정의 DCR 키를 얻으려면 기본 DCR 페이지 상단에 있는 DCR 키 버튼을 클릭하십시오.

DCR 키 폴더를 생성한 후 버킷/폴더는 다음과 같은 구조를 가져야 합니다.

최상위 입력 폴더

필수 사항은 아니지만 가장 좋은 방법은 DCR 키 폴더 바로 아래에 최상위 입력 폴더를 만드는 것입니다. 이 폴더는 DCR에 업로드하는 파일을 위한 전용 폴더입니다.

최상위 입력 폴더는 일반적으로 선택한 클라우드 서비스의 인터페이스를 사용하여 수동으로 생성합니다.

• 이 방법은 데이터 파일 업로드(입력) 및 보고서 수신(출력)에 동일한 버킷을 사용하는 경우 더욱 강력히 권장됩니다.
• DCR 이름 지정 요구 사항을 준수하는 조건에서는 이 폴더의 이름을 원하는 대로 지정할 수 있습니다. 쉽게 식별할 수 있도록 일반적으로 이름을 input/로 명명합니다.

최상위 입력 폴더를 만든 후 버킷/폴더는 다음과 같은 구조를 가질 수 있습니다.

각 데이터 소스의 두 번째 수준 폴더

다양한 데이터 소스 파일을 정기적으로 DCR에 업로드하여 처리할 수 있습니다. 이러한 각 데이터 소스에는 별도의 폴더("데이터 소스 폴더")가 할당되어야 합니다.

예를 들어, 매일 처리하기 위해 DCR에 2개의 파일, 즉 BI-data.csv 및 CRM-data.gzip을 업로드하려는 경우, 이러한 각 데이터 소스에 폴더를 할당할 수 있습니다. 이러한 폴더를 BI-data/ 및 CRM-data/라고 부를 수 있습니다.

데이터 소스 폴더는 일반적으로 선택한 클라우드 서비스의 인터페이스를 사용하여 수동으로 생성합니다.

2개의 데이터 소스 폴더를 생성한 후 버킷/폴더는 다음과 같은 구조를 가질 수 있습니다.

각 데이터 소스 폴더에서 소스가 업데이트될 때마다 날짜 및 버전별로 중첩된 하위 폴더를 만들어야 합니다.