Sử dụng Hộp khóa Dữ liệu—dữ liệu thô được gửi vào bộ chứa S3

Khái quát: Hộp khóa Dữ liệu gửi dữ liệu thô vào bộ chứa AWS S3 gần như theo thời gian thực (trễ 6 giờ.) Khối lượng dữ liệu là không giới hạn. Thời gian lưu trữ dữ liệu là 30 ngày. 

Hộp khóa dữ liệu

Các tính năng chính của Hộp khóa dữ liệu

  • Ứng dụng: hỗ trợ nhiều ứng dụng có thể được thêm tự động khi bạn thêm ứng dụng
  • Tính đơn giản: dữ liệu được gửi vào bộ chứa Amazon S3 quản lý các yêu cầu lưu trữ
  • Độ tin cậy: Dữ liệu được lưu trữ trong AWS, đảm bảo tính bền vững của dữ liệu
  • Tính linh hoạt: chọn dữ liệu bạn muốn đưa vào báo cáo theo trường và sự kiện trong ứng dụng
  • Tính chi tiết : Dữ liệu được phân thành các loại báo cáo, ngày và giờ
  • Khả năng tiếp cận: kéo dữ liệu khi cần
  • Tính cập nhật của dữ liệu: Độ trễ 6 giờ khi sử dụng hoặc hàng ngày tùy thuộc vào loại báo cáo.  Thời gian trễ là như nhau (6 giờ) bất kể múi giờ theo ứng dụng cụ thể. 
danh mục Loại báo cáo (chủ đề) Tính cập nhật của dữ liệu* Tự nhiên* Không tự nhiên*
Thu hút người dùng Lượt nhấp Độ trễ 6 giờ - ✓+
Nhắm mục tiêu lại clicks_retargeting Độ trễ 6 giờ - ✓+
Thu hút người dùng lượt hiển thị Độ trễ 6 giờ - ✓+
Nhắm mục tiêu lại impressions_retargeting Độ trễ 6 giờ - ✓+
Thu hút người dùng Lượt cài đặt Độ trễ 6 giờ
Thu hút người dùng inapps Độ trễ 6 giờ
Thu hút người dùng attributed_ad_revenue Daily* -
Thu hút người dùng organic_ad_revenue Daily* -
Nhắm mục tiêu lại retargeting_ad_revenue Daily* -
Nhắm mục tiêu lại conversions_retargeting Độ trễ 6 giờ -
Nhắm mục tiêu lại inapps_retargeting Độ trễ 6 giờ -
Nhắm mục tiêu lại retargeting_sessions Độ trễ 6 giờ - ✓+
Thu hút người dùng Các phiên Độ trễ 6 giờ ✓+ ✓+
Thu hút người dùng Gỡ cài đặt Độ trễ 6 giờ -
Thu hút người dùng organic_uninstalls Hằng ngày ✓+ -
Protect360 blocked_installs Độ trễ 6 giờ -
Protect360 blocked_inapps Độ trễ 6 giờ -
Protect360 blocked_clicks Độ trễ 6 giờ -
Protect360 [FF]post_attribution_installs Hằng ngày -
People-Based Attribution web_events Hằng ngày ✓+ ✓+
People-Based Attribution web_touch_points  Hằng ngày ✓+ ✓+
People-Based Attribution [FF]web_to_app Hằng ngày ✓+ ✓+
People-Based Attribution [FF]conversion-paths Hằng ngày ✓+ ✓+

* Chú thích viết tắt

✓+ báo cáo duy nhất cho Hộp khóa Dữ liệu

[FF] Report fields are fixed by Appsflyer.  They are not related to the fields selected for inclusion in reports.

Độ trễ 6 giờ: Dữ liệu được tách thành các thư mục giờ đến. Đó là giờ mà sự kiện được gửi vào Hộp khóa Dữ liệu. Một số thư mục Hộp khóa dữ liệu được ghi khoảng sáu giờ sau thời gian sự kiện thực tế đối với các sự kiện theo thời gian thực. Có 24 thư mục cho mỗi giờ trong ngày, từ 0 đến 23 giờ, và một thư mục bổ sung cho dữ liệu đến trễ. Thời gian trễ là như nhau bất kể múi giờ theo ứng dụng cụ thể.

Daily: Reports having a data freshness rate of daily are written to the h=23 folder. These reports are typically available at 06:00-12:00 UTC in the h=23 folder of the preceding day. For example, the report for data generated during Monday is in the Monday H=23 folder. The data is available after 06:00 UTC on Tuesday.

Daily*: Ad revenue data is available after 2 days, meaning that data generated during Monday, becomes available in the Monday H=23 folder after 06:00 UTC on Wednesday.

Các loại báo cáo có sẵn trong Hộp khóa Dữ liệu

Phân chia dữ liệu

DataLockerFolders_us-en.png

Dữ liệu trong bộ chứa được phân chia thành các thư mục như sau:

  • t=chủ đề
  • dt=ngày
  • h=giờ

Điều này có nghĩa là đối với mỗi loại báo cáo, vào một ngày nhất định, dữ liệu được phân tách thành các thư mục riêng biệt theo giờ đến mà không theo thời gian sự kiện của dữ liệu. Ví dụ: ../t=installs/dt=2019-01-17/chứa 25 thư mục.

Để hiểu cấu trúc thư mục và cách phân chia mỗi giờ, hãy xem cấu trúc và định dạng thư mục.

Triển khai Hộp khóa Dữ liệu

Cấu hình Hộp khóa Dữ liệu

Điều kiện tiên quyết: Quản trị viên cần cấu hình Hộp khóa Dữ liệu. Thành viên nhóm có thể xem các tùy chọn cài đặt. 

AppsFlyerAdmin_us-en.png Để cấu hình Hộp khóa Dữ liệu

  1. Trong Appsflyer, đi tới Tích hợp > Hộp khóa Dữ liệu. 
  2. Chọn một hoặc nhiều hoặc tất cả các ứng dụng.  Chọn all (tất cả) để tự động đưa vào các ứng dụng bạn thêm vào trong tương lai.
  3. Nhấp vào Áp dụng
  4. (tùy chọn) Nguồn Truyền thông (mặc định=Tất cả. Có nghĩa là trong tương lai, khi thêm các nguồn truyền thông thì các nguồn này sẽ tự động được thêm vào.): Chọn một hoặc nhiều Nguồn Truyền thông để thêm vào báo cáo. 
  5. Nhấp vào Áp dụng
  6. Chọn một hoặc nhiều loại báo cáo.
  7. [tùy chọn] Sự kiện trong ứng dụng (mặc định=Tất cả. Có nghĩa là trong tương lai, khi thêm các sự kiện trong ứng dụng thì các sự kiện này sẽ tự động được thêm vào.): Chọn các sự kiện trong ứng dụng để thêm vào. Nếu bạn có hơn 100 loại sự kiện trong ứng dụng,  bạn không thể tìm kiếm chúng. Nhập chính xác tên của sự kiện để chọn.  
  8. Nhấp vào Áp dụng
  9. [optional] Fields (default=All): Select the fields to include in the reports. Note: We add fields from time to time take this into account in your data import process..
  10. Nhấp vào Tạo Bộ chứa.

Thông tin đăng nhập của bộ chứa

Khi cấu hình được lưu, một bộ chứa AWS riêng sẽ được tạo. Thông tin của bộ chứa xuất hiện ở góc trên bên phải của màn hình. Những thông tin này bao gồm Tên Bộ chứa, Thư mục Gốc và thông tin đăng nhập để truy cập dữ liệu.

data-credentials.png

  • Có thể truy cập bộ chứa bằng thông tin đăng nhập.
  • Quyền truy cập vào bộ chứa được kiểm tra. 
  • Chủ sở hữu bộ chứa là AppsFlyer. Chúng tôi có quyền đọc/ghi.
  • Chủ sở hữu ứng dụng có quyền đọc. 

Tính khả dụng của dữ liệu

  • Dữ liệu được cập nhật hàng giờ sau một khoảng thời gian trì hoãn sáu giờ
  • Mỗi tệp tin bao gồm các ứng dụng được chọn 
  • Lưu giữ: Thời gian khả dụng của tệp tin và thư mục là 30 ngày. Sau 30 ngày, dữ liệu sẽ bị xóa

Cấu trúc và định dạng thư mục

  • Cấu trúc thư mục là: af-ext-reports/<Home Folder>/data-locker-hourly/t=<event-type>/dt=<date YYYY-MM-dd>/h=<Hour h>
  • Thư mục Gốc là Thư mục Gốc xuất hiện trong cửa sổ Thông tin đăng nhập (xem hướng dẫn thiết lập trong phần trước) 
  • Ví dụ: đối với ngày 2016-08-12 báo cáo liên quan sẽ xuất hiện dưới dạng: s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly/t=installs/dt=2016-08-12/
  • Thư mục dt=yyyy-mm-dd được chia thành 25 thư mục theo giờ. Các thư mục này đại diện cho giờ đến của sự kiện, mà không phải giờ sự kiện của chính sự kiện đó. Các thư mục được đặt tên là h=0, h=1, h=2, v.v., lên đến h=23 và h=late. Ví dụ: thư mục h=0 chứa các sự kiện đến trong khoảng thời gian từ 00:00 đến 01:00, tương tự, thư mục h=20 chứa các sự kiện đến từ 20:00 đến 21:00.
  • Trong mỗi thư mục:

    • Dữ liệu có thể được chia thành nhiều tệp tin để tránh thành tệp tin lớn.  Tên tệp tin là: part-00000, part-00001, part-00002, v.v. Có thể có tới 1000 tệp tin. Chúng tôi có thể tăng số lượng tối đa này trong tương lai mà không cần thông báo trước.

    • Tệp tin cuối cùng được ghi là một tệp tin trống có tên _SUCCESS. Tệp tin này là một lá cờ cho biết rằng không còn dữ liệu nào được ghi thêm vào thư mục. Như vậy, không đọc dữ liệu trong một thư mục trước khi xác minh sự tồn tại của tệp tin _SUCCESSLưu ý: Cờ _SUCCESS cũng được ghi trong trường hợp không có dữ liệu nào để ghi vào thư mục đó. 

Thư mục đến trễ

Thư mục đến trễ chứa các sự kiện của ngày trước đó đến sau 0000 UTC +0 (nửa đêm) nửa đêm và đến lúc 02:00 UTC +0. Thư mục này cũng chứa cờ _SUCCESS như được mô tả trong phần trước. Các quy trình tự động sẽ tìm kiếm dữ liệu trong thư mục đến trễ như được thực hiện cho tất cả các thư mục khác trong ngày. 

 Ví dụ

Một sự kiện AppsFlyer nhận được vào ngày 21 tháng 1 lúc 1:15 sáng. Sự kiện này có nhãn thời gian là ngày 20 tháng 1 lúc 18:45. Vì sự kiện này đến muộn, nó sẽ được đặt trong thư mục đến trễ trong thư mục /dt=2019-20-01/ h=late.

Cấu trúc và định dạng tệp tin

  • Các tệp tin trong Hộp khóa Dữ liệu dựa trên Báo cáo Dữ liệu Thô V5 (xem: Báo cáo Dữ liệu Thô V5).
  • Tệp tin dữ liệu thực tế ở định dạng CSV nhưng không có phần mở rộng tệp tin.
  • Các tệp tin báo cáo được nén dưới định dạng .gz (để giúp tăng hiệu suất trong quá trình tải xuống).
  • Mỗi tệp tin có một dòng tiêu đề.
  • Các giá trị có dấu phẩy được đặt vào giữa các dấu ngoặc kép `"`, ví dụ `"iPhone6,1"`.

Truy xuất dữ liệu từ Hộp khóa Dữ liệu

AppsFlyer tạo ra một quy tắc AWS (ARN theo thuật ngữ của Amazon) và tạo thông tin đăng nhập cho quy tắc đó. Sau đó, một chính sách được đặt cho phép quy tắc này duyệt và truy xuất tệp tin từ hộp chứa.

Bạn có thể truy cập bộ chứa bằng các công cụ dòng lệnh AWS và hầu hết các máy khách FTP. Để sử dụng các công cụ này, hãy truy xuất thông tin đăng nhập, Khóa Truy cập AWS và Khóa Bí mật AWS, từ phần Thông tin đăng nhập.

Có thể truy cập dữ liệu bằng các công cụ sau đây:

AWS CLI

Trước khi bạn bắt đầu:

  • Cài đặt AWS CLI trên máy tính của bạn.
  • Trong AppsFlyer, đi đến Hộp khóa Dữ liệu, truy xuất thông tin có trong bảng thông tin đăng nhập khi cần thiết để thực hiện quy trình này. 

Để sử dụng AWS CLI:

  1. Mở thiết bị đầu cuối. Để thực hiện trong Windows, <Windows>+<R>, nhấp vào OK.
    Cửa sổ dòng lệnh mở ra.
  2. Nhập cấu hình aws
  3. Nhập Khóa Truy cập AWS như xuất hiện trong bảng thông tin đăng nhập.
  4. Nhập Khóa Bí mật AWS của bạn như xuất hiện trong bảng thông tin đăng nhập.
  5. Nhập eu-west-1
  6. Nhấn Enter (Không có)

Sử dụng các lệnh CLI kèm theo khi cần thiết.

Trong các lệnh sau, có thể tìm thấy giá trị của {home-folder}

Để liệt kê các thư mục trong bộ chứa của bạn

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

Liệt kê các tệp tin và thư mục

Có ba loại thư mục trong bộ chứa Hộp khóa Dữ liệu của bạn:

  • Loại Báo cáo t=
  • Ngày dt=
  • Giờ h=

Để liệt kê tất cả các báo cáo của một loại báo cáo cụ thể:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

Để liệt kê tất cả các báo cáo của một loại báo cáo cụ thể cho một ngày cụ thể:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Để liệt kê tất cả các báo cáo của một báo cáo cụ thể, trong một giờ cụ thể của một ngày cụ thể:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Để tải xuống tệp tin cho một ngày cụ thể:

aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

Cyber Duck

Trước khi bạn bắt đầu:

  • Cài đặt máy khách Cyber Duck.
  • Trong AppsFlyer, đi tới Hộp khóa Dữ liệu, truy xuất thông tin có trong bảng thông tin đăng nhập. Bạn sẽ cần thông tin này khi cấu hình cho Cyber Duck. 

Để cấu hình Cyber Duck:

  1. Trong Cyber Duck, nhấp vào Hành động.
  2. Chọn Dấu trang Mới. Sẽ có cửa sổ mở ra.
  3. Trong trường đầu tiên, (được đánh dấu [1] trong ảnh chụp màn hình tiếp theo,) hãy chọn Amazon S3.

    DataDuckSmall2.png

  4. Điền vào các trường như sau:
    • Biệt danh: văn bản tự do
    • Máy chủ: s3.amazonaws.com
    • ID Khóa Truy cập: sao chép Khóa Truy cập AWS như xuất hiện tại bảng thông tin đăng nhập trong AppFlyer
    • Khóa Truy cập Bí mật: sao chép khóa Bí mật của Bộ chứa như xuất hiện tại bảng thông tin đăng nhập trong AppsFlyer.
    • Đường dẫn: {Bucket Name}/{Home Folder} Ví dụ: af-ext-reports/1234-abc-ffffffff
  5. Đóng cửa sổ, để đóng cửa sổ, hãy sử dụng dấu X ở góc trên bên phải của cửa sổ.
  6. Chọn kết nối.
    Các thư mục dữ liệu được hiển thị.

Trình duyệt Amazon S3

Trước khi bạn bắt đầu:

  • Cài đặt Trình duyệt Amazon S3.
  • Trong AppsFlyer, đi đến Hộp khóa Dữ liệu, truy xuất thông tin có trong bảng thông tin đăng nhập khi cần thiết để thực hiện quy trình này. 

Để cấu hình Trình duyệt Amazon S3:

  1. Trong trình duyệt S3, hãy nhấp vào Tài khoản > Thêm Tài khoản Mới.
    Cửa sổ Thêm Tài khoản Mới mở ra.

    mceclip0.png

  2. Điền vào các trường như sau:
    • Tên Tài khoản: văn bản tự do. 
    • ID Khóa Truy cập: sao chép Khóa Truy cập AWS như xuất hiện trong bảng thông tin đăng nhập. 
    • Khóa Truy cập Bí mật: sao chép khóa Bí mật của Bộ chứa như xuất hiện trong bảng thông tin đăng nhập.
    • Chọn Mã hóa Khóa Truy cập bằng mật khẩu và nhập mật khẩu. Ghi lại mật khẩu này.
    • Chọn Sử dụng truyền an toàn. 
  3.  Nhấp vào Lưu thay đổi.
  4. Nhấp vào Bộ chứa > Thêm Bộ chứa Ngoài.
    Cửa sổ Thêm Bộ chứa Ngoài mở ra.

    mceclip2.png

  5. Nhập Tên Bộ chứa. Tên Bộ chứa có định dạng sau: {Bucket Name}/{Home Folder}. Các giá trị cần thiết cho tên bộ chứa và thư mục gốc hiện trong cửa sổ thông tin đăng nhập. 
  6. Nhấp vào Thêm Bộ chứa Ngoài.
    Bộ chứa được tạo và xuất hiện trong bảng điều khiển bên trái của cửa sổ.
    Bây giờ bạn có thể truy cập các tệp tin Hộp khóa Dữ liệu. 

Định dạng và các thư mục báo cáo

Sử dụng báo cáo làm nguồn dữ liệu

Bạn có thể sử dụng dữ liệu từ các báo cáo và thêm dữ liệu đó vào cơ sở dữ liệu của riêng bạn. Để trích xuất dữ liệu và thêm nó vào cơ sở dữ liệu, bạn cần biết định dạng báo cáo. Báo cáo Hộp khóa Dữ liệu dựa trên Báo cáo Dữ liệu Thô. Tuy nhiên, định dạng báo cáo sau cùng phụ thuộc vào các trường mà bạn chọn để đưa vào.

Định dạng báo cáo

Các trường có sẵn trong Hộp khóa Dữ liệu được liệt kê trong từ điển trường dữ liệu V5.0

 Lời khuyên

Các báo cáo chứa dữ liệu mà bạn có thể sử dụng để tối ưu hóa chiến dịch và nhắm lại mục tiêu.

Báo cáo theo giờ

Hộp khóa Dữ liệu tách dữ liệu thành các thư mục theo giờ. Thư mục theo giờ biểu thị giờ xử lý mà không phải giờ xảy ra sự kiện. Dữ liệu được ghi vào Hộp khóa Dữ liệu trong vòng sáu giờ sau khi xử lý. 

 Ví dụ

AppsFlyer nhận dữ liệu cho các hoạt động từ 14:00 đến 15:00 ngày 17 tháng 1 năm 2019. Tại một số thời điểm là sau 15:00, AppsFlyer bắt đầu xử lý dữ liệu. Do quá trình xử lý nên dữ liệu không được ghi ngay vào Hộp khóa Dữ liệu. Do đó, dữ liệu trong thư mục /t=installs/dt=2019-17-01/h=14 sẽ không có sẵn vào ngày 17 tháng 1 năm 2019 lúc 15:00 mà là sáu giờ sau đó.

Tạo thư mục theo giờ

Trong trường hợp không có dữ liệu trong một giờ cụ thể nào đó thì Hộp khóa Dữ liệu sẽ tạo một thư mục cho giờ đó. Điều này là nhằm cho bạn biết rằng trong giờ đó không có dữ liệu. Thư mục này sẽ chứa tệp tin `_SUCCESS` cho biết rằng AppsFlyer đã ghi xong vào thư mục này. Điều này cần được tính đến khi thiết kế các quy trình tự động, nghĩa là thiết kế các quy trình truy xuất dữ liệu của bạn để chúng có thể xử lý các thư mục trống theo giờ.

Múi giờ và Tiền tệ

Cài đặt múi giờ và tiền tệ dành riêng cho ứng dụng không ảnh hưởng đến dữ liệu trong Hộp khóa Dữ liệu.

Múi giờ: Báo cáo Hộp khóa Dữ liệu sử dụng múi giờ UTC

Tiền tệ: Trường event_Vvenue_usd bằng USD. 

Đặc điểm và Hạn chế

Các đặc điểm
Đặc điểm Nhận xét 
Mạng quảng cáo Không dành cho các mạng quảng cáo sử dụng. 
Đại lý Không dành cho các đại lý sử dụng
Múi giờ riêng cho ứng dụng Không áp dụng. Các thư mục Hộp khóa dữ liệu được chia theo giờ bằng giờ UTC. Các sự kiện thực tế chứa thời gian tính theo giờ UTC. Chuyển đổi thời gian sang bất kỳ múi giờ nào khác nếu cần. Bất kể múi giờ của ứng dụng bạn là gì, độ trễ từ khi sự kiện xảy ra cho đến khi sự kiện được ghi nhận trong Hộp khóa Dữ liệu vẫn không đổi; đó là 6 giờ. 
Tiền tệ dành riêng cho ứng dụng  Không được hỗ trợ
Hạn chế về kích thước Không áp dụng
Độ mới của dữ liệu Các tệp tin được cập nhật hàng giờ với độ trễ sáu giờ kể từ thời gian diễn ra sự kiện.
Dữ liệu lịch sử Không được hỗ trợ. Dữ liệu sự kiện được gửi sau khi cấu hình Hộp khóa Dữ liệu. Nếu bạn cần dữ liệu lịch sử, hãy sử dụng API Pull. 
Quyền truy cập của thành viên nhóm Các thành viên trong nhóm không thể cấu hình Hộp khóa Dữ liệu. 
Ứng dụng duy nhất/đa ứng dụng Hỗ trợ đa ứng dụng. Hộp khóa dữ liệu ở cấp tài khoản

Xử lý sự cố

  • Dấu hiệu: Không thể truy xuất dữ liệu bằng AWS CLI
  • Thông báo lỗiĐã xảy ra lỗi (AccessDenied) khi gọi thao tác ListObjectsV2: Truy cập bị Từ chối
  • Nguyên nhân: Thông tin đăng nhập AWS đang được sử dụng không phải là thông tin đăng nhập chính xác cho bộ chứa AppsFlyer. Điều này có thể do trên máy của bạn có nhiều thông tin đăng nhập hoặc thông tin đăng nhập không hợp lệ. 
  • Giải pháp:
    1. Sử dụng một phương thức khác, như Cyber Duck để truy cập bộ chứa, nghĩa là không phải CLI. Thực hiện điều này để xác minh rằng thông tin đăng nhập bạn đang sử dụng đang hoạt động. Nếu bạn có thể kết nối bằng Cyber Duck, điều này cho thấy có vấn đề với bộ nhớ đệm thông tin đăng nhập. 
    2. Làm mới bộ nhớ đệm thông tin đăng nhập AWS.
      Ảnh chụp màn hình từ AWS`mceclip0.png 
Bài viết này có hữu ích không?