Data Locker—dữ liệu thô trong một bộ chứa

At a glance: Data Locker writes raw-data to an AWS S3 bucket in near-real-time (lag 6 hours.) Data can be written to a bucket provided by AppsFlyer or directly to your bucket. 

6133_Data_Locker_-_your_bucket.png

Data Locker

Các tính năng chính của Data locker

  • Ứng dụng: hỗ trợ nhiều ứng dụng được thêm tự động
  • Tính đơn giản: dữ liệu được ghi vào bộ chứa Amazon S3 
  • Độ tin cậy: dữ liệu được lưu trữ trong AWS, đảm bảo tính bền lâu của dữ liệu
  • Tính linh hoạt: chọn dữ liệu bạn muốn đưa vào 
  • Tính chi tiết: dữ liệu được phân thành các loại báo cáo, ngày và giờ
  • Khả năng tiếp cận: lấy dữ liệu khi cần
  • Tính cập nhật của dữ liệu: độ trễ 6 giờ khi sử dụng hoặc hàng ngày tùy thuộc vào loại báo cáo. Thời gian trễ là như nhau (6 giờ) bất kể múi giờ cụ thể theo ứng dụng. 
  • Quyền sở hữu bộ chứa:
    • Nhận dữ liệu từ bộ chứa do AppsFlyer sở hữu (lưu trữ dữ liệu bởi AppsFlyer: 30 ngày)
    • AppsFlyer ghi dữ liệu trực tiếp vào bộ chứa bạn sở hữu

Báo cáo có sẵn trong Data Locker

UA và nhắm mục tiêu lại
Danh mục Loại báo cáo (chủ đề) Tính cập nhật của dữ liệu* Tự nhiên/Không tự nhiên Là đặc biệt đối với Data Locker
Thu hút người dùng lượt nhấp Độ trễ 6 giờ N/A
Nhắm mục tiêu lại clicks_retargeting Độ trễ 6 giờ N/A
Thu hút người dùng lượt hiển thị Độ trễ 6 giờ N/A
Nhắm mục tiêu lại impressions_retargeting Độ trễ 6 giờ N/A
Thu hút người dùng lượt cài đặt Độ trễ 6 giờ Cả hai  
Thu hút người dùng inapps  Độ trễ 6 giờ Cả hai  
Thu hút người dùng attributed_ad_revenue Daily+lag Không tự nhiên  
Thu hút người dùng organic_ad_revenue Daily+lag Tự nhiên  
Nhắm mục tiêu lại retargeting_ad_revenue Daily+lag Không tự nhiên  
Nhắm mục tiêu lại conversions_retargeting Độ trễ 6 giờ Không tự nhiên  
Nhắm mục tiêu lại inapps_retargeting Độ trễ 6 giờ Không tự nhiên  
Nhắm mục tiêu lại retargeting_sessions Độ trễ 6 giờ Cả hai
Thu hút người dùng các phiên Độ trễ 6 giờ Cả hai
Thu hút người dùng lượt gỡ cài đặt Độ trễ 6 giờ Không tự nhiên  
Thu hút người dùng organic_uninstalls Hàng ngày Tự nhiên  
Reinstalls reinstalls Độ trễ 6 giờ Không tự nhiên  
Reinstalls organic_reinstalls Độ trễ 6 giờ Tự nhiên  
Protect360
Loại báo cáo (chủ đề) Tính cập nhật của dữ liệu*
blocked_installs Độ trễ 6 giờ
blocked_inapps Độ trễ 6 giờ
blocked_clicks Độ trễ 6 giờ
[FF*] [AG*] post_attribution_installs Hàng ngày
Phân bổ trên Cơ sở Người dùng
Tần suất cập nhật dữ liệu: Hàng ngày
Loại báo cáo (chủ đề)
[FF*] webstite_visits
[FF*] website_events
[FF*] web_to_app
[FF*] conversion-paths
Chú thích viết tắt

* Chú thích viết tắt

[FF] Các trường báo cáo đã được Appsflyer cố định. Các trường này không liên quan đến các trường được chọn để đưa vào báo cáo.

[AG] Tính minh bạch của đại lý không được hỗ trợ.

Độ trễ 6 giờ: Dữ liệu được tách thành các thư mục giờ đến. Đó là giờ mà sự kiện được gửi vào Data Locker. Một số thư mục data Locker được ghi khoảng sáu giờ sau thời gian của sự kiện thực tế đối với các sự kiện theo thời gian thực. Có 24 thư mục cho mỗi giờ trong ngày, từ 0 đến 23 giờ, và một thư mục bổ sung cho dữ liệu đến trễ. Thời gian trễ là như nhau bất kể múi giờ cụ thể theo ứng dụng.

Daily: Reports having a data freshness rate of daily are written to the h=23 folder. These reports are typically available by 10:00-12:00 UTC in the h=23 folder of the preceding day. For example, the report for data generated during Monday is in the Monday H=23 folder. The data is available after 10:00 UTC on Tuesday.

Daily+lag: Ad revenue data is available after 2 days, meaning that data generated during Monday, becomes available in the Monday H=23 folder after 06:00 UTC on Wednesday.

Cấu trúc Data Locker

Phân vùng dữ liệu

AppsFlyer tạo ra một người/ứng dụng yêu cầu của AWS (ARN theo thuật ngữ của Amazon) và tạo thông tin đăng nhập cho người/ứng dụng đó. Sau đó, một chính sách được đặt cho phép người/ứng dụng yêu cầu này duyệt và truy xuất tệp tin từ bộ chứa.

Trong bộ chứa, dữ liệu được sắp xếp theo loại báo cáo. Dữ liệu cho một báo cáo nhất định được lưu trữ trong thư mục của nó. 

Thư mục và cấu trúc tệp tin

  • Cấu trúc thư mục là: af-ext-reports/<Thư mục Gốc>/data-locker-hourly/t=<loại sự kiện>/dt=<ngày dạng YYYY-MM-dd>/h=<Giờ h>
    • Thư mục Gốc là Thư mục Gốc xuất hiện trong cửa sổ Thông tin đăng nhập (xem hướng dẫn thiết lập trong phần trước) 
    • Ví dụ: đối với ngày 12 tháng 8 năm 2016, báo cáo xuất hiện trong: s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly/t=installs/dt=2016-08-12/
  • Thư mục theo ngày dt=yyyy-mm-dd được chia thành 25 thư mục theo giờ. Các thư mục này đại diện cho giờ đến của sự kiện, mà không phải giờ sự kiện của chính sự kiện đó. Các thư mục được đặt tên là h=0, h=1, h=2, v.v., đến h=23 và h=late. Ví dụ: thư mục h=0 chứa các sự kiện đến trong khoảng thời gian từ 00:00 UTC đến 01:00 UTC, tương tự, thư mục h=20 chứa các sự kiện đến từ 20:00 đến 21:00.
  • Trong mỗi thư mục:

    • Dữ liệu có thể được chia thành nhiều tệp tin để tránh thành các tệp tin lớn. Tên tệp tin là: part-00000, part-00001, part-00002, v.v. Có thể có tới 1000 tệp tin. Chúng tôi có thể tăng số lượng tối đa này trong tương lai mà không cần thông báo trước.

    • Tệp tin cuối cùng cần được ghi là một tệp tin trống có tên _SUCCESS. Tệp tin này là một lá cờ cho biết rằng không còn dữ liệu nào được ghi thêm vào thư mục. Như vậy, không đọc dữ liệu trong một thư mục trước khi xác minh sự tồn tại của tệp tin _SUCCESS. Lưu ý: Cờ _SUCCESS cũng được ghi trong trường hợp không có dữ liệu nào để ghi vào thư mục đó.

  • Thư mục đến trễ

    • Thư mục đến trễ chứa các sự kiện của ngày hôm trước đến sau nửa đêm. Có nghĩa là đến trong khoảng 00:00–02:00 UTC của ngày hôm sau. Ví dụ: người dùng cài đặt một ứng dụng vào thứ Hai lúc 08:00, sự kiện đến vào thứ Ba lúc 01:00. Sự kiện được ghi nhận trong thư mục đến trễ của thứ Hai. 

    • Thư mục cũng chứa cờ _SUCCESS như được mô tả trong phần trước.

    • Dữ liệu trong thư mục đến trễ không được ghi nhận trong bất kỳ thư mục nào khác.

    • Các quy trình tự động sẽ tìm kiếm dữ liệu trong thư mục đến trễ tương tự như dữ liệu của thư mục khác. 

Cấu trúc và định dạng tệp tin

  • Các tệp tin trong Data Locker dựa trên Báo cáo Dữ liệu Thô V5 (xem: Báo cáo Dữ liệu Thô V5).
  • Tệp tin dữ liệu thực tế ở định dạng CSV nhưng không có đuôi mở rộng tệp tin.
  • Các tệp tin báo cáo được nén dưới định dạng .gz.
  • Mỗi tệp tin có một dòng tiêu đề.
  • Các giá trị có dấu phẩy được đặt vào giữa các dấu ngoặc kép `"`, ví dụ `"iPhone6,1"`.

Sử dụng báo cáo làm nguồn dữ liệu

Bạn có thể sử dụng dữ liệu từ các báo cáo và thêm dữ liệu đó vào cơ sở dữ liệu của riêng bạn. Để trích xuất dữ liệu và thêm nó vào cơ sở dữ liệu, bạn cần biết định dạng báo cáo. Báo cáo Data Locker dựa trên Báo cáo Dữ liệu Thô. Tuy nhiên, định dạng báo cáo sau cùng phụ thuộc vào các trường mà bạn chọn đưa vào.

Múi giờ và tiền tệ

Cài đặt múi giờ và tiền tệ cụ thể theo ứng dụng không ảnh hưởng đến dữ liệu trong Data Locker.

  • Múi giờ: Báo cáo Data Locker sử dụng múi giờ UTC
  • Tiền tệ: Trường event_revenue_usd có đơn vị là USD. 

AppsFlyer AWS bucket vs. Client AWS Bucket

 Caution!

If you are using the Client AWS Bucket solution: 

  • Ensure that you comply with data privacy regulations like GDPR and ad network/SRN data retention policies.
  • Don't use the Client AWS Bucket solution to send data to third parties. 
  • Data is written to a bucket owner of your choice as follows:
    • AppsFlyer AWS bucket
    • Client AWS bucket
  • You can change the bucket owner selection at any time:
    • Move from an AppsFlyer AWS bucket to a Client AWS bucket in the user interface. The change takes effect within 1 hour. This means we stop writing data to one bucket and start to write data to the newly selected bucket. 
    • If you want to stop using your Client Bucket, select the AppsFlyer bucket. 
  AppsFlyer AWS bucket Client AWS bucket
Bucket name Set by AppsFlyer

Set by you. Must have the prefix af-datalocker-.

Example: af-datalocker-your-bucket-name

Bucket ownership AppsFlyer Client
Storage platform supported AWS AWS 
Credentials to access data by you Available in the Data Locker user interface to the Admin Not known to AppsFlyer. Use your AWS credentials.
Data retention In Data Locker for 30 days Not controlled by AppsFlyer
Data deletion requests AppsFlyer responsibility Your responsibility
Security AppsFlyer controls the bucket. The client has read access. The client controls the bucket. AppsFlyer requires GetObject, ListBucket, DeleteObject, PutObject permission to the bucket. The bucket should be dedicated to AppsFlyer use. Don't use it for other purposes.
Storage space Managed by AppsFlyer Managed by you

Thiết lập Data Locker

Set up Data Locker

Use this procedure to set up Data Locker.

Prerequisite for setting up Client AWS bucket:

If you are setting up Data Locker using your Client AWS bucket, meaning a bucket owned by you, you must first complete setting up your AWS S3 storage.

AppsFlyerAdmin_us-en.png To set up Data Locker:

  1. Quản trị viên cần thực hiện thiết lập. 
  2. Trong Appsflyer, đi đến Integration (Tích hợp) > Data Locker. 
  3. Choose the Amazon S3 integration method. Select one of the following
    • AppsFlyer AWS bucket. Continue to step 4. 
    • Client AWS bucket.
      1. Enter your AWS bucket name. Don't enter the prefix af-datalocker-
      2. Click Test.
      3. Verify that no error message displays indicating that the bucket path is invalid.
  4. Chọn một hoặc nhiều hoặc tất cả các ứng dụng.  Chọn all (tất cả) để tự động đưa vào các ứng dụng bạn thêm vào trong tương lai.
  5. Nhấp vào Apply (Áp dụng). 
  6. [optional] Media Sources: Select one or more Media Sources to include in reports.
    • Default=All. This means that media sources added in the future are automatically added.
  7. Chọn một hoặc nhiều loại báo cáo.
  8. [optional] In-app events: Select the in-app events to include. If you have more than 100 in-app event types, you can't search for them. Enter their names exactly to select them. 
    • Default=All. This means that in-app events added in the future are automatically added.
  9. Nhấp vào Apply (Áp dụng). 
  10. [optional] Fields (default=All): Select the fields to include in the reports. Note: We add fields from time to time take this into account in your data import process.
  11. Click Save Configuration. One of the following occurs:
    • If you selected AppsFlyer AWS bucket:
      • Bộ chứa AWS chuyên dụng được tạo. Thông tin đăng nhập bộ chứa sẽ hiển thị.
      • Có thể truy cập bộ chứa bằng thông tin đăng nhập. Thông tin đăng nhập cung cấp cho bạn quyền truy cập chỉ đọc vào bộ chứa.
    • If you selected Client AWS bucket:
      • Data will start being written to your AWS bucket within 1-2 hours.

Setup Data Locker—Your AWS S3 storage

The procedure in this section must be performed by your AWS admin.

Background information for the AWS admin: 

  • AppsFlyer writes your data to an S3 bucket owned by you. To do so, the following are required:
    • Create a bucket having the name af-datalocker-mybucket. The prefix af-datalocker- is mandatory . The suffix is free text.
  • We suggest af-datalocker-yyyy-mm-dd-hh-mm-free-text. Where yyyy-mm-dd-hh-mm is the current date and time, and you add any other text you want as depicted in the figure that follows.
    User interface ins AWS console

    MyBucket.jpg

  • Having created the bucket, grant AppsFlyer permissions using the procedure that follows. 

To create a bucket and grant AppsFlyer permissions: 

  1. Sign in to the AWS console.
  2. Go to the S3 service.
  3. To create the bucket:
    1. Click Create bucket.
    2. Complete the Bucket name as follows: Start with af-datalocker- and then add any other text as described previously.
    3. Click Create bucket.
  4. To grant AppsFlyer permissions:
    1. Select the bucket. 
    2. Go to the Permissions tab. 
    3. In the Bucket policy section, click Edit. 
      The Bucket policy window opens.
    4. Paste the following snippet into the window.
      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "AF_DataLocker_Direct",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
            "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Resource": [
              "arn:aws:s3:::af-datalocker-my-bucket",
              "arn:aws:s3:::af-datalocker-my-bucket/*"
            ]
          }
        ]
      }
      
  5. In the snippet, replace af-data-locker-my-bucket with the bucket name you created.

  6. Click Save changes.

  7. Complete the Setup Data Locker procedure.

Truy xuất dữ liệu

Sử dụng công cụ truy xuất dữ liệu S3 yêu thích của bạn, AWS CLI hoặc một trong những công cụ được mô tả trong các phần tiếp theo.

AWS CLI

Trước khi bạn bắt đầu:

  • Cài đặt AWS CLI trên máy tính của bạn.
  • Trong AppsFlyer, đi đến Data Locker, truy xuất thông tin có trong bảng thông tin đăng nhập vì cần có thông tin này để thực hiện quy trình này. 

Để sử dụng AWS CLI:

  1. Mở thiết bị đầu cuối. Để thực hiện trong Windows, bấm <Windows>+<R>, nhấp vào OK.
    Cửa sổ dòng lệnh mở ra.
  2. Nhập aws configure (cấu hình aws)
  3. Nhập Khóa Truy cập AWS như xuất hiện trong bảng thông tin đăng nhập.
  4. Nhập Mã khóa Bí mật AWS của bạn như xuất hiện trong bảng thông tin đăng nhập.
  5. Nhập eu-west-1
  6. Nhấn Enter (Không có)

Sử dụng các lệnh CLI sau đây khi cần thiết.

Trong các lệnh sau, có thể tìm thấy giá trị của {home-folder}

Để liệt kê các thư mục trong bộ chứa của bạn

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/

Liệt kê các tệp tin và thư mục

Có ba loại thư mục trong bộ chứa Data Locker của bạn:

  • Loại Báo cáo t=
  • Ngày dt=
  • Giờ h=

Để liệt kê tất cả các báo cáo của một loại báo cáo cụ thể:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/

Để liệt kê tất cả các báo cáo của một loại báo cáo cụ thể cho một ngày cụ thể:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Để liệt kê tất cả các báo cáo của một báo cáo cụ thể, trong một giờ cụ thể của một ngày cụ thể:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Để tải xuống tệp tin cho một ngày cụ thể:

aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

Cyber Duck

Trước khi bạn bắt đầu:

  • Cài đặt máy khách Cyber Duck.
  • Trong AppsFlyer, đi tới Data Locker, truy xuất thông tin có trong bảng thông tin đăng nhập. Bạn sẽ cần thông tin này khi cấu hình cho Cyber Duck. 

Để cấu hình Cyber Duck:

  1. Trong Cyber Duck, nhấp vào Action (Hành động).
  2. Chọn New Bookmark (Dấu trang Mới). Sẽ có cửa sổ mở ra.
  3. Trong trường đầu tiên, (được đánh dấu [1] trong ảnh chụp màn hình tiếp theo), hãy chọn Amazon S3.

    DataDuckSmall2.png

  4. Điền vào các trường như sau:
    • Nickname (Biệt danh): văn bản tự do
    • Server (Máy chủ): s3.amazonaws.com
    • Access Key ID (ID Mã khóa Truy cập): sao chép Mã khóa Truy cập AWS như xuất hiện tại bảng thông tin đăng nhập trong AppFlyer
    • Secret Access Key (Mã khóa Truy cập Bí mật): sao chép mã khóa Bí mật của Bộ chứa như xuất hiện tại bảng thông tin đăng nhập trong AppsFlyer.
    • Đường dẫn: {Bucket Name}/{Home Folder} Ví dụ: af-ext-reports/1234-abc-ffffffff
  5. Đóng cửa sổ, để đóng, hãy sử dụng dấu X ở góc trên bên phải của cửa sổ.
  6. Chọn kết nối.
    Các thư mục dữ liệu được hiển thị.

Trình duyệt Amazon S3

Trước khi bạn bắt đầu:

  • Cài đặt Trình duyệt Amazon S3.
  • Trong AppsFlyer, đi đến Data Locker, truy xuất thông tin có trong bảng thông tin đăng nhập vì cần có thông tin này để thực hiện quy trình này. 

Để cấu hình Trình duyệt Amazon S3:

  1. Trong trình duyệt S3, hãy nhấp vào Accounts (Tài khoản) > Add New Account (Thêm Tài khoản Mới).
    Cửa sổ Thêm Tài khoản Mới sẽ mở ra.

    mceclip0.png

  2. Điền vào các trường như sau:
    • Account Name (Tên Tài khoản): văn bản tự do. 
    • Access Key ID (ID Mã khóa Truy cập): sao chép Mã khóa Truy cập AWS như xuất hiện trong bảng thông tin đăng nhập. 
    • Secret Access Key (Mã khóa Truy cập Bí mật): sao chép mã khóa Bí mật của Bộ chứa như xuất hiện trong bảng thông tin đăng nhập.
    • Chọn Encrypt Access Keys with a password (Mã hóa Mã khóa Truy cập bằng mật khẩu) và nhập mật khẩu. Ghi lại mật khẩu này.
    • Chọn Use secure transfer (Sử dụng phương thức truyền an toàn). 
  3.  Nhấp vào Save changes (Lưu thay đổi).
  4. Nhấp vào Buckets (Bộ chứa) > Add External Bucket (Thêm Bộ chứa Ngoài).
    Cửa sổ Thêm Bộ chứa Ngoài sẽ mở ra.

    mceclip2.png

  5. Nhập Bucket name (Tên Bộ chứa).Tên Bộ chứa có định dạng sau: {Bucket Name}/{Home Folder}. Các giá trị cần thiết cho tên bộ chứa và thư mục gốc hiện trong cửa sổ thông tin đăng nhập. 
  6. Nhấp vào Add External bucket
    (Thêm Bộ chứa Ngoài).Bộ chứa được tạo và xuất hiện trong bảng điều khiển bên trái của cửa sổ.
    Bây giờ bạn có thể truy cập các tệp tin Data Locker. 

Thông tin bổ sung

Đặc điểm và Hạn chế

Các đặc điểm
Đặc điểm Nhận xét 
Mạng quảng cáo Không dành cho các mạng quảng cáo sử dụng. 
Đại lý Không dành cho các đại lý sử dụng
Múi giờ cụ thể theo ứng dụng Không Áp dụng. Các thư mục Data locker được chia theo giờ bằng giờ UTC. Các sự kiện thực tế chứa thời gian tính theo giờ UTC. Chuyển đổi thời gian sang bất kỳ múi giờ nào khác nếu cần. Bất kể múi giờ của ứng dụng bạn là gì, độ trễ từ khi sự kiện xảy ra cho đến khi sự kiện được ghi nhận trong Data Locker vẫn không đổi; đó là 6 giờ. 
Tiền tệ cụ thể theo ứng dụng  Không được hỗ trợ
Hạn chế về kích thước Không áp dụng
Tính cập nhật của dữ liệu Các tệp tin được cập nhật hàng giờ với độ trễ sáu giờ kể từ thời gian diễn ra sự kiện.
Dữ liệu lịch sử Không được hỗ trợ. Dữ liệu sự kiện được gửi sau khi cấu hình Data Locker. Nếu bạn cần dữ liệu lịch sử, hãy sử dụng API Pull. 
Quyền truy cập của thành viên trong nhóm Các thành viên trong nhóm không thể cấu hình Data Locker. 
Ứng dụng duy nhất/đa ứng dụng Hỗ trợ đa ứng dụng. Data locker ở cấp tài khoản

Xử lý sự cố

  • Dấu hiệu: Không thể truy xuất dữ liệu bằng AWS CLI
  • Thông báo lỗi: Đã xảy ra lỗi (AccessDenied) khi gọi thao tác ListObjectsV2: Truy cập bị Từ chối
  • Nguyên nhân: Thông tin đăng nhập AWS đang được sử dụng không phải là thông tin đăng nhập chính xác cho bộ chứa AppsFlyer. Điều này có thể do trên máy của bạn có nhiều thông tin đăng nhập hoặc thông tin đăng nhập không hợp lệ. 
  • Giải pháp:
    1. Sử dụng một phương thức khác, như Cyber Duck để truy cập bộ chứa, nghĩa là không phải CLI. Thực hiện điều này để xác minh rằng thông tin đăng nhập bạn đang sử dụng vẫn hoạt động bình thường. Nếu bạn có thể kết nối bằng Cyber Duck, điều này cho thấy có vấn đề với bộ nhớ đệm thông tin đăng nhập. 
    2. Làm mới bộ nhớ đệm thông tin đăng nhập AWS.
      Ảnh chụp màn hình từ AWS`mceclip0.png 
Bài viết này có hữu ích không?