Data Locker — data lengkap dalam bucket

At a glance: Data Locker writes raw-data to an AWS S3 bucket in near-real-time (lag 6 hours.) Data can be written to a bucket provided by AppsFlyer or directly to your bucket. 

6133_Data_Locker_-_your_bucket.png

Data Locker

Fitur utama data locker

  • Aplikasi: mendukung banyak aplikasi yang ditambahkan secara otomatis
  • Kemudahan: data ditulis ke Amazon S3 bucket 
  • Reabilitas: data disimpan dalam AWS yang memastikan persistensi data
  • Fleksibilitas: pilih data apa yang ingin Anda sertakan 
  • Rincian : data tersegmentasi ke dalam jenis laporan, hari dan waktu
  • Aksesibilitas: tarik data saat diperlukan
  • Kesegaran data: jeda penggunaan 6 jam atau setiap hari tergantung pada jenis laporan.  Jeda waktunya tetap sama (6 jam) terlepas dari zona waktu khusus aplikasi. 
  • Kepemilikan bucket:
    • Dapatkan data bucket milik AppsFlyer (periode penyimpanan data oleh AppsFlyer: 30 days)
    • AppsFlyer menulis data secara langsung ke bucket milik Anda

Laporan tersedia di Data Locker

UA dan penargetan ulang
ketegori Jenis laporan (topik) Penyegaran data* Organik/Non-organik Unik untuk Data Locker
Akuisisi User Klik Jeda 6 jam N/A
Retargeting clicks_retargeting Jeda 6 jam N/A
Akuisisi User Tayangan  Jeda 6 jam N/A
Retargeting impressions_retargeting Jeda 6 jam N/A
Akuisisi User Install Jeda 6 jam Keduanya  
Akuisisi User inapps  Jeda 6 jam Keduanya  
Akuisisi User attributed_ad_revenue Daily+lag Non-organik  
Akuisisi User organic_ad_revenue Daily+lag Organik  
Retargeting retargeting_ad_revenue Daily+lag Non-organik  
Retargeting conversions_retargeting Jeda 6 jam Non-organik  
Retargeting inapps_retargeting Jeda 6 jam Non-organik  
Retargeting retargeting_sessions Jeda 6 jam Keduanya
Akuisisi User Sesi Jeda 6 jam Keduanya
Akuisisi User mencopot pemasangan Jeda 6 jam Non-organik  
Akuisisi User organic_uninstalls Harian Organik  
Reinstalls reinstalls Jeda 6 jam Non-organik  
Reinstalls organic_reinstalls Jeda 6 jam Organik  
Protect360
Jenis laporan (topik) Penyegaran data*
blocked_installs Jeda 6 jam
blocked_inapps Jeda 6 jam
blocked_clicks Jeda 6 jam
[FF*] [AG*] post_attribution_installs Harian
Atribusi Berbasis Orang
Kesegaran data: Setiap hari
Jenis laporan (topik)
[FF*] webstite_visits
[FF*] website_events
[FF*] web_to_app
[FF*] conversion-paths
Kunci singkatan

* Kunci singkatan

[FF] Bidang laporan ditetapkan oleh Appsflyer. Bidang ini tidak terkait dengan bidang yang dipilih untuk disertakan dalam laporan.

[AG] Transparansi agensi tidak didukung.

Jeda 6 jam: Data dibagi-bagi ke dalam folder jam kedatangan. Itu merupakan jam di mana event disimpan ke Data Locker. Beberapa folder data Locker ditulis sekitar 6 jam setelah waktu aktual event untuk event waktu aktual. Ada 24 folder untuk setiap jam dalam sehari, dari 0 hingga 23 dan folder tambahan untuk data yang datang terlambat. Jeda waktunya tetap sama terlepas dari zona waktu khusus aplikasi.

Daily: Reports having a data freshness rate of daily are written to the h=23 folder. These reports are typically available by 10:00-12:00 UTC in the h=23 folder of the preceding day. For example, the report for data generated during Monday is in the Monday H=23 folder. The data is available after 10:00 UTC on Tuesday.

Daily+lag: Ad revenue data is available after 2 days, meaning that data generated during Monday, becomes available in the Monday H=23 folder after 06:00 UTC on Wednesday.

Arsitektur Data Locker

Partisi data

AppsFlyer menciptakan AWS principal (ARN dalam istilah Amazon) dan menghasilkan kredensial untuk principal tersebut. Kebijakan kemudian ditetapkan yang memungkinkan principal untuk menelusuri dan mengambil file dari bucket.

Di bucket, data diatur berdasarkan jenis laporan. Data untuk laporan tertentu disimpan di foldernya. 

Folder dan struktur file

  • Struktur folder adalah: af-ext-report /< Home Folder >/data-locker-hourly/t=<event-type > / dt = <date YYYY-MM-dd >/h=<Hour h >
    • Home Folder adalah Home Folder yang muncul di jendela Kredensial (lihat instruksi pengaturan di bagian sebelumnya) 
    • Misalnya, untuk tanggal 2016-08-12 laporan muncul di: s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly/t=installs/dt=2016-08-12/
  • Folder dt = yyyy-mm-dd dibagi menjadi folder 25 jam. Folder ini mewakili waktu kedatangan event, bukan waktu event dari event itu sendiri. Folder diberi nama h=0, h=1, h=2, dan seterusnya, hingga h=23, dan h=terlambat. Misalnya, folder h=0 berisi event yang tiba antara pukul 00:00 UTC dan 01:00 UTC, demikian pula, folder h = 20 berisi event yang tiba antara pukul 20:00 dan 21:00.
  • Dalam setiap folder:

    • Data dapat dibagi-bagi menjadi beberapa file untuk menghindari file berukuran besar. Nama filenya adalah: part-00000, part-00001, part-00002, dan seterusnya. Dapat mencapai hingga 1000 file. Kami dapat meningkatkan jumlah maksimum ini di masa mendatang tanpa pemberitahuan sebelumnya.

    • File terakhir yang akan ditulis adalah file kosong bernama _SUCCESS. File ini adalah tanda untuk menunjukkan bahwa tidak ada data berikutnya yang akan ditulis ke folder. Oleh sebab itu, jangan membaca data dalam sebuah folder sebelum memverifikasi bahwa  file _SUCCESS ada. Catatan: Tanda _SUCCESS juga ditulis dalam kasus di mana tidak ada data yang akan ditulis pada folder. 

  • Folder terlambat

    • Folder telat berisi event pada hari sebelumnya yang tiba setelah tengah malam. Artinya tiba antara pukul 00:00–02:00 UTC keesokan harinya. Misalnya, pengguna menginstal aplikasi pada hari Senin pukul 08:00, event tiba pada hari Selasa pada pukul 01:00. Event direkam dalam folder telat Senin. 

    • Folder ini juga berisi flag _SUCCESS seperti dijelaskan pada bagian sebelumnya.

    • Data dalam folder telat tidak direkam di folder apa pun lainnya.

    • Proses otomatis harus mencari data dalam folder telat sama seperti di folder lainnya. 

Struktur dan format file

  • File Data Locker didasarkan pada Laporan Data Lengkap V5 (lihat: Laporan Data Lengkap V5).
  • File data aktual dalam format CSV tetapi tidak memiliki ekstensi file.
  • File laporan di-zip dalam .gz saat menyimpan file.
  • Setiap file memiliki baris tajuk (header).
  • Nilai-nilai yang memiliki koma di dalamnya terkandung antara tanda kutip ganda ` " `,misalnya " iPhone6,1" .

Menggunakan laporan sebagai sumber data

Anda dapat menggunakan data dari laporan dan menambahkannya ke database Anda sendiri. Untuk mengekstrak data dan menambahkannya ke database Anda, Anda perlu mengetahui format laporan. Laporan Data Locker didasarkan pada Laporan Data Lengkap. Namun, format laporan akhir tergantung pada bidang yang Anda pilih untuk dimasukkan.

Zona Waktu dan Mata Uang

Pengaturan zona waktu dan mata uang khusus aplikasi tidak berpengaruh pada data dalam Data Locker.

  • Zona waktu : Laporan Data Locker menggunakan zona waktu UTC
  • Mata uang : Event_revenue_usd bidang adalah dalam USD. 

AppsFlyer AWS bucket vs. Client AWS Bucket

 Caution!

If you are using the Client AWS Bucket solution: 

  • Ensure that you comply with data privacy regulations like GDPR and ad network/SRN data retention policies.
  • Don't use the Client AWS Bucket solution to send data to third parties. 
  • Data is written to a bucket owner of your choice as follows:
    • AppsFlyer AWS bucket
    • Client AWS bucket
  • You can change the bucket owner selection at any time:
    • Move from an AppsFlyer AWS bucket to a Client AWS bucket in the user interface. The change takes effect within 1 hour. This means we stop writing data to one bucket and start to write data to the newly selected bucket. 
    • If you want to stop using your Client Bucket, select the AppsFlyer bucket. 
  AppsFlyer AWS bucket Client AWS bucket
Bucket name Set by AppsFlyer

Set by you. Must have the prefix af-datalocker-.

Example: af-datalocker-your-bucket-name

Bucket ownership AppsFlyer Client
Storage platform supported AWS AWS 
Credentials to access data by you Available in the Data Locker user interface to the Admin Not known to AppsFlyer. Use your AWS credentials.
Data retention In Data Locker for 30 days Not controlled by AppsFlyer
Data deletion requests AppsFlyer responsibility Your responsibility
Security AppsFlyer controls the bucket. The client has read access. The client controls the bucket. AppsFlyer requires GetObject, ListBucket, DeleteObject, PutObject permission to the bucket. The bucket should be dedicated to AppsFlyer use. Don't use it for other purposes.
Storage space Managed by AppsFlyer Managed by you

Mengatur Data Locker

Set up Data Locker

Use this procedure to set up Data Locker.

Prerequisite for setting up Client AWS bucket:

If you are setting up Data Locker using your Client AWS bucket, meaning a bucket owned by you, you must first complete setting up your AWS S3 storage.

AppsFlyerAdmin_us-en.png To set up Data Locker:

  1. Admin perlu melakukan pengaturan. 
  2. Di Appsflyer, buka Integrasi > Data Locker. 
  3. Choose the Amazon S3 integration method. Select one of the following
    • AppsFlyer AWS bucket. Continue to step 4. 
    • Client AWS bucket.
      1. Enter your AWS bucket name. Don't enter the prefix af-datalocker-
      2. Click Test.
      3. Verify that no error message displays indicating that the bucket path is invalid.
  4. Pilih satu atau lebih atau semua aplikasi.  Pilih semua untuk secara otomatis menyertakan aplikasi yang Anda tambahkan di masa mendatang.
  5. Klik Terapkan
  6. [optional] Media Sources: Select one or more Media Sources to include in reports.
    • Default=All. This means that media sources added in the future are automatically added.
  7. Pilih satu atau beberapa jenis laporan .
  8. [optional] In-app events: Select the in-app events to include. If you have more than 100 in-app event types, you can't search for them. Enter their names exactly to select them. 
    • Default=All. This means that in-app events added in the future are automatically added.
  9. Klik Terapkan
  10. [optional] Fields (default=All): Select the fields to include in the reports. Note: We add fields from time to time take this into account in your data import process.
  11. Click Save Configuration. One of the following occurs:
    • If you selected AppsFlyer AWS bucket:
      • Bucket AWS khusus dibuat. Kredensial bucket ditampilkan.
      • Bucket dapat diakses menggunakan kredensial. Kredensial memberi Anda akses hanya-baca ke bucket.
    • If you selected Client AWS bucket:
      • Data will start being written to your AWS bucket within 1-2 hours.

Setup Data Locker—Your AWS S3 storage

The procedure in this section must be performed by your AWS admin.

Background information for the AWS admin: 

  • AppsFlyer writes your data to an S3 bucket owned by you. To do so, the following are required:
    • Create a bucket having the name af-datalocker-mybucket. The prefix af-datalocker- is mandatory . The suffix is free text.
  • We suggest af-datalocker-yyyy-mm-dd-hh-mm-free-text. Where yyyy-mm-dd-hh-mm is the current date and time, and you add any other text you want as depicted in the figure that follows.
    User interface ins AWS console

    MyBucket.jpg

  • Having created the bucket, grant AppsFlyer permissions using the procedure that follows. 

To create a bucket and grant AppsFlyer permissions: 

  1. Sign in to the AWS console.
  2. Go to the S3 service.
  3. To create the bucket:
    1. Click Create bucket.
    2. Complete the Bucket name as follows: Start with af-datalocker- and then add any other text as described previously.
    3. Click Create bucket.
  4. To grant AppsFlyer permissions:
    1. Select the bucket. 
    2. Go to the Permissions tab. 
    3. In the Bucket policy section, click Edit. 
      The Bucket policy window opens.
    4. Paste the following snippet into the window.
      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "AF_DataLocker_Direct",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
            "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Resource": [
              "arn:aws:s3:::af-datalocker-my-bucket",
              "arn:aws:s3:::af-datalocker-my-bucket/*"
            ]
          }
        ]
      }
      
  5. In the snippet, replace af-data-locker-my-bucket with the bucket name you created.

  6. Click Save changes.

  7. Complete the Setup Data Locker procedure.

Pengambilan data

Gunakan alat pengambil data S3 pilihan Anda, AWS CLI, atau salah satu alat yang dijelaskan di bagian berikut.

AWS CLI

Sebelum Anda mulai:

  • Instal AWS CLI di komputer Anda.
  • Di AppsFlyer, buka Data Locker, ambil informasi yang terkandung di panel kredensial karena diperlukan untuk melakukan prosedur ini. 

Untuk menggunakan AWS CLI:

  1. Buka terminal. Untuk melakukannya di Windows, <Windows> + <R> , klik OK.
    Jendela baris perintah terbuka.
  2. Masukkan konfigurasi aws
  3. Masukkan AWS Access Key seperti yang muncul di panel kredensial.
  4. Masukkan Kunci Rahasia AWS Anda seperti yang muncul di panel kredensial.
  5. Masukkan eu-west-1
  6. Tekan Enter (Tidak Ada)

Gunakan perintah CLI yang mengikuti sesuai kebutuhan.

Dalam perintah berikut, nilai {home-folder} dapat ditemukan

Untuk membuat daftar folder di keranjang Anda

aws s3 ls s3://af-ext-reports /{home-folder}/data-locker-hourly/

Mendaftar file dan folder

Ada tiga jenis folder di keranjang Data Locker Anda:

  • Jenis Laporan t=
  • Tanggal dt=
  • Waktu h=

Untuk membuat daftar semua laporan dari jenis laporan tertentu:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/ t=installs /

Untuk membuat daftar semua laporan dari jenis laporan tertentu untuk hari tertentu:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Untuk membuat daftar semua laporan dari laporan tertentu, dalam jam tertentu dari hari tertentu:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Untuk mengunduh file untuk tanggal tertentu:

aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

Cyber Duck

Sebelum Anda mulai:

  • Instal klien Cyber Duck.
  • Di AppsFlyer, buka Data Locker, ambil informasi yang terkandung di panel kredensial. Anda akan memerlukan informasi ini saat mengonfigurasi Cyber Duck. 

Untuk mengonfigurasi Cyber Duck :

  1. Di Cyber Duck, klik Tindakan.
  2. Pilih Bookmark Baru. Jendela terbuka.
  3. Di kolom pertama, (ditandai [1] pada tangkapan layar yang mengikuti,) pilih Amazon S3.

    DataDuckSmall2.png

  4. Isi bidang-bidang sebagai berikut:
    • Nama Panggilan:teks bebas
    • Server:  s3.amazonaws.com
    • ID Kunci Akses:salin Kunci Akses AWS seperti yang muncul di panel kredensial di AppFlyer
    • Kunci Akses Rahasia:   salin kunci Rahasia Bucket seperti yang muncul di panel kredensial di AppsFlyer.
    • Jalur : {Bucket Name}/{Home Folder} Misalnya: af-ext-report / 1234-abc-ffffffff
  5. Tutup jendela, untuk melakukannya, gunakan X di sudut kanan atas jendela.
  6. Pilih koneksi.
    Direktori data ditampilkan.

Browser Amazon S3

Sebelum Anda mulai:

  • Pasang Browser Amazon S3.
  • Di AppsFlyer, buka Data Locker, ambil informasi yang terkandung di panel kredensial karena diperlukan untuk melakukan prosedur ini. 

Untuk mengonfigurasi Browser Amazon S3 :

  1. Di browser S3, Klik Akun Tambahkan   Akun Baru .
    Jendela Tambah Akun Baru terbuka.

    mceclip0.png

  2. Isi bidang-bidang sebagai berikut:
    • Nama Akun : teks bebas. 
    • ID Kunci Akses: salin Kunci Akses AWS seperti yang muncul di panel kredensial. 
    • Kunci Akses Rahasia: salin kunci Rahasia Bucket seperti yang muncul di panel kredensial.
    • Pilih Enkripsi Kunci Akses dengan kata sandi dan masukkan kata sandi. Catat kata sandi ini.
    • Pilih Gunakan transfer aman. 
  3.  Klik Simpan perubahan.
  4. Klik Bucket > Tambahkan Eksternal Bucket .
    Jendela Tambah Bucket Eksternal terbuka.

    mceclip2.png

  5. Masukkan Nama bucket.Nama Bucket memiliki format berikut: {Bucket Name}/{Home Folder}. Nilai yang diperlukan untuk nama bucket dan folder beranda muncul di jendela kredensial. 
  6. Klik Tambahkan bucket eksternal.
    Bucket dibuat dan ditampilkan di panel kiri jendela.
    Anda sekarang dapat mengakses file Data Locker. 

Informasi Tambahan

Karakteristik dan Batasan

Sifat-sifat
Sifat Catatan 
Jaringan iklan Tidak untuk digunakan oleh jaringan iklan. 
Agensi Tidak untuk digunakan oleh agensi
Zona waktu khusus aplikasi Tidak Berlaku. Folder data locker dibagi-bagi berdasarkan jam menggunakan UTC. Event aktual berisi waktu dalam UTC. Konversi waktu ke zona waktu lainnya sesuai kebutuhan. Terlepas dari zona waktu aplikasi Anda, jeda waktu dari terjadinya event hingga direkam di dalam Data locker itu tetap sama; yaitu 6 jam. 
Mata uang khusus aplikasi  Tidak didukung
Keterbatasan ukuran Tak dapat diterapkan
Kesegaran data File diperbarui setiap jam dengan jeda enam jam dari waktu event.
Data historis Tidak didukung. Data event dikirim setelah mengonfigurasi Data Locker. Jika Anda membutuhkan data historis, gunakan Pull API. 
Akses anggota tim Anggota tim tidak dapat mengonfigurasi Data Locker. 
Aplikasi tunggal/multi aplikasi Dukungan multi-aplikasi. Data locker ada di tingkat akun

Pemecahan Masalah

  • Tanda-tanda: Tidak dapat mengambil data menggunakan AWS CLI
  • Pesan kesalahan: Terjadi kesalahan (AccessDenied) saat memanggil operasi ListObjectsV2: Akses Ditolak
  • Penyebab:  Kredensial AWS yang digunakan bukan kredensial yang benar untuk bucket AppsFlyer. Ini dapat disebabkan oleh memiliki beberapa kredensial atau tidak berlaku di mesin Anda. 
  • Solusi:
    1. Gunakan metode yang berbeda, seperti Cyber Duck untuk mengakses bucket, artinya bukan CLI. Lakukan ini untuk memverifikasi bahwa kredensial yang Anda gunakan berfungsi. Jika Anda dapat terhubung menggunakan Cyber Duck, ini menunjukkan masalah dengan cache kredensial. 
    2. Segarkan cache kredensial AWS.
      Tangkapan layar dari AWS`mceclip0.png 
Apakah artikel ini membantu?