Data Locker—raw data in a bucket

At a glance: Data Locker writes raw-data to an AWS S3 bucket in near-real-time (lag 6 hours.). 

Data Locker

Fitur utama data locker

  • Aplikasi: mendukung banyak aplikasi yang ditambahkan secara otomatis
  • Kemudahan: data ditulis ke Amazon S3 bucket 
  • Reabilitas: data disimpan dalam AWS yang memastikan persistensi data
  • Fleksibilitas: pilih data apa yang ingin Anda sertakan 
  • Rincian : data tersegmentasi ke dalam jenis laporan, hari dan waktu
  • Aksesibilitas: tarik data saat diperlukan
  • Kesegaran data: jeda penggunaan 6 jam atau setiap hari tergantung pada jenis laporan.  Jeda waktunya tetap sama (6 jam) terlepas dari zona waktu khusus aplikasi. 
  • Kepemilikan bucket:
    • Dapatkan data bucket milik AppsFlyer (periode penyimpanan data oleh AppsFlyer: 30 days)
    • AppsFlyer menulis data secara langsung ke bucket milik Anda

Laporan tersedia di Data Locker

UA dan penargetan ulang
ketegori Jenis laporan (topik) Penyegaran data* Organik/Non-organik Unik untuk Data Locker
Akuisisi User Klik Jeda 6 jam Keduanya
Retargeting clicks_retargeting Jeda 6 jam Keduanya
Akuisisi User Tayangan  Jeda 6 jam Keduanya
Retargeting impressions_retargeting Jeda 6 jam Non-organik
Akuisisi User Install Jeda 6 jam Keduanya  
Akuisisi User inapps Jeda 6 jam Keduanya  
Akuisisi User attributed_ad_revenue Harian** Non-organik  
Akuisisi User organic_ad_revenue Harian** Organik  
Retargeting retargeting_ad_revenue Harian** Non-organik  
Retargeting conversions_retargeting Jeda 6 jam Non-organik  
Retargeting inapps_retargeting Jeda 6 jam Non-organik  
Retargeting retargeting_sessions Jeda 6 jam Keduanya
Akuisisi User Sesi Jeda 6 jam Keduanya
Akuisisi User mencopot pemasangan Jeda 6 jam Non-organik  
Akuisisi User organic_uninstalls Harian Organik  
Preotect360
Jenis laporan (topik) Penyegaran data*
blocked_installs Jeda 6 jam
blocked_inapps Jeda 6 jam
blocked_clicks Jeda 6 jam
[FF*] [AG*] post_attribution_installs Harian
People-Based Attribution
Data freshness: Daily
Jenis laporan (topik)
[DEP*] web_events
[DEP]* web_touch_points 
[FF*] webstite_visits
[FF*] website_events
[FF*] web_to_app
[FF*] conversion-paths
Kunci singkatan

* Kunci singkatan

[FF] Bidang laporan ditetapkan oleh Appsflyer. Bidang ini tidak terkait dengan bidang yang dipilih untuk disertakan dalam laporan.

[AG] Transparansi agensi tidak didukung.

[DEP] Replaced by website_events and website_visits. Will be removed from Data Locker after December 21, 2020. 

Jeda 6 jam: Data dibagi-bagi ke dalam folder jam kedatangan. Itu merupakan jam di mana event disimpan ke Data Locker. Beberapa folder data Locker ditulis sekitar 6 jam setelah waktu aktual event untuk event waktu aktual. Ada 24 folder untuk setiap jam dalam sehari, dari 0 hingga 23 dan folder tambahan untuk data yang datang terlambat. Jeda waktunya tetap sama terlepas dari zona waktu khusus aplikasi.

Harian: Laporan yang memiliki tingkat kesegaran data harian ditulis ke folder h=23. Laporan ini biasanya tersedia pada pukul 06:00-12:00 UTC di folder h=23 pada hari sebelumnya. Misalnya, laporan untuk data yang dihasilkan selama hari Senin ada di folder Senin H=23. Data tersedia setelah pukul 06:00 UTC pada hari Selasa.

Harian**: Data pendapatan iklan tersedia setelah 2 hari, artinya data yang dihasilkan selama hari Senin, akan tersedia di folder Senin H=23 setelah 06:00 UTC pada hari Rabu.

Arsitektur Data Locker

Partisi data

AppsFlyer menciptakan AWS principal (ARN dalam istilah Amazon) dan menghasilkan kredensial untuk principal tersebut. Kebijakan kemudian ditetapkan yang memungkinkan principal untuk menelusuri dan mengambil file dari bucket.

Di bucket, data diatur berdasarkan jenis laporan. Data untuk laporan tertentu disimpan di foldernya. 

Folder dan struktur file

  • Struktur folder adalah: af-ext-report /< Home Folder >/data-locker-hourly/t=<event-type > / dt = <date YYYY-MM-dd >/h=<Hour h >
    • Home Folder adalah Home Folder yang muncul di jendela Kredensial (lihat instruksi pengaturan di bagian sebelumnya) 
    • Misalnya, untuk tanggal 2016-08-12 laporan muncul di: s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly/t=installs/dt=2016-08-12/
  • Folder dt = yyyy-mm-dd dibagi menjadi folder 25 jam. Folder ini mewakili waktu kedatangan event, bukan waktu event dari event itu sendiri. Folder diberi nama h=0, h=1, h=2, dan seterusnya, hingga h=23, dan h=terlambat. Misalnya, folder h=0 berisi event yang tiba antara pukul 00:00 UTC dan 01:00 UTC, demikian pula, folder h = 20 berisi event yang tiba antara pukul 20:00 dan 21:00.
  • Dalam setiap folder:

    • Data dapat dibagi-bagi menjadi beberapa file untuk menghindari file berukuran besar. Nama filenya adalah: part-00000, part-00001, part-00002, dan seterusnya. Dapat mencapai hingga 1000 file. Kami dapat meningkatkan jumlah maksimum ini di masa mendatang tanpa pemberitahuan sebelumnya.

    • File terakhir yang akan ditulis adalah file kosong bernama _SUCCESS. File ini adalah tanda untuk menunjukkan bahwa tidak ada data berikutnya yang akan ditulis ke folder. Oleh sebab itu, jangan membaca data dalam sebuah folder sebelum memverifikasi bahwa  file _SUCCESS ada. Catatan: Tanda _SUCCESS juga ditulis dalam kasus di mana tidak ada data yang akan ditulis pada folder. 

  • Folder terlambat

    • Folder telat berisi event pada hari sebelumnya yang tiba setelah tengah malam. Artinya tiba antara pukul 00:00–02:00 UTC keesokan harinya. Misalnya, pengguna menginstal aplikasi pada hari Senin pukul 08:00, event tiba pada hari Selasa pada pukul 01:00. Event direkam dalam folder telat Senin. 

    • Folder ini juga berisi flag _SUCCESS seperti dijelaskan pada bagian sebelumnya.

    • Data dalam folder telat tidak direkam di folder apa pun lainnya.

    • Proses otomatis harus mencari data dalam folder telat sama seperti di folder lainnya. 

Struktur dan format file

  • File Data Locker didasarkan pada Laporan Data Lengkap V5 (lihat: Laporan Data Lengkap V5).
  • File data aktual dalam format CSV tetapi tidak memiliki ekstensi file.
  • File laporan di-zip dalam .gz saat menyimpan file.
  • Setiap file memiliki baris tajuk (header).
  • Nilai-nilai yang memiliki koma di dalamnya terkandung antara tanda kutip ganda ` " `,misalnya " iPhone6,1" .

Menggunakan laporan sebagai sumber data

Anda dapat menggunakan data dari laporan dan menambahkannya ke database Anda sendiri. Untuk mengekstrak data dan menambahkannya ke database Anda, Anda perlu mengetahui format laporan. Laporan Data Locker didasarkan pada Laporan Data Lengkap. Namun, format laporan akhir tergantung pada bidang yang Anda pilih untuk dimasukkan.

Zona Waktu dan Mata Uang

Pengaturan zona waktu dan mata uang khusus aplikasi tidak berpengaruh pada data dalam Data Locker.

  • Zona waktu : Laporan Data Locker menggunakan zona waktu UTC
  • Mata uang : Event_revenue_usd bidang adalah dalam USD. 

Setting up Data Locker

Setup Data Locker

 

AppsFlyerAdmin_us-en.png To setup Data Locker:

  1. The admin needs to perform the setup. 
  2. Di Appsflyer, buka Integrasi > Data Locker. 
  3. Pilih satu atau lebih atau semua aplikasi.  Pilih semua untuk secara otomatis menyertakan aplikasi yang Anda tambahkan di masa mendatang.
  4. Klik Terapkan
  5. (pilihan) Media Source(default=All. Berarti media source (sumber media) yang ditambahkan di masa mendatang ditambahkan secara otomatis.): Pilih satu atau lebih Media Source untuk dimasukkan dalam laporan. 
  6. Klik Terapkan
  7. Pilih satu atau beberapa jenis laporan .
  8. (opsional) In-app event(default=All. Berarti bahwa in-app event yang ditambahkan di masa mendatang ditambahkan secara otomatis.): Pilih in-app event untuk disertakan. Jika Anda memiliki lebih dari 100 jenis in-app event, Anda tidak dapat mencarinya. Masukkan nama mereka dengan tepat untuk memilihnya.  
  9. Klik Terapkan
  10. (pilihan) Bidang(default=All):  Pilih bidang yang akan disertakan dalam laporan. Catatan: Kami menambahkan bidang dari waktu ke waktu sebagai pertimbangan dalam proses impor data Anda.
  11. Klik Buat Keranjang.
  12. Click Save Configuration. 
    • If you selected AppsFLyer AWS bucket:
      • A dedicated AWS bucket is created. The bucket credentials display.
      • The bucket is accessible using the credentials. The credentials provide you with read-only access to the bucket.

Pengambilan data

Gunakan alat pengambil data S3 pilihan Anda, AWS CLI, atau salah satu alat yang dijelaskan di bagian berikut.

AWS CLI

Sebelum Anda mulai:

  • Instal AWS CLI di komputer Anda.
  • Di AppsFlyer, buka Data Locker, ambil informasi yang terkandung di panel kredensial karena diperlukan untuk melakukan prosedur ini. 

Untuk menggunakan AWS CLI:

  1. Buka terminal. Untuk melakukannya di Windows, <Windows> + <R> , klik OK.
    Jendela baris perintah terbuka.
  2. Masukkan konfigurasi aws
  3. Masukkan AWS Access Key seperti yang muncul di panel kredensial.
  4. Masukkan Kunci Rahasia AWS Anda seperti yang muncul di panel kredensial.
  5. Masukkan eu-west-1
  6. Tekan Enter (Tidak Ada)

Gunakan perintah CLI yang mengikuti sesuai kebutuhan.

Dalam perintah berikut, nilai {home-folder} dapat ditemukan

Untuk membuat daftar folder di keranjang Anda

aws s3 ls s3://af-ext-reports /{home-folder}/data-locker-hourly/

Mendaftar file dan folder

Ada tiga jenis folder di keranjang Data Locker Anda:

  • Jenis Laporan t=
  • Tanggal dt=
  • Waktu h=

Untuk membuat daftar semua laporan dari jenis laporan tertentu:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/ t=installs /

Untuk membuat daftar semua laporan dari jenis laporan tertentu untuk hari tertentu:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Untuk membuat daftar semua laporan dari laporan tertentu, dalam jam tertentu dari hari tertentu:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Untuk mengunduh file untuk tanggal tertentu:

aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

Cyber Duck

Sebelum Anda mulai:

  • Instal klien Cyber Duck.
  • Di AppsFlyer, buka Data Locker, ambil informasi yang terkandung di panel kredensial. Anda akan memerlukan informasi ini saat mengonfigurasi Cyber Duck. 

Untuk mengonfigurasi Cyber Duck :

  1. Di Cyber Duck, klik Tindakan.
  2. Pilih Bookmark Baru. Jendela terbuka.
  3. Di kolom pertama, (ditandai [1] pada tangkapan layar yang mengikuti,) pilih Amazon S3.

    DataDuckSmall2.png

  4. Isi bidang-bidang sebagai berikut:
    • Nama Panggilan:teks bebas
    • Server:  s3.amazonaws.com
    • Access Key ID: copy the AWS Access Key as it appears in the credentials panel in AppFlyer
    • Kunci Akses Rahasia:   salin kunci Rahasia Bucket seperti yang muncul di panel kredensial di AppsFlyer.
    • Jalur : {Bucket Name}/{Home Folder} Misalnya: af-ext-report / 1234-abc-ffffffff
  5. Tutup jendela, untuk melakukannya, gunakan X di sudut kanan atas jendela.
  6. Pilih koneksi.
    Direktori data ditampilkan.

Browser Amazon S3

Sebelum Anda mulai:

  • Pasang Browser Amazon S3.
  • Di AppsFlyer, buka Data Locker, ambil informasi yang terkandung di panel kredensial karena diperlukan untuk melakukan prosedur ini. 

Untuk mengonfigurasi Browser Amazon S3 :

  1. Di browser S3, Klik Akun Tambahkan   Akun Baru .
    Jendela Tambah Akun Baru terbuka.

    mceclip0.png

  2. Isi bidang-bidang sebagai berikut:
    • Nama Akun : teks bebas. 
    • ID Kunci Akses: salin Kunci Akses AWS seperti yang muncul di panel kredensial. 
    • Kunci Akses Rahasia: salin kunci Rahasia Bucket seperti yang muncul di panel kredensial.
    • Pilih Enkripsi Kunci Akses dengan kata sandi dan masukkan kata sandi. Catat kata sandi ini.
    • Pilih Gunakan transfer aman. 
  3.  Klik Simpan perubahan.
  4. Klik Bucket > Tambahkan Eksternal Bucket .
    Jendela Tambah Bucket Eksternal terbuka.

    mceclip2.png

  5. Masukkan Nama bucket.Nama Bucket memiliki format berikut: {Bucket Name}/{Home Folder}. Nilai yang diperlukan untuk nama bucket dan folder beranda muncul di jendela kredensial. 
  6. Klik Tambahkan bucket eksternal.
    Bucket dibuat dan ditampilkan di panel kiri jendela.
    Anda sekarang dapat mengakses file Data Locker. 

Informasi Tambahan

Karakteristik dan Batasan

Sifat-sifat
Sifat Catatan 
Jaringan iklan Tidak untuk digunakan oleh jaringan iklan. 
Agensi Tidak untuk digunakan oleh agensi
Zona waktu khusus aplikasi Tidak Berlaku. Folder data locker dibagi-bagi berdasarkan jam menggunakan UTC. Event aktual berisi waktu dalam UTC. Konversi waktu ke zona waktu lainnya sesuai kebutuhan. Terlepas dari zona waktu aplikasi Anda, jeda waktu dari terjadinya event hingga direkam di dalam Data locker itu tetap sama; yaitu 6 jam. 
Mata uang khusus aplikasi  Tidak didukung
Keterbatasan ukuran Tak dapat diterapkan
Kesegaran data File diperbarui setiap jam dengan jeda enam jam dari waktu event.
Data historis Tidak didukung. Data event dikirim setelah mengonfigurasi Data Locker. Jika Anda membutuhkan data historis, gunakan Pull API. 
Akses anggota tim Anggota tim tidak dapat mengonfigurasi Data Locker. 
Aplikasi tunggal/multi aplikasi Dukungan multi-aplikasi. Data locker ada di tingkat akun

Pemecahan Masalah

  • Tanda-tanda: Tidak dapat mengambil data menggunakan AWS CLI
  • Pesan kesalahan: Terjadi kesalahan (AccessDenied) saat memanggil operasi ListObjectsV2: Akses Ditolak
  • Penyebab:  Kredensial AWS yang digunakan bukan kredensial yang benar untuk bucket AppsFlyer. Ini dapat disebabkan oleh memiliki beberapa kredensial atau tidak berlaku di mesin Anda. 
  • Solusi:
    1. Gunakan metode yang berbeda, seperti Cyber Duck untuk mengakses bucket, artinya bukan CLI. Lakukan ini untuk memverifikasi bahwa kredensial yang Anda gunakan berfungsi. Jika Anda dapat terhubung menggunakan Cyber Duck, ini menunjukkan masalah dengan cache kredensial. 
    2. Segarkan cache kredensial AWS.
      Tangkapan layar dari AWS`mceclip0.png 
Apakah artikel ini membantu?