Data Locker V2.0 high volume multi-app raw-data delivery

At a glance: AppsFlyer deposits the raw data of all your apps into an AWS bucket in near real-time. Data is stored in folders by report type, days, and hours. There is no limitation as to the volume of events that Data Locker supports. Use scripts or other software solutions to ingest the data. 

Jenis laporan acara tersedia di Data Locker

DataLockerReports.jpg

Data Locker

Fitur utama

  • Aplikasi: mendukung multi aplikasi
  • Kemudahan: Data disimpan ke dalam bucket Amazon S3 dan mengelola persyaratan penyimpanan
  • Reabilitas: data disimpan dalam AWS yang memastikan persistensi data
  • Fleksibilitas: pilih data apa yang ingin Anda sertakan dalam laporan menurut bidang dan in-app event
  • Rincian : data tersegmentasi ke dalam jenis laporan, hari dan waktu
  • Aksesibilitas: tarik data saat diperlukan

Segmentasi data

Data dalam Data Locker tersegmentasi ke dalam folder sebagai berikut:

  • Jenis laporan
  • Hari
  • Waktu

Ini berarti bahwa untuk setiap jenis laporan, pada hari tertentu, data dipisahkan ke dalam folder yang terpisah berdasarkan jam kedatangan dan bukan berdasarkan waktu event data. Misalnya, ../t=installs/dt=2019-01-17/berisi 25 folder. Ada 24 folder untuk setiap jam dalam sehari, dari 0 hingga 23 dan folder tambahan untuk data yang datang terlambat.

Data freshness: Data is separated into arrival hour folders. That is the hour that the event was deposited to Data Locker. Data Locker folders are written about six hours after the actual event time for real-time events and for Daily reports at about 06:00 UTC. 

Menerapkan Data Locker

Mengonfigurasi Data Locker

Prasyarat : Anda harus menjadi admin akun untuk mengonfigurasi Data Locker.

Untuk mengonfigurasi Data Locker :

  1. Di Appsflyer, buka Integrasi > Data Locker. 
  2. Pilih satu atau beberapa aplikasi. 
  3. Klik Terapkan
  4. (opsional) Sumber Media (default = Semua): Pilih satu atau lebih Sumber Mediauntuk dimasukkan dalam laporan. 
  5. Klik Terapkan
  6. Pilih jenis laporan: Pilih dari;
    • Acquisition: Clicks, Impressions, Installs, In-App Events, Sessions, Uninstalls, Attributed Ad Revenue, Organic Ad Revenue
    • Retargeting: Retargeting Clicks, Retargeting Impressions. Retargeting Conversions, Retargeting In-App Events, Retargeting Ad Revenue
    • Protect 360: Pemasangan yang Diblokir, Acara dalam Aplikasi yang Diblokir, Klik yang Diblokir
    • Atribusi Berbasis Orang:  Konversi Web (tersedia jika Atribusi Berbasis Orang diaktifkan). Data Atribusi Berbasis Orang adalah agregat. Laporan ini terletak di folder h=23. Contoh t=web_touch_points/dt=2019-07-19/h=23.

      Protect 360 adalah solusi premium AppsFlyer. 
  7. (opsional) Event dalam aplikasi (default = Semua) Pilih event dalam aplikasi untuk dimasukkan.
  8. Klik Terapkan
  9. (pilihan) Bidang(default=All):  Pilih bidang yang akan disertakan dalam laporan. Catatan: Kami menambahkan bidang dari waktu ke waktu.
  10. (Pilihan)  Penerima Daftar email orang untuk diberi tahu ketika laporan siap. Untuk menambahkan lebih dari satu penerima, pisahkan email menggunakan koma, misalnya, user1@example.com, user2@example.com.
  11. Klik Buat Keranjang .

Kredensial keranjang

Setelah konfigurasi disimpan, Keranjang AWS khusus dibuat. Rincian keranjang muncul di sudut kanan atas layar. Rincian ini termasuk Nama Keranjang ,Home Folder , dan kredensial untuk mengakses data.

data-credentials.png

Keranjang hanya dapat diakses menggunakan kredensial pelanggan (untuk alasan keamanan). Selain itu, semua akses ke keranjang diaudit.

Ketersediaan data

  • Data diperbarui setiap jam setelah penundaan selama enam jam
  • Setiap file menyertakan aplikasi yang dipilih 
  • Retensi: File dan folder tersedia selama 30 hari. Setelah 30 hari, data dihapus

Struktur dan format folder

  • Struktur folder adalah: af-ext-report /< Home Folder >/data-locker-hourly/t=<event-type > / dt = <date YYYY-MM-dd >/h=<Hour h >
  • Home Folder adalah Home Folder yang muncul di jendela Kredensial (lihat instruksi pengaturan di bagian sebelumnya) 
  • Misalnya, untuk tanggal 2016-08-12laporan yang relevan muncul di bawah: s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly /t=installs/dt=2016-08-12/
  • Folder dt = yyyy-mm-dd dibagi menjadi folder 25 jam. Folder ini mewakili waktu kedatangan event, bukan waktu event dari event itu sendiri. Folder diberi nama h=0, h=1, h=2, dan seterusnya, hingga h=23, dan h=terlambat. Misalnya, folder h=0 berisi event yang tiba antara pukul 00:00 dan 01:00, demikian pula, folder h = 20 berisi event yang tiba antara pukul 20:00 dan 21:00.
  • Di setiap folder, data dapat dipecah menjadi beberapa file untuk menghindari file besar. Tergantung pada jenis data yang diekspor, folder dapat berisi hingga 1000 file. Jumlah ini dapat berubah tanpa pemberitahuan. File diberi nama bagian-00000 ,bagian-00001, bagian-00002, dan seterusnya.

  • Di setiap folder, file terakhir yang akan ditulis selalu merupakan file kosong bernama _SUCCESS. File ini adalah tanda untuk menunjukkan bahwa tidak ada data lebih lanjut yang akan ditulis ke folder. Karenanya, jangan membaca data dalam sebuah folder sebelum memverifikasi bahwa  file _SUCCESS ada. Catatan: Tanda _SUCCESS juga ditulis dalam kasus di mana tidak ada data yang akan ditulis pada folder. 

Folder terlambat

Folder Terlambat berisi  event pada hari sebelumnya yang tiba setelah 0000 UTC +0 (tengah malam) tengah malam dan hingga 02:00 UTC +0. Ini juga mengandung tanda _SUCCESS seperti yang dijelaskan di bagian sebelumnya. Proses otomatis harus mencari data di folder yang terlambat seperti yang dilakukan untuk semua folder lain saat itu. 

 Contoh

Sebuah event diterima oleh AppsFlyer pada 21 Januari pukul 1:15 pagi. Event ini memiliki stempel waktu 20 Januari pukul 18:45. Karena event ini datang terlambat, ia akan ditempatkan di folder akhir di dalam folder /dt=2019-20-01/h=terlambat.

Struktur dan format file

  • File Data Locker didasarkan pada Laporan Data Lengkap V5 (lihat: Laporan Data Lengkap V5).
  • File data aktual dalam format CSV tetapi tidak memiliki ekstensi file.
  • File laporan di-zip dalam .gz format (untuk membuat proses pengunduhan menjadi efisien).
  • Setiap file memiliki baris tajuk (header).
  • Nilai-nilai yang memiliki koma di dalamnya terkandung antara tanda kutip ganda ` " `,misalnya " iPhone6,1" .

Mengambil data dari Data Locker

AppsFlyer menciptakan prinsip AWS (ARN dalam istilah Amazon) dan menghasilkan kredensial untuk prinsip tersebut. Kebijakan kemudian ditetapkan yang memungkinkan prinsip untuk menelusuri dan mengambil file dari keranjang.

Anda dapat mengakses keranjang menggunakan alat baris perintah AWS dan sebagian besar klien FTP. Untuk menggunakan alat ini, ambil kredensial, AWS Access Key dan AWS Secret, dari bagian  Kredensial .

Data dapat diakses menggunakan alat berikut, antara lain:

AWS CLI

Sebelum Anda mulai:

  • Instal AWS CLI di komputer Anda.
  • Di AppsFlyer, buka Data Locker, ambil informasi yang terkandung di panel kredensial karena diperlukan untuk melakukan prosedur ini. 

Untuk menggunakan AWS CLI:

  1. Buka terminal. Untuk melakukannya di Windows, <Windows> + <R> , klik OK.
    Jendela baris perintah terbuka.
  2. Masukkan konfigurasi aws
  3. Masukkan AWS Access Key seperti yang muncul di panel kredensial.
  4. Masukkan Kunci Rahasia AWS Anda seperti yang muncul di panel kredensial.
  5. Masukkan eu-west-1
  6. Tekan Enter (Tidak Ada)

Gunakan perintah CLI yang mengikuti sesuai kebutuhan.

Dalam perintah berikut, nilai {home-folder} dapat ditemukan

Untuk membuat daftar folder di keranjang Anda

aws s3 ls s3://af-ext-reports /{home-folder}/data-locker-hourly/

Mendaftar file dan folder

Ada tiga jenis folder di keranjang Data Locker Anda:

  • Jenis Laporan t=
  • Tanggal dt=
  • Waktu h=

Untuk membuat daftar semua laporan dari jenis laporan tertentu:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/ t=installs /

Untuk membuat daftar semua laporan dari jenis laporan tertentu untuk hari tertentu:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Untuk membuat daftar semua laporan dari laporan tertentu, dalam jam tertentu dari hari tertentu:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Cyber Duck

Sebelum Anda mulai:

  • Instal klien Cyber Duck.
  • Di AppsFlyer, buka Data Locker, ambil informasi yang terkandung di panel kredensial. Anda akan memerlukan informasi ini saat mengonfigurasi Cyber Duck. 

Untuk mengonfigurasi Cyber Duck :

  1. Di Cyber Duck, klik Tindakan.
  2. Pilih Bookmark Baru . Jendela terbuka.
  3. Di kolom pertama, (ditandai [1] pada tangkapan layar yang mengikuti,) pilih Amazon S3.

    DataDuckSmall2.png

  4. Isi bidang-bidang sebagai berikut:
    • Nama Panggilan:teks bebas
    • Server:  s3.amazonaws.com
    • ID Kunci Akses:salin Kunci Akses AWS seperti yang muncul di panel kredensial di AppFlyer
    • Kunci Akses Rahasia:   salin kunci Rahasia Bucket seperti yang muncul di panel kredensial di AppsFlyer.
    • Jalur : {Bucket Name}/{Home Folder} Misalnya: af-ext-report / 1234-abc-ffffffff
  5. Tutup jendela, untuk melakukannya, gunakan X di sudut kanan atas jendela.
  6. Pilih koneksi.
    Direktori data ditampilkan.

Browser Amazon S3

Sebelum Anda mulai:

  • Pasang Browser Amazon S3.
  • Di AppsFlyer, buka Data Locker, ambil informasi yang terkandung di panel kredensial karena diperlukan untuk melakukan prosedur ini. 

Untuk mengonfigurasi Browser Amazon S3 :

  1. Di browser S3, Klik Akun > Tambahkan   Akun Baru .
    Jendela Tambah Akun Baru terbuka.

    mceclip0.png

  2. Isi bidang-bidang sebagai berikut:
    • Nama Akun : teks bebas. 
    • ID Kunci Akses : salin Kunci Akses AWS seperti yang muncul di panel kredensial. 
    • Kunci Akses Rahasia : salin kunci Rahasia Bucket seperti yang muncul di panel kredensial.
    • Pilih Enkripsi Kunci Akses dengan kata sandi dan masukkan kata sandi. Catat kata sandi ini.
    • Pilih Gunakan transfer aman. 
  3.  Klik Simpan perubahan.
  4. Klik Bucket > Tambahkan Eksternal Bucket .
    Jendela Tambah Bucket Eksternal terbuka.

    mceclip2.png

  5. Masukkan Nama bucket.Nama Bucket memiliki format berikut: {Bucket Name}/{Home Folder}. Nilai yang diperlukan untuk nama bucket dan folder beranda muncul di jendela kredensial. 
  6. Klik Tambahkan bucket eksternal.
    Bucket dibuat dan ditampilkan di panel kiri jendela.
    Anda sekarang dapat mengakses file Data Locker. 

Jenis laporan tersedia di Data Locker

  • Tabel berikut ini mencantumkan laporan yang tersedia di Data Locker
  • Laporan yang ditandai dengan ✓+ unik untuk Data Locker dan tidak tersedia dengan cara lain di platform.
ketegori Jenis laporan (topik) Deskripsi Organik Non-organik
Akuisisi Klik Klik  - ✓+
Retargeting clicks_retargeting Klik yang berasal dari kampanye penargetan ulang  - ✓+
Akuisisi Tayangan  Tayangan  - ✓+
Retargeting impressions_retargeting Tayangan dari kampanye penargetan ulang - ✓+
Akuisisi Install Memasang 
Akuisisi inapps In-App Event 
Akuisisi attributed_ad_revenue Attributed ad revenue -
Akuisisi organic_ad_revenue Organic ad revenue -
Retargeting retargeting_ad_revenue Retargeting ad revenue -
Retargeting conversions_retargeting Penargetan ulang mencakup keterlibatan ulang dan atribusi ulang -
Retargeting inapp_retargeting Event dalam Aplikasi dari atribusi ulang dan re-engagement -
Akuisisi Sesi Sesi aplikasi ✓+ ✓+
Akuisisi mencopot pemasangan Pencopotan pemasangan non-organik  -
Akuisisi organic_uninstalls Pencopotan pemasangan organik ✓+ -
Protect360 blocked_installs Protect360 memblokir pemasangan -
Protect360 blocked_inapps Protect360 memblokir event dalam aplikasi -
Protect360 blocked_clicks Klik Protect360 yang diblokir -
Atribusi berbasis orang web_events Event web atribusi berbasis orang ✓+ ✓+
Atribusi berbasis orang web_touch_points Titik sentuh web atribusi berbasis orang ✓+ ✓+
Atribusi berbasis orang web_to_app People-based attribution web to app ✓+ ✓+
Jenis laporan acara tersedia di Data Locker

Menggunakan laporan sebagai sumber data

Anda dapat menggunakan data dari laporan dan menambahkannya ke database Anda sendiri. Untuk mengekstrak data dan menambahkannya ke database Anda, Anda perlu mengetahui format laporan. Laporan Data Locker didasarkan pada Laporan Data Lengkap. Namun, format laporan akhir tergantung pada bidang yang Anda pilih untuk dimasukkan.

Format laporan

Bidang yang tersedia di Data Locker tercantum dalam kamus bidang data V5.0

 Tips

Laporan berisi data yang dapat Anda gunakan untuk optimisasi kampanye dan penargetan ulang .

Contoh

  • Klik laporan: Laporan klik berisi IFDA atau Google Advertising ID. Anda dapat menggunakan ID ini untuk menargetkan ulang pengguna yang berinteraksi dengan iklan Anda tetapi gagal menginstal aplikasi.
  • Laporan tayangan - Seperti laporan klik, laporan tayangan juga berisi IDFA atau ID Periklanan Google. Anda dapat menggunakan laporan tayangan untuk mengoptimalkan kampanye berdasarkan tayangan yang tidak mengarah ke klik. Anda juga dapat menargetkan ulang pengguna ini dengan iklan berbeda dan kampanye berbeda.
  • Laporan penargetan ulang dan atribusi ulang - laporan ini juga mengandung IDFA atau ID Periklanan Google. Anda dapat menggunakan IDFA atau ID Iklan Google untuk menyorot pengguna yang Anda kelola untuk menargetkan ulang. Mengetahui pengguna yang Anda kelola untuk penargetan ulang dapat membantu Anda mengoptimalkan kampanye penargetan ulang.

Catatan: Untuk mendapat manfaat dari IDFA atau ID Iklan Google seperti yang dijelaskan di atas, pastikan mereka termasuk dalam semua tautan atribusi Anda.

Laporan tiap jam

Data Locker memisahkan data menjadi folder per jam. Folder per jam mewakili waktu pemrosesan dan bukan saat event itu terjadi. Data ditulis ke Data Locker dalam waktu enam jam pemrosesan. 

 Contoh

AppsFlyer menerima data untuk aktivitas antara pukul 14:00 dan 15:00 pada 17 Januari 2019. Pada suatu waktu setelah 15:00 AppsFlyer mulai memproses data. Karena pemrosesan, data tidak segera ditulis ke Data Locker. Dengan demikian data dalam folder  /t=installs/dt=2019-17-01/h=14 tidak tersedia pada 17 Januari 2019 pukul 15:00 tetapi lebih dari enam jam kemudian.

Membuat folder tiap jam

Dalam kasus di mana tidak ada data untuk jam tertentu, Data Locker membuat folder untuk jam itu. Ini untuk menunjukkan kepada Anda bahwa tidak ada data dalam jam itu. Folder tersebut akan berisi file `_SUCCESS` yang menunjukkan bahwa AppsFlyer telah menyelesaikan penulisan ke folder ini. Saat merancang proses otomatis, ini harus diperhitungkan, artinya rancang proses pengambilan data Anda sehingga mereka dapat menangani folder kosong per jam.

Klik dan tayangan SRN vs non-SRN

  • Non-SRN  menggunakan tautan atribusi AppsFlyer untuk klik dan tayangan. Ini memberi AppsFlyer set data lengkap interaksi yang kemudian ditulis ke Data Locker. 
  • SRN (Jaringan pelaporan mandiri)  tidakmenggunakan tautan atribusi AppsFlyer. Akibatnya, hanya setelah aplikasi terbuka, SRN berbagi informasi klik dan tayangan, yang kemudian ditulis ke Data Locker. Untuk memperjelas, AppsFlyer tidak mengetahui klik dan tayangan yang tidak menghasilkan aplikasi terbuka. Catatan: Laporan data agregat mencakup semua klik dan tayangan meskipun tidak ada aplikasi yang terbuka. 

Klik dan tayangan Amazon

Klik dan tayangan Amazon tidak didukung. Mereka tidak muncul dalam laporan yang disimpan di Data Locker.

Zona Waktu dan Mata Uang

Pengaturan zona waktu dan mata uang khusus aplikasi tidak berpengaruh pada data dalam Data Locker.

Zona waktu : Laporan Data Locker menggunakan zona waktu UTC

Mata uang : Event_revenue_usd bidang adalah dalam USD. 

Karakteristik dan Batasan

Sifat-sifat
Sifat Catatan 
Jaringan iklan Tidak untuk digunakan oleh jaringan iklan. 
Agensi Tidak untuk digunakan oleh agensi
Zona waktu khusus aplikasi Tidak didukung
Mata uang khusus aplikasi  Tidak didukung
Keterbatasan ukuran Tak dapat diterapkan
Pengguna aplikasi organik Didukung
Pengguna aplikasi non-organik Didukung
Kesegaran data File diperbarui setiap jam dengan jeda enam jam dari waktu event.
Data historis Tidak didukung. Data event dikirim setelah mengonfigurasi Data Locker. Jika Anda membutuhkan data historis, gunakan Pull API. 
Akses anggota tim Anggota tim tidak dapat mengonfigurasi Data Locker. 
Aplikasi tunggal/multi aplikasi Dukungan multi-aplikasi. Data locker ada di tingkat akun

Pemecahan Masalah

  • Tanda-tanda: Tidak dapat mengambil data menggunakan AWS CLI
  • Pesan kesalahanTerjadi kesalahan (AccessDenied) saat memanggil operasi ListObjectsV2: Akses Ditolak
  • Penyebab:  Kredensial AWS yang digunakan bukan kredensial yang benar untuk bucket AppsFlyer. Ini dapat disebabkan oleh memiliki beberapa kredensial atau tidak berlaku di mesin Anda. 
  • Solusi:
    1. Gunakan metode yang berbeda, seperti Cyber Duck untuk mengakses bucket, artinya bukan CLI. Lakukan ini untuk memverifikasi bahwa kredensial yang Anda gunakan berfungsi. Jika Anda dapat terhubung menggunakan Cyber Duck, ini menunjukkan masalah dengan cache kredensial. 
    2. Segarkan cache kredensial AWS.
      Tangkapan layar dari AWS`mceclip0.png 
Apakah artikel ini membantu?