Menggunakan Data Locker—data lengkap disimpan ke dalam S3 bucket

Sekilas: Data Locker menyimpan data lengkap ke dalam AWS S3 bucket mendekati waktu aktual (jeda 6 jam.) Volume data tidak terbatas. Retensi data adalah 30 hari. 

Data Locker

Fitur utama data locker

  • Aplikasi: mendukung banyak aplikasi yang dapat secara otomatis ditambahkan saat Anda menambahkan aplikasi
  • Kemudahan: Data disimpan ke dalam bucket Amazon S3 dan mengelola persyaratan penyimpanan
  • Reabilitas: data disimpan dalam AWS yang memastikan persistensi data
  • Fleksibilitas: pilih data apa yang ingin Anda sertakan dalam laporan menurut bidang dan in-app event
  • Rincian : data tersegmentasi ke dalam jenis laporan, hari dan waktu
  • Aksesibilitas: tarik data saat diperlukan
  • Kesegaran data: jeda penggunaan 6 jam atau setiap hari tergantung pada jenis laporan.  Jeda waktunya tetap sama (6 jam) terlepas dari zona waktu khusus aplikasi. 
ketegori Jenis laporan (topik) Penyegaran data* Organik* Non-organik*
Akuisisi User Klik Jeda 6 jam - ✓+
Retargeting clicks_retargeting Jeda 6 jam - ✓+
Akuisisi User Tayangan  Jeda 6 jam - ✓+
Retargeting impressions_retargeting Jeda 6 jam - ✓+
Akuisisi User Install Jeda 6 jam
Akuisisi User inapps Jeda 6 jam
Akuisisi User attributed_ad_revenue Daily* -
Akuisisi User organic_ad_revenue Daily* -
Retargeting retargeting_ad_revenue Daily* -
Retargeting conversions_retargeting Jeda 6 jam -
Retargeting inapps_retargeting Jeda 6 jam -
Retargeting retargeting_sessions Jeda 6 jam - ✓+
Akuisisi User Sesi Jeda 6 jam ✓+ ✓+
Akuisisi User mencopot pemasangan Jeda 6 jam -
Akuisisi User organic_uninstalls Harian ✓+ -
Protect360 blocked_installs Jeda 6 jam -
Protect360 blocked_inapps Jeda 6 jam -
Protect360 blocked_clicks Jeda 6 jam -
Protect360 [FF] post_attribution_installs Harian -
People-Based Attribution web_events Harian ✓+ ✓+
People-Based Attribution web_touch_points  Harian ✓+ ✓+
People-Based Attribution [FF] web_to_app Harian ✓+ ✓+
People-Based Attribution [FF] conversion-paths Harian ✓+ ✓+

* Kunci singkatan

✓+ laporan unik untuk Data Locker

[FF] Report fields are fixed by Appsflyer.  They are not related to the fields selected for inclusion in reports.

Jeda 6 jam: Data dibagi-bagi ke dalam folder jam kedatangan. Itu merupakan jam di mana event disimpan ke Data Locker. Beberapa folder data Locker ditulis sekitar 6 jam setelah waktu aktual event untuk event waktu aktual. Ada 24 folder untuk setiap jam dalam sehari, dari 0 hingga 23 dan folder tambahan untuk data yang datang terlambat. Jeda waktunya tetap sama terlepas dari zona waktu khusus aplikasi.

Daily: Reports having a data freshness rate of daily are written to the h=23 folder. These reports are typically available at 06:00-12:00 UTC in the h=23 folder of the preceding day. For example, the report for data generated during Monday is in the Monday H=23 folder. The data is available after 06:00 UTC on Tuesday.

Daily*: Ad revenue data is available after 2 days, meaning that data generated during Monday, becomes available in the Monday H=23 folder after 06:00 UTC on Wednesday.

Jenis laporan tersedia di Data Locker

Segmentasi data

DataLockerFolders_us-en.png

Data di dalam bucket terbagi menjadi beberapa folder sebagai berikut:

  • t=topic (topik)
  • dt=date (tanggal)
  • h=hour (jam)

Ini berarti bahwa untuk setiap jenis laporan, pada hari tertentu, data dipisahkan ke dalam folder yang terpisah berdasarkan jam kedatangan dan bukan berdasarkan waktu event data. Misalnya, ../t=installs/dt=2019-01-17/berisi 25 folder.

Untuk memahami struktur folder dan cara kerja segmentasi per jam, lihat struktur folder dan format .

Menerapkan Data Locker

Mengonfigurasi Data Locker

Prasyarat: Admin harus mengonfigurasi Data Locker. Anggota tim dapat melihat pengaturan. 

AppsFlyerAdmin_us-en.png Untuk mengonfigurasi Data Locker

  1. Di Appsflyer, buka Integrasi > Data Locker. 
  2. Pilih satu atau lebih atau semua aplikasi.  Pilih semua untuk secara otomatis menyertakan aplikasi yang Anda tambahkan di masa mendatang.
  3. Klik Terapkan
  4. (pilihan) Media Source(default=All. Berarti media source (sumber media) yang ditambahkan di masa mendatang ditambahkan secara otomatis.): Pilih satu atau lebih Media Source untuk dimasukkan dalam laporan. 
  5. Klik Terapkan
  6. Pilih satu atau beberapa jenis laporan .
  7. (opsional) In-app event(default=All. Berarti bahwa in-app event yang ditambahkan di masa mendatang ditambahkan secara otomatis.): Pilih in-app event untuk disertakan. Jika Anda memiliki lebih dari 100 jenis in-app event, Anda tidak dapat mencarinya. Masukkan nama mereka dengan tepat untuk memilihnya.  
  8. Klik Terapkan
  9. [optional] Fields (default=All): Select the fields to include in the reports. Note: We add fields from time to time take this into account in your data import process..
  10. Klik Buat Keranjang .

Kredensial keranjang

Setelah konfigurasi disimpan, Keranjang AWS khusus dibuat. Rincian keranjang muncul di sudut kanan atas layar. Rincian ini termasuk Nama Keranjang ,Home Folder , dan kredensial untuk mengakses data.

data-credentials.png

  • Bucket dapat diakses menggunakan kredensial.
  • Akses ke bucket diaudit. 
  • Pemilik bucket adalah AppsFlyer. Kami memiliki hak akses baca/tulis.
  • Pemilik aplikasi telah membaca hak aksesnya. 

Ketersediaan data

  • Data diperbarui setiap jam setelah penundaan selama enam jam
  • Setiap file menyertakan aplikasi yang dipilih 
  • Retensi: File dan folder tersedia selama 30 hari. Setelah 30 hari, data dihapus

Struktur dan format folder

  • Struktur folder adalah: af-ext-report /< Home Folder >/data-locker-hourly/t=<event-type > / dt = <date YYYY-MM-dd >/h=<Hour h >
  • Home Folder adalah Home Folder yang muncul di jendela Kredensial (lihat instruksi pengaturan di bagian sebelumnya) 
  • Misalnya, untuk tanggal 2016-08-12laporan yang relevan muncul di bawah: s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly /t=installs/dt=2016-08-12/
  • Folder dt = yyyy-mm-dd dibagi menjadi folder 25 jam. Folder ini mewakili waktu kedatangan event, bukan waktu event dari event itu sendiri. Folder diberi nama h=0, h=1, h=2, dan seterusnya, hingga h=23, dan h=terlambat. Misalnya, folder h=0 berisi event yang tiba antara pukul 00:00 dan 01:00, demikian pula, folder h = 20 berisi event yang tiba antara pukul 20:00 dan 21:00.
  • Dalam setiap folder:

    • Data dapat dibagi-bagi menjadi beberapa file untuk menghindari file berukuran besar.  Nama filenya adalah: part-00000, part-00001, part-00002, dan seterusnya. Dapat mencapai hingga 1000 file. Kami dapat meningkatkan jumlah maksimum ini di masa mendatang tanpa pemberitahuan sebelumnya.

    • File terakhir yang akan ditulis adalah file kosong bernama _SUCCESS. File ini adalah tanda untuk menunjukkan bahwa tidak ada data berikutnya yang akan ditulis ke folder. Oleh sebab itu, jangan membaca data dalam sebuah folder sebelum memverifikasi bahwa  file _SUCCESS ada. Catatan: Tanda _SUCCESS juga ditulis dalam kasus di mana tidak ada data yang akan ditulis pada folder. 

Folder terlambat

Folder Terlambat berisi  event pada hari sebelumnya yang tiba setelah 0000 UTC +0 (tengah malam) tengah malam dan hingga 02:00 UTC +0. Ini juga mengandung tanda _SUCCESS seperti yang dijelaskan di bagian sebelumnya. Proses otomatis harus mencari data di folder yang terlambat seperti yang dilakukan untuk semua folder lain saat itu. 

 Contoh

Sebuah event diterima oleh AppsFlyer pada 21 Januari pukul 1:15 pagi. Event ini memiliki stempel waktu 20 Januari pukul 18:45. Karena event ini datang terlambat, ia akan ditempatkan di folder akhir di dalam folder /dt=2019-20-01/h=terlambat.

Struktur dan format file

  • File Data Locker didasarkan pada Laporan Data Lengkap V5 (lihat: Laporan Data Lengkap V5).
  • File data aktual dalam format CSV tetapi tidak memiliki ekstensi file.
  • File laporan di-zip dalam .gz format (untuk membuat proses pengunduhan menjadi efisien).
  • Setiap file memiliki baris tajuk (header).
  • Nilai-nilai yang memiliki koma di dalamnya terkandung antara tanda kutip ganda ` " `,misalnya " iPhone6,1" .

Mengambil data dari Data Locker

AppsFlyer menciptakan prinsip AWS (ARN dalam istilah Amazon) dan menghasilkan kredensial untuk prinsip tersebut. Kebijakan kemudian ditetapkan yang memungkinkan prinsip untuk menelusuri dan mengambil file dari keranjang.

Anda dapat mengakses keranjang menggunakan alat baris perintah AWS dan sebagian besar klien FTP. Untuk menggunakan alat ini, ambil kredensial, AWS Access Key dan AWS Secret, dari bagian  Kredensial .

Data dapat diakses menggunakan alat berikut, antara lain:

AWS CLI

Sebelum Anda mulai:

  • Instal AWS CLI di komputer Anda.
  • Di AppsFlyer, buka Data Locker, ambil informasi yang terkandung di panel kredensial karena diperlukan untuk melakukan prosedur ini. 

Untuk menggunakan AWS CLI:

  1. Open the terminal. To do so in Windows, <Windows>+<R>, click OK.
    The command line window opens.
  2. Masukkan konfigurasi aws
  3. Masukkan AWS Access Key seperti yang muncul di panel kredensial.
  4. Masukkan Kunci Rahasia AWS Anda seperti yang muncul di panel kredensial.
  5. Masukkan eu-west-1
  6. Tekan Enter (Tidak Ada)

Gunakan perintah CLI yang mengikuti sesuai kebutuhan.

Dalam perintah berikut, nilai {home-folder} dapat ditemukan

Untuk membuat daftar folder di keranjang Anda

aws s3 ls s3://af-ext-reports /{home-folder}/data-locker-hourly/

Mendaftar file dan folder

Ada tiga jenis folder di keranjang Data Locker Anda:

  • Jenis Laporan t=
  • Tanggal dt=
  • Waktu h=

Untuk membuat daftar semua laporan dari jenis laporan tertentu:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/ t=installs /

Untuk membuat daftar semua laporan dari jenis laporan tertentu untuk hari tertentu:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Untuk membuat daftar semua laporan dari laporan tertentu, dalam jam tertentu dari hari tertentu:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Untuk mengunduh file untuk tanggal tertentu:

aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

Cyber Duck

Sebelum Anda mulai:

  • Instal klien Cyber Duck.
  • Di AppsFlyer, buka Data Locker, ambil informasi yang terkandung di panel kredensial. Anda akan memerlukan informasi ini saat mengonfigurasi Cyber Duck. 

Untuk mengonfigurasi Cyber Duck :

  1. Di Cyber Duck, klik Tindakan.
  2. Pilih Bookmark Baru . Jendela terbuka.
  3. Di kolom pertama, (ditandai [1] pada tangkapan layar yang mengikuti,) pilih Amazon S3.

    DataDuckSmall2.png

  4. Isi bidang-bidang sebagai berikut:
    • Nama Panggilan:teks bebas
    • Server:  s3.amazonaws.com
    • ID Kunci Akses:salin Kunci Akses AWS seperti yang muncul di panel kredensial di AppFlyer
    • Kunci Akses Rahasia:   salin kunci Rahasia Bucket seperti yang muncul di panel kredensial di AppsFlyer.
    • Jalur : {Bucket Name}/{Home Folder} Misalnya: af-ext-report / 1234-abc-ffffffff
  5. Tutup jendela, untuk melakukannya, gunakan X di sudut kanan atas jendela.
  6. Select the connection.
    The data directories are displayed.

Browser Amazon S3

Sebelum Anda mulai:

  • Pasang Browser Amazon S3.
  • Di AppsFlyer, buka Data Locker, ambil informasi yang terkandung di panel kredensial karena diperlukan untuk melakukan prosedur ini. 

Untuk mengonfigurasi Browser Amazon S3 :

  1. In the S3 browser, Click Accounts > Add New Account.
    The Add New Account window opens.

    mceclip0.png

  2. Isi bidang-bidang sebagai berikut:
    • Nama Akun : teks bebas. 
    • ID Kunci Akses : salin Kunci Akses AWS seperti yang muncul di panel kredensial. 
    • Kunci Akses Rahasia : salin kunci Rahasia Bucket seperti yang muncul di panel kredensial.
    • Pilih Enkripsi Kunci Akses dengan kata sandi dan masukkan kata sandi. Catat kata sandi ini.
    • Pilih Gunakan transfer aman. 
  3.  Klik Simpan perubahan.
  4. Click Buckets > Add External Bucket.
    The Add External Bucket window opens.

    mceclip2.png

  5. Masukkan Nama bucket.Nama Bucket memiliki format berikut: {Bucket Name}/{Home Folder}. Nilai yang diperlukan untuk nama bucket dan folder beranda muncul di jendela kredensial. 
  6. Click Add External bucket.
    The bucket is created and displays in the left panel of the window.
    You can now access the Data Locker files. 

Format dan folder laporan

Menggunakan laporan sebagai sumber data

Anda dapat menggunakan data dari laporan dan menambahkannya ke database Anda sendiri. Untuk mengekstrak data dan menambahkannya ke database Anda, Anda perlu mengetahui format laporan. Laporan Data Locker didasarkan pada Laporan Data Lengkap. Namun, format laporan akhir tergantung pada bidang yang Anda pilih untuk dimasukkan.

Format laporan

Bidang yang tersedia di Data Locker tercantum dalam kamus bidang data V5.0

 Tips

Laporan berisi data yang dapat Anda gunakan untuk optimisasi kampanye dan penargetan ulang .

Laporan tiap jam

Data Locker memisahkan data menjadi folder per jam. Folder per jam mewakili waktu pemrosesan dan bukan saat event itu terjadi. Data ditulis ke Data Locker dalam waktu enam jam pemrosesan. 

 Contoh

AppsFlyer menerima data untuk aktivitas antara pukul 14:00 dan 15:00 pada 17 Januari 2019. Pada suatu waktu setelah 15:00 AppsFlyer mulai memproses data. Karena pemrosesan, data tidak segera ditulis ke Data Locker. Dengan demikian data dalam folder  /t=installs/dt=2019-17-01/h=14 tidak tersedia pada 17 Januari 2019 pukul 15:00 tetapi lebih dari enam jam kemudian.

Membuat folder tiap jam

Dalam kasus di mana tidak ada data untuk jam tertentu, Data Locker membuat folder untuk jam itu. Ini untuk menunjukkan kepada Anda bahwa tidak ada data dalam jam itu. Folder tersebut akan berisi file `_SUCCESS` yang menunjukkan bahwa AppsFlyer telah menyelesaikan penulisan ke folder ini. Saat merancang proses otomatis, ini harus diperhitungkan, artinya rancang proses pengambilan data Anda sehingga mereka dapat menangani folder kosong per jam.

Zona Waktu dan Mata Uang

Pengaturan zona waktu dan mata uang khusus aplikasi tidak berpengaruh pada data dalam Data Locker.

Zona waktu : Laporan Data Locker menggunakan zona waktu UTC

Mata uang : Event_revenue_usd bidang adalah dalam USD. 

Karakteristik dan Batasan

Sifat-sifat
Sifat Catatan 
Jaringan iklan Tidak untuk digunakan oleh jaringan iklan. 
Agensi Tidak untuk digunakan oleh agensi
Zona waktu khusus aplikasi Tidak Berlaku. Folder data locker dibagi-bagi berdasarkan jam menggunakan UTC. Event aktual berisi waktu dalam UTC. Konversi waktu ke zona waktu lainnya sesuai kebutuhan. Terlepas dari zona waktu aplikasi Anda, jeda waktu dari terjadinya event hingga direkam di dalam Data locker itu tetap sama; yaitu 6 jam. 
Mata uang khusus aplikasi  Tidak didukung
Keterbatasan ukuran Tak dapat diterapkan
Kesegaran data File diperbarui setiap jam dengan jeda enam jam dari waktu event.
Data historis Tidak didukung. Data event dikirim setelah mengonfigurasi Data Locker. Jika Anda membutuhkan data historis, gunakan Pull API. 
Akses anggota tim Anggota tim tidak dapat mengonfigurasi Data Locker. 
Aplikasi tunggal/multi aplikasi Dukungan multi-aplikasi. Data locker ada di tingkat akun

Pemecahan Masalah

  • Tanda-tanda: Tidak dapat mengambil data menggunakan AWS CLI
  • Pesan kesalahanTerjadi kesalahan (AccessDenied) saat memanggil operasi ListObjectsV2: Akses Ditolak
  • Penyebab:  Kredensial AWS yang digunakan bukan kredensial yang benar untuk bucket AppsFlyer. Ini dapat disebabkan oleh memiliki beberapa kredensial atau tidak berlaku di mesin Anda. 
  • Solusi:
    1. Gunakan metode yang berbeda, seperti Cyber Duck untuk mengakses bucket, artinya bukan CLI. Lakukan ini untuk memverifikasi bahwa kredensial yang Anda gunakan berfungsi. Jika Anda dapat terhubung menggunakan Cyber Duck, ini menunjukkan masalah dengan cache kredensial. 
    2. Refresh the AWS credentials cache.
      Screenshot from AWS`mceclip0.png 
Apakah artikel ini membantu?