Data Locker—raw data delivery

At a glance: Data Locker writes raw-data to an AWS S3 bucket in near-real-time (lag 6 hours.) Data can be written to a bucket provided by AppsFlyer or directly to your bucket.

6133_Data_Locker_-_your_bucket.png

Data Locker

Fitur utama data locker

  • Aplikasi: mendukung banyak aplikasi yang ditambahkan secara otomatis
  • Kemudahan: data ditulis ke Amazon S3 bucket 
  • Reabilitas: data disimpan dalam AWS yang memastikan persistensi data
  • Fleksibilitas: pilih data apa yang ingin Anda sertakan 
  • Rincian : data tersegmentasi ke dalam jenis laporan, hari dan waktu
  • Aksesibilitas: tarik data saat diperlukan
  • Kesegaran data: jeda penggunaan 6 jam atau setiap hari tergantung pada jenis laporan.  Jeda waktunya tetap sama (6 jam) terlepas dari zona waktu khusus aplikasi. 
  • Kepemilikan bucket:
    • Get the data via an AppsFlyer owned bucket. Data retention: 30 days.
    • AppsFlyer writes the data directly to your bucket. Data retention: Controlled by you. 

Laporan tersedia di Data Locker

UA dan penargetan ulang
ketegori Jenis laporan (topik) Penyegaran data* Organik/Non-organik Unik untuk Data Locker
Akuisisi User Klik Jeda 6 jam N/A
Retargeting Klik Jeda 6 jam N/A
Akuisisi User Tayangan  Jeda 6 jam N/A
Retargeting Tayangan  Jeda 6 jam N/A
Akuisisi User Install Jeda 6 jam Keduanya  
Akuisisi User In-App Event  Jeda 6 jam Keduanya  
Akuisisi User Pendapatan iklan teratribusi Harian+2 Non-organik  
Akuisisi User Pendapatan iklan organik Harian+2 Organik  
Retargeting Penargetan ulang pendapatan iklan Harian+2 Non-organik  
Retargeting Konversi Jeda 6 jam Non-organik  
Retargeting In-App Event Jeda 6 jam Non-organik  
Retargeting Sesi Jeda 6 jam Keduanya
Akuisisi User Sesi Jeda 6 jam Keduanya
Akuisisi User mencopot pemasangan Harian Non-organik  
Akuisisi User Pencopotan pemasangan organik Harian Organik  
Instalasi ulang Instalasi ulang Jeda 6 jam Non-organik  
Instalasi ulang Penginstalan ulang organik Jeda 6 jam Organik  
Protect360
Jenis laporan (topik) Penyegaran data*
Instalasi yang diblokir Jeda 6 jam
In-app event yang diblokir  Jeda 6 jam
Klik terblokir Jeda 6 jam
[FF*] [AG*] Penginstalan pasca-atribusi Harian
SKAdNetwork
Kesegaran data: Harian 
Jenis laporan (topik)
[FF*] Postback
[FF*] Penginstalan
[FF*] Pengunduhan ulang
[FF*] In-app event
Atribusi Berbasis Orang
Kesegaran data: Setiap hari
Jenis laporan (topik)
[FF*] Kunjungan situs web
[FF*] website_events
[FF*] Website-assisted installs
[FF*] Jalur Konversi
Kunci singkatan

* Kunci singkatan

[FF] Bidang laporan ditetapkan oleh Appsflyer. Bidang ini tidak terkait dengan bidang yang dipilih untuk disertakan dalam laporan.

[AG] Transparansi agensi tidak didukung.

Jeda 6 jam: Data dibagi-bagi ke dalam folder jam kedatangan. Itu merupakan jam di mana event disimpan ke Data Locker. Beberapa folder data Locker ditulis sekitar 6 jam setelah waktu aktual event untuk event waktu aktual. Ada 24 folder untuk setiap jam dalam sehari, dari 0 hingga 23 dan folder tambahan untuk data yang datang terlambat. Jeda waktunya tetap sama terlepas dari zona waktu khusus aplikasi.

Daily: Reports having a data freshness rate of daily are written to the h=23 folder. These reports are typically available by 10:00-12:00 UTC in the h=23 folder of the preceding day. For example, the report for data generated during Monday is in the Monday H=23 folder. The data is available after 10:00 UTC on Tuesday. 

Harian+2: Data pendapatan iklan tersedia setelah 2 hari, artinya data yang dihasilkan selama hari Senin, akan tersedia di folder Senin H=23 setelah 06:00 UTC pada hari Rabu.

Arsitektur Data Locker

Partisi data

AppsFlyer menciptakan AWS principal (ARN dalam istilah Amazon) dan menghasilkan kredensial untuk principal tersebut. Kebijakan kemudian ditetapkan yang memungkinkan principal untuk menelusuri dan mengambil file dari bucket.

Di bucket, data diatur berdasarkan jenis laporan. Data untuk laporan tertentu disimpan di foldernya. 

Folder dan struktur file

  • Struktur folder adalah: af-ext-report /< Home Folder >/data-locker-hourly/t=<event-type > / dt = <date YYYY-MM-dd >/h=<Hour h >
    • Home Folder adalah Home Folder yang muncul di jendela Kredensial (lihat instruksi pengaturan di bagian sebelumnya) 
    • Misalnya, untuk tanggal 2016-08-12 laporan muncul di: s3://af-ext-reports/12345678911-acc-1abc234/data-locker-hourly/t=installs/dt=2016-08-12/
  • Folder dt = yyyy-mm-dd dibagi menjadi folder 25 jam. Folder ini mewakili waktu kedatangan event, bukan waktu event dari event itu sendiri. Folder diberi nama h=0, h=1, h=2, dan seterusnya, hingga h=23, dan h=terlambat. Misalnya, folder h=0 berisi event yang tiba antara pukul 00:00 UTC dan 01:00 UTC, demikian pula, folder h = 20 berisi event yang tiba antara pukul 20:00 dan 21:00.
  • Dalam setiap folder:

    • Data dapat dibagi-bagi menjadi beberapa file untuk menghindari file berukuran besar. Nama filenya adalah: part-00000, part-00001, part-00002, dan seterusnya. Dapat mencapai hingga 1000 file. Kami dapat meningkatkan jumlah maksimum ini di masa mendatang tanpa pemberitahuan sebelumnya.

    • File terakhir yang akan ditulis adalah file kosong bernama _SUCCESS. File ini adalah tanda untuk menunjukkan bahwa tidak ada data berikutnya yang akan ditulis ke folder. Oleh sebab itu, jangan membaca data dalam sebuah folder sebelum memverifikasi bahwa  file _SUCCESS ada. Catatan: Tanda _SUCCESS juga ditulis dalam kasus di mana tidak ada data yang akan ditulis pada folder. 

  • Folder terlambat

    • Folder telat berisi event pada hari sebelumnya yang tiba setelah tengah malam. Artinya tiba antara pukul 00:00–02:00 UTC keesokan harinya. Misalnya, pengguna menginstal aplikasi pada hari Senin pukul 08:00, event tiba pada hari Selasa pada pukul 01:00. Event direkam dalam folder telat Senin. 

    • Folder ini juga berisi flag _SUCCESS seperti dijelaskan pada bagian sebelumnya.

    • Data dalam folder telat tidak direkam di folder apa pun lainnya.

    • Proses otomatis harus mencari data dalam folder telat sama seperti di folder lainnya. 

Struktur dan format file

  • File Data Locker didasarkan pada Laporan Data Lengkap V5 (lihat: Laporan Data Lengkap V5).
  • File data aktual dalam format CSV tetapi tidak memiliki ekstensi file.
  • File laporan di-zip dalam .gz saat menyimpan file.
  • Setiap file memiliki baris tajuk (header).
  • Nilai-nilai yang memiliki koma di dalamnya terkandung antara tanda kutip ganda ` " `,misalnya " iPhone6,1" .

Menggunakan laporan sebagai sumber data

Anda dapat menggunakan data dari laporan dan menambahkannya ke database Anda sendiri. Untuk mengekstrak data dan menambahkannya ke database Anda, Anda perlu mengetahui format laporan. Laporan Data Locker didasarkan pada Laporan Data Lengkap. Namun, format laporan akhir tergantung pada bidang yang Anda pilih untuk dimasukkan.

Some fields are populated with null or are empty. This means that in the context of a given report there is no data to report. In general, null means this field is not populated in the context of a given report and app type. Blank "" means the field is relevant in its context but no data was found to populate it with. 

Zona Waktu dan Mata Uang

Pengaturan zona waktu dan mata uang khusus aplikasi tidak berpengaruh pada data dalam Data Locker.

  • Zona waktu : Laporan Data Locker menggunakan zona waktu UTC
  • Mata uang : Event_revenue_usd bidang adalah dalam USD. 

AppsFlyer AWS bucket vs. Customer AWS Bucket

 Perhatian!

Jika Anda menggunakan solusi Bucket AWS Klien: 

  • Pastikan Anda mematuhi peraturan data privasi seperti GDPR dan kebijakan penyimpanan data jaringan iklan/SRN.
  • Don't use the Customer AWS Bucket solution to send data to third parties. 
  • Data ditulis ke pemilik bucket pilihan Anda sebagai berikut:
    • Bucket AWS AppsFlyer
    • Customer AWS bucket
  • Anda dapat mengubah pilihan pemilik bucket kapan pun:
    • Move from an AppsFlyer AWS bucket to a Customer AWS bucket in the user interface. The change takes effect within 1 hour. This means we stop writing data to one bucket and start to write data to the newly selected bucket. 
    • If you want to stop using your Customer Bucket, select the AppsFlyer bucket. 
  Bucket AWS AppsFlyer Customer AWS bucket
Nama bucket Ditetapkan oleh AppsFlyer

Ditetapkan oleh Anda. Harus memiliki awalan af-datalocker-.

Misalnya: af-datalocker-your-bucket-name

Kepemilikan bucket AppsFlyer Customer
Tersedia platform penyimpanan AWS AWS 
Kredensial agar Anda dapat mengakses data Tersedia di antarmuka pengguna Data Locker untuk Admin Tidak dikenal oleh AppsFlyer. Gunakan kredensial AWS Anda.
Retensi data Data is deleted after 30 days Tanggung jawab Anda
Permintaan penghapusan data Tanggung jawab AppsFlyer Tanggung jawab Anda
Keamanan AppsFlyer controls the bucket. The customer has read access. The customer controls the bucket. AppsFlyer requires GetObject, ListBucket, DeleteObject, PutObject permission to the bucket. The bucket should be dedicated to AppsFlyer use. Don't use it for other purposes.
Ruang penyimpanan Dikelola oleh AppsFlyer Dikelola oleh Anda

Procedures

Pengaturan Data Locker

Gunakan prosedur ini untuk mengatur Data Locker.

Prerequisite for setting up a Customer AWS bucket:

If you are setting up Data Locker using your Customer AWS bucket, meaning a bucket owned by you, you must first complete setting up your AWS S3 bucket.

AppsFlyerAdmin_us-en.png Untuk mengatur Data Locker:

  1. Admin perlu melakukan pengaturan. 
  2. Di Appsflyer, buka Integrasi > Data Locker. 
  3. Pilih metode integrasi Amazon S3. Pilih salah satu dari yang berikut
    • Bucket AWS AppsFlyer. Lanjutkan ke langkah 4. 
    • Customer AWS bucket.
      1. Masukkan nama bucket AWS Anda. Jangan masukkan awalan af-datalocker-
      2. Klik Pengujian.
      3. Pastikan bahwa tidak ada pesan kesalahan yang menunjukkan bahwa bucket path tidak valid.
  4. Pilih satu atau lebih atau semua aplikasi.  Pilih semua untuk secara otomatis menyertakan aplikasi yang Anda tambahkan di masa mendatang.
  5. Klik Terapkan
  6. [opsional] Sumber Media: Pilih salah satu atau lebih Sumber Media untuk disertakan dalam laporan.
    • Default=Semua. Ini artinya sumber media yang ditambahkan di masa mendatang ditambahkan secara otomatis.
  7. Pilih satu atau beberapa jenis laporan .
  8. [opsional] In-app event: Pilih in-app event untuk disertakan. Jika Anda memiliki lebih dari 100 jenis in-app event, Anda tidak dapat mencarinya. Masukkan nama mereka dengan tepat untuk memilihnya. 
    • Default=Semua. Ini artinya in-app event yang ditambahkan di masa mendatang ditambahkan secara otomatis.
  9. Klik Terapkan
  10. (pilihan) Fields(default=All):  Pilih bidang yang akan disertakan dalam laporan. Catatan: Kami menambahkan bidang dari waktu ke waktu sebagai pertimbangan dalam proses impor data Anda.
  11. Klik Simpan Konfigurasi. Terjadi salah satu yang berikut:
    • Jika Anda memilih bucket AppsFlyer AWS:
      • Bucket AWS khusus dibuat. Kredensial bucket ditampilkan.
      • Bucket dapat diakses menggunakan kredensial. Kredensial memberi Anda akses hanya-baca ke bucket.
    • If you selected Customer AWS bucket:
      • Data akan mulai ditulis ke bucket AWS Anda dalam 1-2 jam.

Setup Data Locker—Your AWS S3 bucket

Prosedur di bagian ini harus dilakukan oleh admin AWS Anda.

You can delete files from Data Locker 25 or more hours after they were written. Please don't delete them before. 

Informasi latar belakang untuk admin AWS: 

  • AppsFlyer menulis data ke bucket S3 milik Anda. Untuk melakukannya, diperlukan hal-hal berikut:
    • Buat bucket dengan nama af-datalocker-mybucket. Awalan af-datalocker- wajib diisi . Akhirannya adalah teks bebas (free text).
  • Kami menyarankan af-datalocker-yyyy-mm-dd-hh-mm-free-text. Di mana yyyy-mm-dd-hh-mm adalah tanggal dan waktu saat ini, dan Anda menambahkan teks lain yang Anda inginkan seperti yang ditunjukkan dalam gambar berikut.
    Antarmuka pengguna dalam konsol AWS

    MyBucket.jpg

  • Setelah membuat bucket, berikan izin kepada AppsFlyer menggunakan prosedur berikut. 

Untuk membuat bucket dan memberikan izin kepada AppsFlyer: 

  1. Login ke konsol AWS.
  2. Buka layanan S3.
  3. Untuk membuat bucket:
    1. Klik Buat bucket.
    2. Lengkapi Nama bucket sebagai berikut: Mulai dari af-datalocker- lalu kemudian tambahkan teks lain seperti yang dijelaskan sebelumnya.
    3. Klik Create bucket (Buat bucket).
  4. Untuk memberikan izin kepada AppsFlyer:
    1. Pilih bucket. 
    2. Buka tab Permission (Izin)
    3. Di bagian Bucket policy (Kebijakan bucket), klik Edit. 
      Jendela kebijakan Bucket terbuka.
    4. Rekatkan potongan kode berikut ke jendela.
      {
        "Version": "2012-10-17",
       "Statement": [
        {
        "Sid": "AF_DataLocker_Direct",
         "Effect": "Allow",
         "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
          "Action": [
            "s3:GetObject",
            "s3:ListBucket",
            "s3:DeleteObject",
            "s3:PutObject"
           ],
           "Resource": [
             "arn:aws:s3:::af-datalocker-my-bucket",
             "arn:aws:s3:::af-datalocker-my-bucket/*"
         ]
        }
        ]
      }
      
  5. In the snippet, replace af-data-locker-my-bucket with the bucket name you created.

  6. Klik Save changes (Simpan perubahan).

  7. Selesaikan Prosedur Pengaturan Data Locker.

Reset credentials

The admin can reset the AppsFlyer AWS bucket credentials at any time. Note! If you reset the credentials you must update your data import scripts with the updated credentials.

AppsFlyerAdmin_us-en.png To reset the credentials:

  1. Di Appsflyer, buka Integrasi > Data Locker. 
  2. In the Credentials section, click Reset credentials.
    A confirmation window displays.
  3. Click Reset.
  4. Wait (about 20 seconds) until the Credentials successfully reset message displays.
    The updated credentials are available.

Pengambilan data

Gunakan alat pengambil data S3 pilihan Anda, AWS CLI, atau salah satu alat yang dijelaskan di bagian berikut.

AWS CLI

Sebelum Anda mulai:

  • Instal AWS CLI di komputer Anda.
  • Di AppsFlyer, buka Data Locker, ambil informasi yang terkandung di panel kredensial karena diperlukan untuk melakukan prosedur ini. 

Untuk menggunakan AWS CLI:

  1. Buka terminal. Untuk melakukannya di Windows, <Windows> + <R> , klik OK.
    Jendela baris perintah terbuka.
  2. Masukkan konfigurasi aws
  3. Masukkan AWS Access Key seperti yang muncul di panel kredensial.
  4. Masukkan Kunci Rahasia AWS Anda seperti yang muncul di panel kredensial.
  5. Masukkan eu-west-1
  6. Tekan Enter (Tidak Ada)

Gunakan perintah CLI yang mengikuti sesuai kebutuhan.

Dalam perintah berikut, nilai {home-folder} dapat ditemukan

Untuk membuat daftar folder di keranjang Anda

aws s3 ls s3://af-ext-reports /{home-folder}/data-locker-hourly/

Mendaftar file dan folder

Ada tiga jenis folder di keranjang Data Locker Anda:

  • Jenis Laporan t=
  • Tanggal dt=
  • Waktu h=

Untuk membuat daftar semua laporan dari jenis laporan tertentu:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/ t=installs /

Untuk membuat daftar semua laporan dari jenis laporan tertentu untuk hari tertentu:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17

Untuk membuat daftar semua laporan dari laporan tertentu, dalam jam tertentu dari hari tertentu:

aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23

Untuk mengunduh file untuk tanggal tertentu:

aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/

Cyber Duck

Sebelum Anda mulai:

  • Instal klien Cyber Duck.
  • Di AppsFlyer, buka Data Locker, ambil informasi yang terkandung di panel kredensial. Anda akan memerlukan informasi ini saat mengonfigurasi Cyber Duck. 

Untuk mengonfigurasi Cyber Duck :

  1. Di Cyber Duck, klik Tindakan.
  2. Pilih Bookmark Baru. Jendela terbuka.
  3. Di kolom pertama, (ditandai [1] pada tangkapan layar yang mengikuti,) pilih Amazon S3.

    DataDuckSmall2.png

  4. Isi bidang-bidang sebagai berikut:
    • Nama Panggilan:teks bebas
    • Server:  s3.amazonaws.com
    • ID Kunci Akses:salin Kunci Akses AWS seperti yang muncul di panel kredensial di AppFlyer
    • Kunci Akses Rahasia:   salin kunci Rahasia Bucket seperti yang muncul di panel kredensial di AppsFlyer.
    • Jalur : {Bucket Name}/{Home Folder} Misalnya: af-ext-report / 1234-abc-ffffffff
  5. Tutup jendela, untuk melakukannya, gunakan X di sudut kanan atas jendela.
  6. Pilih koneksi.
    Direktori data ditampilkan.

Browser Amazon S3

Sebelum Anda mulai:

  • Pasang Browser Amazon S3.
  • Di AppsFlyer, buka Data Locker, ambil informasi yang terkandung di panel kredensial karena diperlukan untuk melakukan prosedur ini. 

Untuk mengonfigurasi Browser Amazon S3 :

  1. Di browser S3, Klik Akun Tambahkan   Akun Baru .
    Jendela Tambah Akun Baru terbuka.

    mceclip0.png

  2. Isi bidang-bidang sebagai berikut:
    • Nama Akun : teks bebas. 
    • ID Kunci Akses: salin Kunci Akses AWS seperti yang muncul di panel kredensial. 
    • Kunci Akses Rahasia: salin kunci Rahasia Bucket seperti yang muncul di panel kredensial.
    • Pilih Enkripsi Kunci Akses dengan kata sandi dan masukkan kata sandi. Catat kata sandi ini.
    • Pilih Gunakan transfer aman. 
  3.  Klik Simpan perubahan.
  4. Klik Bucket > Tambahkan Eksternal Bucket .
    Jendela Tambah Bucket Eksternal terbuka.

    mceclip2.png

  5. Masukkan Nama bucket.Nama Bucket memiliki format berikut: {Bucket Name}/{Home Folder}. Nilai yang diperlukan untuk nama bucket dan folder beranda muncul di jendela kredensial. 
  6. Klik Tambahkan bucket eksternal.
    Bucket dibuat dan ditampilkan di panel kiri jendela.
    Anda sekarang dapat mengakses file Data Locker. 

Informasi Tambahan

Karakteristik dan Batasan

Sifat-sifat
Sifat Catatan 
Jaringan iklan Tidak untuk digunakan oleh jaringan iklan. 
Agensi Tidak untuk digunakan oleh agensi
Zona waktu khusus aplikasi Tidak Berlaku. Folder data locker dibagi-bagi berdasarkan jam menggunakan UTC. Event aktual berisi waktu dalam UTC. Konversi waktu ke zona waktu lainnya sesuai kebutuhan. Terlepas dari zona waktu aplikasi Anda, jeda waktu dari terjadinya event hingga direkam di dalam Data locker itu tetap sama; yaitu 6 jam. 
Mata uang khusus aplikasi  Tidak didukung
Keterbatasan ukuran Tak dapat diterapkan
Kesegaran data File diperbarui setiap jam dengan jeda enam jam dari waktu event.
Data historis Tidak didukung. Data event dikirim setelah mengonfigurasi Data Locker. Jika Anda membutuhkan data historis, gunakan Pull API. 
Akses anggota tim Anggota tim tidak dapat mengonfigurasi Data Locker. 
Aplikasi tunggal/multi aplikasi Dukungan multi-aplikasi. Data locker ada di tingkat akun

Pertimbangan pengembang

Dalam mempersiapkan skrip untuk memuat data ke sistem Anda, pertimbangkan hal berikut:

  • Folder sementara:
    • Dalam beberapa kasus folder sementara tetap ada. Anda harus mengabaikan folder ini.  Misalnya: /data-locker-hourly/t=inapps/dt=2020-11-13/h=2/_temporarary/0/_temporary/.
    • Gunakan hanya folder yang memiliki tanda _SUCCESS di dalamnya. 
  • Urutan kolom dalam laporan: 
    • Urutan kolom dalam laporan selalu sama. Saat kita menambahkan kolom baru, kolom ini ditambahkan di sebelah kanan dari kolom yang ada. Daftar kolom dalam antarmuka pengguna diurutkan serupa.

Pemecahan Masalah

  • Tanda-tanda: Tidak dapat mengambil data menggunakan AWS CLI
  • Pesan kesalahan: Terjadi kesalahan (AccessDenied) saat memanggil operasi ListObjectsV2: Akses Ditolak
  • Penyebab:  Kredensial AWS yang digunakan bukan kredensial yang benar untuk bucket AppsFlyer. Ini dapat disebabkan oleh memiliki beberapa kredensial atau tidak berlaku di mesin Anda. 
  • Solusi:
    1. Gunakan metode yang berbeda, seperti Cyber Duck untuk mengakses bucket, artinya bukan CLI. Lakukan ini untuk memverifikasi bahwa kredensial yang Anda gunakan berfungsi. Jika Anda dapat terhubung menggunakan Cyber Duck, ini menunjukkan masalah dengan cache kredensial. 
    2. Segarkan cache kredensial AWS.
      Tangkapan layar dari AWS`mceclip0.png 
Apakah artikel ini membantu?