Sekilas: Data Locker menulis data laporan Anda ke penyimpanan cloud untuk dimuat ke sistem BI Anda. Opsi penyimpanan yang berbeda memungkinkan Anda untuk memilih antara bucket milik AppsFlyer di AWS atau bucket milik Anda di AWS atau GCS. Selain itu, Anda secara opsional dapat mengirim data ke Snowflake . Data disediakan dalam format Parquet atau CSV.
Bacaan terkait:
Data Locker
Di Data Locker, pilih aplikasi, sumber media, event, dan laporan Anda untuk disertakan dalam data yang ditulis ke penyimpanan cloud. Memuat data secara terprogram dari penyimpanan ke sistem BI Anda.
Data Locker—fitur
Fitur | Deskripsi |
---|---|
Opsi penyimpanan (cloud) |
Tersedia beberapa opsi penyimpanan. Anda dapat beralih antar opsi kapan saja. Perbedaan opsi terkait dengan penyedia layanan cloud dan kepemilikan bucket. Opsi yang tersedia:
|
Multi-aplikasi |
Streaming data dari 1, lebih, atau semua aplikasi di akun Anda. Saat Anda menambahkan aplikasi ke akun, aplikasi tersebut dapat ditambahkan secara otomatis. |
Jendela ketersediaan |
14 hari |
Pemisahan data |
Opsi pemisahan data yang tersedia
|
Opsi format data |
|
Kesegaran data |
Kesegaran data tergantung dari jenis laporan
|
Biq query dan Google Data Studio |
Jika Anda menulis data ke penyimpanan GCS, Big Query dapat langsung memuat file Data Locker Anda tanpa pemrosesan perantara. Anda dapat menggunakan alat lain melalui Big Query, seperti Google Data Studio, untuk memvisualisasikan data Anda. |
Laporan tersedia melalui Data Locker
Arsitektur penyimpanan data
Overview
Struktur data yang tersedia tergantung apakah data dikirim ke penyimpanan cloud atau data warehouse (gudang data). Struktur folder yang dijelaskan di sini berlaku untuk penyimpanan (bucket). Dalam hal penyimpanan data warehouse (Snowflake) pertimbangkan bahwa referensi ke folder berlaku untuk tampilan. Lihat Snowflake.
Data ditulis ke opsi penyimpanan yang Anda pilih. Dalam hal penyimpanan cloud, penyimpanan tersebut dimiliki oleh AppsFlyer di AWS atau dimiliki oleh Anda di AWS atau GCS. Anda dapat beralih dari satu opsi penyimpanan ke opsi penyimpanan lainnya kapan saja.
Data dalam penyimpanan diatur dalam struktur folder hierarkis, berdasarkan jenis laporan, tanggal, dan waktu. Gambar barikut berisi contoh dari struktur ini:
Data laporan tertentu ada di dalam folder hour (h) yang terkait dengan laporan tersebut:
- Jumlah folder jam bergantung pada keaktualan data laporan (per jam, harian, atau versioned (berversi)).
- Data disediakan dalam file terkompresi GZ yang memiliki format Parquet atau CSV.
- File data terdiri dari kolom (bidang).
- Struktur skema laporan perjalanan pengguna identik dan bergantung pada bidang yang Anda pilih. Laporan lain masing-masing memiliki bidang eksplisitnya sendiri, laporan tanpa skema AKA. Lihat Laporan pengiklan Data Locker untuk laporan yang tersedia dan tautan ke spesifikasi laporan.
Struktur folder
Folder | Deskripsi |
---|---|
data-locker-hourly |
Contoh struktur folder berdasarkan pemilik bucket dan penyedia layanan cloud
|
Topik (t) | Jenis laporan berkaitan dengan perihal laporan. |
Tanggal (dt) |
Ini adalah tanggal data terkait. Dalam kasus data lengkap, itu berarti tanggal terjadinya event. Dalam hal data agregat, tanggal pelaporan itu sendiri. |
Waktu (h/jam atau versi) |
Folder tanggal dibagi menjadi folder per jam (h) atau versi tergantung pada jenis laporan. Folder per jamFolder h berkaitan dengan waktu data diterima oleh AppsFlyer. Misalnya, event penginstalan diterima antara pukul 14:00-15:00 UTC ditulis ke file h=14. Perhatikan! Ada jeda sekitar 1-3 jam antara waktu data tiba di AppsFlyer hingga folder h ditulis ke Data Locker. Misalnya, folder h=14 ditulis 1 jam kemudian pada pukul 15:00 UTC. Karakteristik folder per jam:
folder versiBeberapa laporan memiliki opsi versioned (berversi). Ini berarti bahwa data terbaru untuk hari tertentu diberikan beberapa kali. Karena data dapat terus diperbarui karena data yang datang terlambat atau data yang lebih akurat, laporan yang sama memiliki beberapa versi di mana versi terbaru adalah yang paling akurat. Laporan untuk hari tertentu terdapat dalam folder versi hari itu. Setiap versi terdapat dalam folder terpisah yang namanya diatur menggunakan stempel waktu Epoch yang mengidentifikasi laporan secara unik. Proses impor data Anda harus mempertimbangkan bahwa data dapat ditulis secara surut. Misalnya, pada 14 Januari, data dapat ditulis ke folder 1 Januari. Jika bucket adalah milik Anda, pertimbangkan untuk menggunakan pemberitahuan layanan cloud untuk memicu proses impor Anda (AWS | GCS) |
Pemisahan aplikasi
Jenis pemisahan | Deskripsi |
---|---|
[Default] Terpadu |
Data untuk semua aplikasi tersedia di file data terpadu. Saat menggunakan data ini, gunakan bidang app_id tingkat baris untuk membedakan diantara aplikasi. Contoh file data ada di folder h=2 Konvensi penamaan file data adalah unique_id.gz.
|
Dipisahkan berdasarkan aplikasi |
Folder tersebut berisi sub-folder per aplikasi. File data untuk aplikasi tertentu ada di dalam folder aplikasi. Pada gambar berikut, folder h=19 berisi folder aplikasi. Setiap folder aplikasi berisi file data terkait. Perhatikan! File data tidak berisi app_id Anda harus menentukan app_id menggunakan folder. Di setiap folder aplikasi, konvensi penamaannya adalah unique_id.gz:
Batasan: Opsi ini tidak tersedia untuk laporan Atribusi Berbasis Orang (Peopled-Based Attribution/PBA). |
File data
Konten | Detail | |
---|---|---|
Flag penyelesaian |
Flag (penyelesaian) file terakhir ditetapkan saat semua data untuk folder h tertentu telah ditulis.
|
|
Jenis file |
|
|
Urutan kolom (file CSV) |
Dalam hal file CSV, urutan kolom dalam laporan selalu sama. Saat kita menambahkan kolom baru, kolom ini ditambahkan di sebelah kanan dari kolom yang ada. Dalam hal ini:
|
|
Pertimbangan dalam pengisian bidang |
Bidang kosong: Beberapa bidang diisi dengan null atau kosong. Artinya bahwa dalam konteks laporan tertentu tidak ada data untuk dilaporkan. Biasanya null berarti bahwa bidang ini tidak diisi dalam konteks laporan dan jenis aplikasi tertentu. Blank (Kosong) "" artinya bidang ini relevan dengan konteksnya tetapi tidak ada data yang ditemukan untuk diisi. Dalam hal sumber media terbatas, konten bidang terbatas disetel ke null. Secara keseluruhan, anggap null dan kosong sebagai satu kesatuan dan hal yang sama; tidak ada data yang tersedia. Zona Waktu dan Mata Uang Pengaturan zona waktu dan mata uang khusus aplikasi tidak memengaruhi data yang ditulis ke Data Locker. Berlaku hak berikut:
Nilai dengan koma: Koma ini berada di antara tanda petik dua `"`, misalnya, |
Opsi penyimpanan
Perhatian!
Jika Anda menggunakan opsi penyimpanan milik pengiklan:
- Pastikan Anda mematuhi peraturan data privasi seperti GDPR dan kebijakan penyimpanan data jaringan iklan/SRN.
- Jangan gunakan solusi penyimpanan milik pengiklan untuk mengirimkan data ke pihak ketiga.
- Data ditulis ke pemilik penyimpanan pilihan Anda sebagai berikut:
- Penyimpanan AppsFlyer
- Penyimpanan pelanggan—AWS atau GCS
- Anda dapat mengubah opsi penyimpanan kapan saja.
- Jika Anda mengubah penyimpanan, terjadi hal berikut:
- Kami mulai menulis data ke penyimpanan yang baru dipilih dalam waktu 1 jam.
- Kami terus menulis ke bucket yang ada selama masa transisi 7 hari. Waktu kedaluwarsa periode transisi ditampilkan di antarmuka pengguna. Gunakan masa transisi untuk memperbarui proses pemuatan data Anda. Anda dapat memulai kembali periode transisi atau kembali ke bucket AppsFlyer jika diperlukan.
- Mengubah bucket: Jika Anda mengubah penyimpanan, data dikirim ke kedua bucket untuk periode transisi 7 hari, memungkinkan Anda untuk menyelaraskan proses penggunaan data.
Penyimpanan milik AppsFlyer (AWS) | Penyimpanan milik pengiklan (GCS atau AWS) | |
---|---|---|
Nama bucket | Ditetapkan oleh AppsFlyer |
Misalnya: |
Kepemilikan penyimpanan | AppsFlyer | Pemasang iklan |
Platform penyimpanan | AWS | AWS, GCS, Snowflake |
Kredensial agar Anda dapat mengakses data | Tersedia di antarmuka pengguna Data Locker untuk admin akun AppsFlyer Anda | Tidak dikenal oleh AppsFlyer. Gunakan kredensial yang disediakan oleh penyedia cloud. |
Retensi data | Data dihapus setelah 14 hari | Tanggung jawab pengiklan |
Permintaan penghapusan data | Tanggung jawab AppsFlyer | Tanggung jawab pengiklan |
Keamanan | AppsFlyer mengontrol penyimpanan. Pelanggan memiliki akses baca. |
Pengiklan mengontrol penyimpanan.
|
Kapasitas penyimpanan | Dikelola oleh AppsFlyer | Dikelola oleh pengiklan |
Akses kontrol menggunakan titik akhir VPC dengan kebijakan bucket | Tidak Berlaku | [Opsional] Di AWS, jika Anda menerapkan keamanan titik akhir pada tingkat bucket, Anda harus mengizinkan server AppsFlyer. |
Pemberitahuan kepada petugas keamanan dalam hal penyimpanan yang dikontrol pelanggan
Pertimbangkan:
- Bucket ini hanya untuk penggunaan AppsFlyer. Seharusnya tidak ada entitas lain yang menulis ke ember.
- Anda dapat menghapus data di ember 25 jam setelah kami menulis data.
- Data yang kami tulis ke bucket adalah salinan data yang sudah ada di server kami. Data tetap berada di server kami sesuai dengan kebijakan penyimpanan data kami.
- Untuk alasan teknis, terkadang kami menghapus dan menulis ulang data. Untuk alasan ini, kami perlu izin menghapus dan menulis data. Kedua izin ini tidak menimbulkan risiko keamanan bagi Anda. Dalam hal menulis data, kami satu-satunya entitas yang menulis data ke bucket. Dalam hal menghapus, kami dapat membuat ulang data.
- Untuk informasi tambahan, Anda dapat menghubungi tim keamanan kami melalui hello@appsflyer.com atau CSM Anda.
Prosedur
Pengaturan Data Locker
Gunakan prosedur ini untuk mengatur Data Locker. Perubahan pada pengaturan Data Locker membutuhkan waktu 3 jam untuk diterapkan.
Prasyarat
Untuk mengatur penyimpanan milik pengiklan:
Jika Anda mengatur Data Locker menggunakan penyimpanan milik pengiklan, artinya bucket milik Anda, selesaikan salah satu prosedur berikut sekarang.
Perhatikan! Jika Anda tidak berlangganan Data Locker dan Anda mengakses analisis Kohort atau data SKAN, Anda harus menyelesaikan prosedur penyimpanan milik pengiklan.
Untuk mengatur Data Locker:
- Admin perlu melakukan pengaturan.
- Di Appsflyer, bukaIntegrasi > Data Locker.
-
Pilih tujuan data layanan cloud . Lakukan salah satu dari hal berikut:
- Pilih Bucket AppsFlyer AWS (opsi hanya tersedia untuk pelanggan Data Locker.) Lanjutkan ke langkah 4.
- Pilih WS bucket Anda.
- Masukkan nama bucket AWS Anda. Jangan memasukkan awalan
af-datalocker-
. - Klik Pengujian.
- Pastikan bahwa tidak ada pesan kesalahan yang menunjukkan bahwa bucket path tidak valid.
- Masukkan nama bucket AWS Anda. Jangan memasukkan awalan
- Pilih Bucket GCS Anda, lalu masukkan Nama bucket GCS Anda, dan terakhir klik test (tes).
- Pilih struktur folder (pemisahan data):
- [Default] Terpadu
- Dipisahkan berdasarkan aplikasi.
- Pilih format file:
- [Default] Parquet.
- CSV.
- Pilih aplikasi yang diperlukan. Pilih semua untuk secara otomatis menyertakan aplikasi yang ditambahkan di kemudian hari.
- Klik Terapkan .
- [opsional] Sumber Media: Pilih salah satu atau lebih Sumber Media untuk disertakan dalam laporan.
- Default=Semua. Ini artinya sumber media yang ditambahkan di masa mendatang ditambahkan secara otomatis.
- Pilih jenis laporanyang diperlukan. Anda harus memilih setidaknya 1 jenis laporan.
- [opsional] In-app event: Pilih in-app event untuk disertakan. Jika Anda memiliki lebih dari 100 jenis in-app event, Anda tidak dapat mencarinya. Masukkan nama mereka dengan tepat untuk memilihnya.
- Default=Semua. Ini artinya in-app event yang ditambahkan di masa mendatang ditambahkan secara otomatis.
- Klik Terapkan .
- [Opsional] Bidang: Pilih bidang yang akan disertakan dalam laporan. Catatan: Terkadang kami menyediakan bidang tambahan. Pertimbangkan hal ini dalam proses impor data Anda.
- Klik Simpan Konfigurasi. Terjadi salah satu yang berikut:
- Jika Anda memilih bucket AppsFlyer AWS:
- Bucket AWS khusus dibuat. Kredensial bucket ditampilkan.
- Bucket dapat diakses menggunakan kredensial. Kredensial memberi Anda akses hanya-baca ke bucket.
- Jika Anda memilih bucket Pelanggan: Data akan ditulis ke bucket Anda dalam waktu 3 jam.
- Jika Anda memilih bucket AppsFlyer AWS:
Reset kredensial
Admin dapat mereset kredensial bucket AppsFlyer kapan saja. Perhatikan! Jika Anda mereset kredensial, Anda harus memperbarui skrip impor data dengan kredensial yang diperbarui.
Untuk mereset kredensial:
- Di Appsflyer, bukaIntegrasi > Data Locker.
- Di bagian Credential (Kredensial), klik Reset credentials (Reset kredensial).
Muncul jendela konfirmasi. - Klik Reset.
- Tunggu (sekitar 20 detik) hingga muncul pesan Credentials successfully reset (Kredensial berhasil direset).
Tersedia pembaruan kredensial.
Informasi Tambahan
Karakteristik dan Batasan
Sifat | Catatan |
---|---|
Jaringan iklan | Tidak untuk digunakan oleh jaringan iklan |
Agensi | Tidak untuk digunakan oleh agensi |
Zona waktu khusus aplikasi | Tidak Berlaku. Folder Data Locker dibagi-bagi berdasarkan jam menggunakan UTC. Event aktual berisi waktu dalam UTC. Konversi waktu ke zona waktu lainnya sesuai kebutuhan. Apa pun zona waktu aplikasi Anda, penundaan dari terjadinya event hingga direkam di Data Locker tetap sama. |
Mata uang khusus aplikasi | Tidak didukung |
Keterbatasan ukuran | Tak dapat diterapkan |
Kesegaran data | Data diperbarui sesuai dengan keaktualan data laporan spesifik yang dirinci dalam artikel ini. |
Data historis | Tidak didukung. Jika Anda memerlukan data historis, beberapa laporan, tetapi tidak semua, tersedia melalui Pull API. |
Akses pengguna | Hanya pengguna akun dengan izin yang diperlukan yang dapat mengonfigurasi Data Locker. |
Aplikasi tunggal/multi aplikasi | Dukungan multi-aplikasi. Data locker ada di tingkat akun |
Pemecahan Masalah
- Tanda-tanda: Tidak dapat mengambil data menggunakan AWS CLI
- Pesan kesalahan: Terjadi kesalahan (AccessDenied) saat memanggil operasi ListObjectsV2: Akses Ditolak
- Penyebab: Kredensial AWS yang digunakan bukan kredensial yang benar untuk bucket AppsFlyer. Ini dapat disebabkan oleh memiliki beberapa kredensial atau tidak berlaku di mesin Anda.
-
Solusi:
- Gunakan metode yang berbeda, seperti Cyberduck untuk mengakses bucket, artinya bukan CLI. Lakukan ini untuk memverifikasi bahwa kredensial yang Anda gunakan berfungsi. Jika Anda dapat terhubung menggunakan Cyberduck, ini menunjukkan masalah dengan cache kredensial.
-
Segarkan cache kredensial AWS.
Tangkapan layar dari AWS`
Pengambilan data AWS
Gunakan alat pengambil data S3 pilihan Anda, AWS CLI, atau salah satu alat yang dijelaskan di bagian berikut. Perhatikan! Instruksi yang tepat cocok untuk bucket milik AppsFlyer. Sesuaikan instruksi sesuai kebutuhan jika Anda terhubung ke bucket.
AWS CLI
Sebelum Anda mulai:
- Instal AWS CLI di komputer Anda.
- Di AppsFlyer, buka Data Locker, ambil informasi yang tersedia di panel kredensial.
Untuk menggunakan AWS CLI:
- Buka terminal. Untuk melakukannya di Windows, <Windows> + <R> , klik OK.
Jendela baris perintah terbuka. - Masukkan konfigurasi aws
- Masukkan AWS Access Key seperti yang muncul di panel kredensial.
- Masukkan Kunci Rahasia AWS Anda seperti yang muncul di panel kredensial.
- Masukkan eu-west-1
- Tekan Enter (Tidak Ada)
Gunakan perintah CLI yang mengikuti sesuai kebutuhan.
Dalam perintah berikut, nilai {home-folder} dapat ditemukan
Untuk membuat daftar folder di bucket Anda:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/
Mendaftar file dan folder
Ada tiga jenis folder di keranjang Data Locker Anda:
- Jenis Laporan
t=
- Tanggal
dt=
- Waktu
h=
Untuk membuat daftar semua laporan dari jenis laporan tertentu:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/ t=installs /
Untuk membuat daftar semua laporan dari jenis laporan tertentu untuk hari tertentu:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17
Untuk membuat daftar semua laporan dari laporan tertentu, dalam jam tertentu dari hari tertentu:
aws s3 ls s3://af-ext-reports/{home-folder}/data-locker-hourly/t=installs/dt=2019-01-17/h=23
Untuk mengunduh file untuk tanggal tertentu:
aws s3 cp s3://af-ext-reports/<home-folder>/data-locker-hourly/t=installs/dt=2020-08-01/h=9/part-00000.gz ~/Downloads/
Cyberduck
Sebelum Anda mulai:
- Instal klien Cyberduck.
- Di AppsFlyer, buka Data Locker dan ambil informasi yang tersedia di panel kredensial.
Untuk mengonfigurasi Cyberduck:
- Di Cyberduck, klik Tindakan.
- Pilih Bookmark Baru. Jendela terbuka.
- Di kolom pertama, (ditandai [1] pada tangkapan layar yang mengikuti,) pilih Amazon S3.
- Isi bidang-bidang sebagai berikut:
- Nama Panggilan:Teks bebas
- Server: s3.amazonaws.com
- ID Kode Akses:Salin Kode Akses AWS seperti yang muncul di panel kredensial di AppsFlyer
- Kode Akses Rahasia: Salin kode Rahasia Bucket seperti yang muncul di panel kredensial di AppsFlyer.
- Jalur : {Bucket Name}/{Home Folder} Misalnya: af-ext-report / 1234-abc-ffffffff
- Tutup jendela, untuk melakukannya, gunakan X di sudut kanan atas jendela.
- Pilih koneksi.
Direktori data ditampilkan.
Browser Amazon S3
Sebelum Anda mulai:
- Pasang Browser Amazon S3.
- Di AppsFlyer, buka Data Locker dan ambil informasi yang tersedia di panel kredensial.
Untuk mengonfigurasi Browser Amazon S3 :
- Di browser S3, Klik Akun Tambahkan Akun Baru .
Jendela Tambah Akun Baru terbuka. - Isi bidang-bidang sebagai berikut:
- Nama Akun : teks bebas.
- ID Kunci Akses: salin Kunci Akses AWS seperti yang muncul di panel kredensial.
- Kunci Akses Rahasia: salin kunci Rahasia Bucket seperti yang muncul di panel kredensial.
- Pilih Enkripsi Kunci Akses dengan kata sandi dan masukkan kata sandi. Catat kata sandi ini.
- Pilih Gunakan transfer aman.
- Klik Simpan perubahan.
- Klik Bucket > Tambahkan Eksternal Bucket .
Jendela Tambah Bucket Eksternal terbuka.
- Masukkan Nama bucket.Nama Bucket memiliki format berikut: {Bucket Name}/{Home Folder}. Nilai yang diperlukan untuk nama bucket dan folder beranda muncul di jendela kredensial.
- Klik Tambahkan bucket eksternal.
Bucket dibuat dan ditampilkan di panel kiri jendela.
Anda sekarang dapat mengakses file Data Locker.