Data Locker—pengaturan layanan cloud

Sekilas: Siapkan layanan cloud Anda untuk menerima data dari Data Locker: GCS, AWS, BigQuery, atau Snowflake.

Data Locker memungkinkan Anda untuk mengalirkan data ke solusi penyimpanan yang Anda pilih dan miliki, baik itu bucket atau gudang data. Atur layanan cloud Anda menggunakan salah satu prosedur berikut.

Penyimpanan cloud bucket

Penyimpanan GCS

  • Prosedur di bagian ini harus dilakukan oleh admin Google Cloud Anda.
  • Anda dapat menghapus file dari Data Locker 25 jam atau lebih setelah ditulis. Jangan hapus mereka sebelumnya.

Informasi untuk admin GCS

Data Locker adalah solusi AppsFlyer untuk streaming data ke penyimpanan.

Persyaratan

  • Buat bucket di GCS untuk penggunaan Data Locker secara eksklusif. Eksklusif berarti tidak ada layanan lain yang menulis data ke bucket. 
  • Nama bucket yang disarankan: af-datalocker.
  • Berikan izin Data Locker menggunakan prosedur berikut.

Untuk memberikan izin Data Locker:

Dalam prosedur ini, gantikan data-locker-example menggunakan nama bucket yang sebelumnya Anda buat untuk Data Locker. 

  1. Masuk ke konsol GCS Anda.
  2. Buka Penyimpanan > Peramban penyimpanan.

    mceclip0.png

  3. Pilih bucket yang sebelumnya Anda buat, misalnya data-locker-example
  4. Buka tab Permission (Izin)
  5. Klik +Tambah.
    Jendela Tambahkan anggota terbuka.
  6. Selesaikan sebagai berikut:
    1. Anggota baru, tempel cuplikan berikut.
      af-data-delivery@af-raw-data.iam.gserviceaccount.com
    2. Pilih peran: Penyimpanan cloud > Admin Objek Penyimpanan

      mceclip0.png

  7. Klik Simpan

Penyimpanan AWS

  • Prosedur di bagian ini harus dilakukan oleh admin AWS Anda.
  • Anda dapat menghapus file dari Data Locker 25 jam atau lebih setelah ditulis. Mohon jangan hapus sebelum.

Informasi untuk Admin AWS

Data Locker adalah solusi AppsFlyer untuk streaming data ke penyimpanan.

Persyaratan

  • Buat keranjang AWS dengan nama af-datalocker-mybucket. Awalan af-datalocker- adalah wajib. Akhirannya adalah teks bebas (free text).
  • Kami menyarankan af-datalocker-yyyy-mm-dd-hh-mm-free-text. Di mana yyyy-mm-dd-hh-mm adalah tanggal dan waktu saat ini, dan Anda menambahkan teks lain yang Anda inginkan seperti yang ditunjukkan dalam gambar berikut.

Antarmuka pengguna dalam konsol AWS

MyBucket.jpg

Setelah membuat bucket, beri izin kepada AppsFlyer untuk menggunakan prosedur berikut. 

Untuk membuat bucket dan memberikan izin kepada AppsFlyer: 

  1. Login ke konsol AWS.
  2. Buka layanan S3.
  3. Untuk membuat bucket:
    1. Klik Buat bucket.
    2. Lengkapi Nama bucket sebagai berikut: Mulai dari af-datalocker- lalu kemudian tambahkan teks lain seperti yang dijelaskan sebelumnya.
    3. Klik Create bucket (Buat bucket).
  4. Untuk memberikan izin kepada AppsFlyer:
    1. Pilih bucket. 
    2. Buka tab Permission (Izin)
    3. Di bagian Bucket policy (Kebijakan bucket), klik Edit. 
      Jendela kebijakan Bucket terbuka.
    4. Rekatkan potongan kode berikut ke jendela.
      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "AF_DataLocker_Direct",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
            },
            "Tindakan": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Sumber Daya": [
          "arn:aws:s3:::af-datalocker-my-bucket",
          "arn:aws:s3:::af-datalocker-my-bucket/*"
         ]
          }
        ]
      }
      
  5. Di potongan kode tersebut, ganti af-data-locker-my-bucket dengan nama bucket yang Anda buat.

  6. [Opsional] Tambahkan dukungan untuk bucket terenkripsi KMS. Untuk melakukannya, di bagian Kebijakan Kunci , pilih Beralih ke tampilan kebijakan dan rekatkan cuplikan berikut di array Pernyataan.
    {
          "Sid": "Izinkan penggunaan kunci",
       "Efek": "Izinkan",
          "Utama": {
              "AWS": "arn:aws:iam::195229424603:user/product=datalocker__envtype=prod__ns=default"
          },
       "Tindakan": "kms:GenerateDataKey*",
          "Sumber Daya": "*"
      }
    
  7. Klik Save changes (Simpan perubahan).
  8. Selesaikan Prosedur Pengaturan Data Locker.

[Beta] Penyimpanan Azure

  • Prosedur di bagian ini harus dilakukan oleh admin Azure Cloud Anda.
  • Anda dapat menghapus file dari Data Locker 25 jam atau lebih setelah ditulis. Jangan hapus mereka sebelumnya.

Informasi untuk admin Azure

Data Locker merupakan solusi AppsFlyer untuk streaming data ke akun penyimpanan Anda.

Untuk menentukan akun penyimpanan untuk Data Locker:

  1. Buka akun penyimpanan Azure
  2. Buat akun penyimpanan baru untuk mendapatkan Data Appsflyer Anda
  3. Opsional: Buat grup sumber daya baru (jika tidak ada grup sumber daya)
  4. Pilih langganan, Beri nama akun penyimpanan baru Anda, dan pilih wilayah yang relevan
  5. Aktifkan namespace hierarki
  6. Hubungi CSM Anda untuk mengaktifkan Azure di Data Locker (setelah diaktifkan, Anda memerlukan nama akun penyimpanan di atas dan kuncinya untuk memasukkan wizard koneksi baru di Data Locker)

[Beta] Penyimpanan Yandex Cloud

  • Prosedur di bagian ini harus dilakukan oleh admin Yandex Cloud Anda.
  • Anda dapat menghapus file dari Data Locker 25 jam atau lebih setelah ditulis. Jangan hapus mereka sebelumnya.

Informasi untuk admin Yandex

Data Locker adalah solusi AppsFlyer untuk streaming data ke penyimpanan.

Untuk membuat keranjang dan memberikan izin Data Locker:

  1. Di konsol Yandex CloudAnda, buka tab Akun Layanan dan klik Buat akun layanan.
  2. Beri nama akun layanan, misalnya, af-datalocker.
  3. Buat kunci akses statis untuk akun layanan. Di akun layanan:
    1. Klik Buat kunci baru.
    2. Pilih Buat kunci akses statis.
    3. Simpan ID Kunci dan Kunci Rahasia.
  4. Berikan storage.editor akun layanan baru Anda izin.
    1. Di pengaturan bucket Anda, buka Akses Bindings dan klik Tetapkan bindings.
    2. Untuk akun layanan baru Anda, tambahkan peran storage.editor dan klik Simpan.
  5. Hubungi CSM AppsFlyer Anda untuk mengaktifkan Yandex di Data Locker.
  6. Setelah diaktifkan, gunakan ID kunci dan kunci rahasia selama pengaturan Data Locker.

Penyimpanan cloud gudang data

BigQuery

Prosedur di bagian ini harus dilakukan oleh admin BigQuery Anda.

Informasi untuk Admin BigQuery

Data Locker adalah solusi AppsFlyer untuk streaming data ke penyimpanan.

Persyaratan

  • Buat set data BigQuery

Untuk membuat set data BigQuery: 

  1. Di BigQuery, buat proyek atau gunakan proyek yang sudah ada. 
  2. Di proyek, klik BUAT SET DATA.

    GCSCreateDataSEt_1_.png

  3. Berikan ID yang sesuai untuk set data.
  4. Beri AppsFlyer akses ke set data. Lihat petunjuk Big Query
  5. Selesaikan pengaturan yang tersisa sesuai kebutuhan. 

Snowflake

Hubungkan Data Locker ke akun Snowflake Anda. Dengan melakukannya, data dikirim ke Snowflake dan terus tersedia di penyimpanan cloud pilihan Anda.

Pertimbangan untuk pengembang BI

  • Tingkat keaktualan data sama dengan data yang disediakan dalam bucket. 
  • Struktur tabel dan kolom data setara dengan yang ditemukan di data yang tersedia langsung dari bucket Data Locker. 
  • Saat baris ditambahkan ke bagian Snowflake, kolom _ingestion_time diisi. Untuk memastikan keunikan baris dan untuk mencegah penyerapan baris yang sama lebih dari sekali:
    1. Simpan max_ingestion_time per tabel yang diserap.
    2. Setiap kali Anda menjalankan proses penyerapan, hanya serap baris dengan _ingestion_time > max_ingestion_time

Selesaikan prosedur berikut untuk menyambungkan Snowflake ke Data Locker. 

Prosedur konektor Snowflake

Untuk mendapatkan ID akun dan wilayah Snowflake Anda:

  1. Di Snowflake, masuk ke akun Snowflake Anda.
  2. Di bilah menu, pilih nama Anda.
    ID akun dan wilayah Anda ditampilkan.

    SnowflakeAccountId.png

Untuk menyambungkan Data Locker ke Snowflake:

  1. Di AppsFlyer, buka Integrasi> Data Locker.
  2. Pilih Snowflake.
  3. Masukkan wilayah Snowflake dan ID akun Snowflake menggunakan informasi yang Anda dapatkan sebelumnya dari Snowflake. 
  4. Klik Save.

Untuk membuat database dari berbagi di Snowflake:

  1. Di Snowflake, masuk ke akun Snowflake Anda.
  2. Beralih peran ke Accountadmin. Lihat Membuat database dari share.
  3. Pilih Bagikan.
  4. Pilih berbagi AppsFlyer. Contohnya, APPSFLYER_ACC_XXX_DATA_LOCKER. 
  5. Klik Buat Database dari Berbagi yang Aman, dan lengkapi detail yang diperlukan. Perhatikan! Anda harus memuat data dari database bersama ke dalam tabel Anda, karena data dalam database bersama hanya tersedia untuk jangka waktu terbatas (saat ini 14 hari).  
  6. Di database Anda, tabel yang diimpor ditampilkan. Nama dan struktur tabel setara dengan yang ada di bucket Data Locker.