ILUSTRASI 101

• Twitter
• Home

⚠ DISCLAIMER ⚠
Bagian ini berisi informasi yang mungkin saja outdated. Jika pembaca menemukan update terbaru seputar Nightshade silakan mention saya via Twitter.

mimpi buruk generative AI : nightshade

Januari 2024 lalu, The Glaze Project kembali mempublikasikan alat untuk menghambat pergerakan generative AI : Nightshade. Diberi nama berdasarkan bunga beracun Nightshade, alat ini berfungsi meracuni dataset sehingga hasil gambar yang sudah di-generate akan berbeda dengan prompt yang dimasukkan.
Meracuni data di sini maksudnya adalah memanipulasi data yang ada untuk menghasilkan dampak yang tidak terduga.

Generative AI yang dipakai sekarang dilatih dengan pustaka data yang masif dan beragam serta terasosiasi dengan konsep/prompt berupa teks yang spesifik. Ketergantungan generative AI melalui gambar dengan teks inilah yang menjadi target racun Nightshade, yaitu dengan memberi label yang salah ke data/gambar kita.

Jadi, begitu model generative AI mempelajari data dengan label yang salah, mau tidak mau teknisi model genAI tadi harus memasukkan ulang label yang benar. Di sinilah misi utama software Nightshade ini sebenarnya, yaitu meningkatkan biaya para teknisi model AI untuk terus menerus melatih model mereka dari nol sampai tidak ada pilihan selain membayar gambar-gambar yang mereka pakai di dataset mereka.

1. CARA KERJA NIGHTSHADE

Metode kerja Nightshade hampir sama dengan alat mereka yang sebelumnya, Glaze. Mereka sama-sama mendistorsi setiap pixel gambar sehingga yang terlihat di mata manusia berbeda dengan yang dilihat mesin AI.Yang membuat Nightshade berbeda ada di kemampuannya untuk mendistorsi subyek maupun konsep yang ada di gambar menjadi sesuatu yang lain. Hasil distorsi ini akan muncul di hasil generate gambar. Ini menjadikan Nightshade tidak hanya terbatas di karya lukisan/ilustrasi, tapi bisa diaplikasikan juga ke karya-karya fotografi.

Penampakan hasil gambar generate AI sebelum dan sesudah teracuni Nightshade

Nightshade menggunakan beberapa teknik komputasi yang optimal untuk menghasilkan racun yang tersembunyi dan sangat efektif.
- hasil distorsinya tak kasat mata (meskipun masih meninggalkan artefact/tekstur yang kentara)
- sample gambar beracun yang diperlukan sedikit namun efeknya sangat kuat
- satu prompt/konsep yang teracuni bisa merembet ke prompt/konsep lain
- merusak pemahaman mesin AI tentang fitur-fitur dasar, sehingga hasil yang di-generate tidak sesuai kemauan prompters

Penampakan kasat mata beberapa gambar sebelum dan sesudah dimasukkan ke program Nightshade

Saat submit gambar yang ingin diberi Nightshade, programnya akan mempelajari subyek/konsep yang ada di gambarmu.

Kemudian secara otomatis programnya akan memberi rekomendasi tag/keyword racun yang sesuai dengan subyek/konsep gambarmu. Kamu bisa mengubahnya kalau dirasa kurang tepat atau kurang spesifik.

Setelah selesai, upload gambarmu ke internet. Ingat, ini racun, jadi jangan diumumin kalo gambarmu beracun ya 😉

Karena sifatnya yang mudah menyebar tadi, satu model AI yang teracuni beberapa gambar hasil Nightshade dengan tag racun yang bervariasi akan gagal men-generate gambar sesuai prompt dan mengeluarkan hasil visual yang berbeda dari keinginan prompters.

Contoh hasil gambar generate AI dengan meracuni konsep spesifik "dragon" juga akan merusak hasil gambar generate AI dengan konsep "fantasy art". Peneliti di The Glaze Project menduga sejumlah besar serangan racun Nightshade bakal bisa menurunkan kinerja model AI secara keseluruhan.

2. CARA PAKAI NIGHTSHADE