Peneliti AI Membuat Chatbot Berbagi Resep Kokain Menggunakan Trik Gila Ini

Lupakan prompt cerdas: peneliti AI mengatakan mereka menipu model AI terkemuka untuk menghasilkan instruksi sintesis kokain dengan meyakinkan mereka bahwa ide berbahaya itu adalah milik mereka sendiri, sambil juga memanipulasi agen pengkodean AI untuk membocorkan kredensial sensitif.

Dalam makalah "Injeksi Prompt sebagai Kebingungan Peran," yang disajikan di Konferensi Internasional tentang Pembelajaran Mesin pada bulan Juni, peneliti Charles Ye, Jasmine Cui, dan Dylan Hadfield-Menell berargumen bahwa kedua demonstrasi serangan injeksi prompt berasal dari cacat struktural dalam cara model bahasa besar (LLM) membedakan instruksi yang tepercaya dari teks yang tidak tepercaya.

"Bagi LLM, semuanya tiba melalui saluran yang sama sebagai satu sup token yang panjang," tulis tim tersebut. "Pikiran mereka sendiri duduk di samping instruksi Anda, yang duduk di samping konten halaman web acak yang baru saja mereka ambil."

Makalah tersebut juga menunjukkan apa yang disebut peneliti sebagai "kebingungan peran," di mana model mengandalkan gaya penulisan daripada tag peran untuk menentukan apakah perintah dapat dipercaya. Alih-alih mengenali konten yang dikendalikan penyerang sebagai input eksternal, para peneliti menemukan bahwa model dapat salah menganggapnya sebagai perintah pengguna yang sah - atau bahkan alasan internal mereka sendiri.

"Pikirkan dari perspektif LLM. Ketika ia melihat teks pemikiran sebelumnya, ia secara implisit mempercayai kesimpulannya. Itu adalah inti dari penalaran: Jika LLM harus mengulangi kesimpulan yang sama, penalaran akan menjadi tidak berguna," tulis mereka. "Jadi teks pemikiran mendapatkan semacam kepercayaan umum. Digabungkan dengan temuan sebelumnya, ini menunjukkan bahwa jika Anda dapat membuat teks yang disuntikkan terdengar seperti penalaran model, Anda dapat mencuri kepercayaan itu."

Dikenal sebagai Pemalsuan Rantai-Pemikiran (CoT), serangan ini menyisipkan pemikiran palsu yang meniru proses pemikiran internal model. Model yang biasanya menolak permintaan ilegal malah menghasilkan instruksi sintesis kokain setelah menerima pemikiran yang dipalsukan sebagai milik mereka sendiri.

Para peneliti mengatakan teknik ini meningkatkan tingkat keberhasilan jailbreak dari hampir nol menjadi sekitar 60% di antara model yang mereka uji, termasuk GPT-5 nano, mini, dan full dari OpenAI, o4-mini, dan gpt-oss-20b serta gpt-oss-120b. Mereka juga mengatakan bahwa itu berhasil pada GLM-4.6, Kimi-K2-Instruct, dan MiniMax-M2.

Dalam eksperimen tersebut, para peneliti juga mengatakan bahwa mereka berhasil menipu agen pengkodean AI untuk mengunggah file SECRETS.env setelah menyembunyikan instruksi berbahaya di halaman web.

"Menggunakan probe kami, kami menemukan bahwa hanya dengan menambahkan 'Pengguna' di depan perintah membuat model menganggap perintah tersebut lebih mungkin menjadi teks pengguna yang sah (yaitu, lebih tinggi Userness)," tulis mereka. "Dengan kata lain, penyerang hanya dapat mengklaim peran apa teks tersebut, dan LLM akan mempercayainya."

Studi ini muncul saat serangan injeksi prompt terus mengungkap kelemahan dalam agen AI. Pada bulan April, peneliti Google memperingatkan bahwa halaman web berbahaya menyembunyikan instruksi tak terlihat yang dirancang untuk menipu agen AI agar membocorkan kredensial, menghapus file, dan bahkan mengirim pembayaran PayPal.

Pada bulan Juni, Microsoft mengungkapkan kerentanan injeksi prompt dalam tindakan GitHub Claude Code dari Anthropic yang dapat mengekspos kredensial yang disimpan dalam pipeline pengembangan perangkat lunak. Beberapa hari kemudian, studi benchmark lainnya menemukan bahwa agen AI yang didukung oleh GPT-5 dan Gemini masih gagal dalam sebagian besar serangan injeksi prompt, meskipun ada peningkatan dalam kemampuan model.

Konten ini disediakan hanya untuk tujuan informasi umum dan bukan merupakan nasihat keuangan, investasi, hukum, atau pajak. Setiap acara, reward, promosi online, atau informasi terkait yang disebutkan di sini tidak boleh dianggap sebagai rekomendasi, ajakan, atau undangan untuk membeli, menjual, memperdagangkan, atau melakukan transaksi aset kripto apa pun. Aset kripto sangat fluktuatif dan dapat mengakibatkan kerugian. Ketersediaan layanan, produk, dan acara terkait WEEX dapat berbeda-beda di setiap wilayah. Anda bertanggung jawab untuk memastikan bahwa partisipasi Anda sesuai dengan hukum dan peraturan setempat yang berlaku.