Halusinasi AI Dimanfaatkan Hacker untuk Sebar Phishing

Kemampuan kecerdasan buatan (Artificial Intelligence/AI), khususnya model bahasa besar atau Large Language Model (LLM), terus berkembang pesat dan kini digunakan untuk berbagai kebutuhan, mulai dari mencari informasi, membantu menulis kode program, hingga menjadi asisten virtual. Namun, di balik kemudahan tersebut, muncul ancaman keamanan siber baru yang memanfaatkan kelemahan AI dalam menghasilkan informasi yang tidak selalu akurat.

Para peneliti keamanan dari Unit 42, divisi riset ancaman milik Palo Alto Networks, mengungkap teknik serangan baru yang disebut phantom squatting. Teknik ini memanfaatkan fenomena "halusinasi" AI, yaitu ketika model AI menciptakan nama domain atau alamat situs web yang sebenarnya tidak pernah ada.

Alih-alih hanya menjadi kesalahan informasi, domain hasil halusinasi AI kini mulai dimanfaatkan oleh pelaku kejahatan siber. Mereka mendaftarkan domain-domain tersebut sebelum orang lain melakukannya, kemudian menggunakannya sebagai situs phishing, penyebar malware, atau media pencurian data.

Temuan tersebut menunjukkan bahwa kesalahan AI yang sebelumnya dianggap sekadar masalah akurasi kini telah berubah menjadi peluang baru bagi pelaku kejahatan siber.

Ketika AI Menjadi Sumber Kepercayaan Baru

Dalam beberapa tahun terakhir, AI semakin sering dijadikan sumber referensi oleh pengguna maupun pengembang perangkat lunak. Banyak orang mulai mempercayai tautan yang diberikan chatbot AI tanpa melakukan verifikasi ulang.

Di sinilah letak persoalannya.

Jika AI menghasilkan alamat situs yang sebenarnya belum pernah didaftarkan, siapa pun dapat segera membeli domain tersebut. Ketika pengguna lain kemudian memperoleh rekomendasi domain yang sama dari AI, mereka berpotensi diarahkan langsung menuju situs yang telah dikuasai pelaku.

Dengan kata lain, pelaku tidak lagi harus mengirim email phishing atau memasang iklan palsu untuk memancing korban. AI secara tidak langsung dapat menjadi "pengarah lalu lintas" menuju situs berbahaya.

Kepercayaan terhadap AI inilah yang menjadi modal utama dalam serangan phantom squatting.

Ratusan Ribu Domain Fiktif Berpotensi Disalahgunakan
Untuk mengetahui seberapa besar ancaman tersebut, Unit 42 melakukan pengujian terhadap dua model AI menggunakan 685.339 pertanyaan yang berkaitan dengan 913 merek terkenal dari berbagai sektor, mulai dari teknologi, keuangan, layanan kesehatan, pemerintahan, hingga industri perjudian.

Hasilnya cukup mengejutkan.

Kedua model menghasilkan sekitar 2,1 juta tautan internet.

Dari jumlah tersebut, sebanyak 13.229 tautan telah diketahui sebagai domain berbahaya berdasarkan data intelijen ancaman yang sudah ada sebelumnya. Namun yang lebih mengkhawatirkan adalah sekitar 250.000 domain lainnya merupakan domain hasil halusinasi AI yang belum dimiliki siapa pun.

Artinya, terdapat ratusan ribu peluang bagi pelaku kejahatan untuk segera mendaftarkan domain-domain tersebut dan menggunakannya sebagai sarana serangan sebelum ada pihak lain yang menyadarinya. Temuan ini menunjukkan bahwa skala ancaman phantom squatting jauh lebih besar daripada yang diperkirakan sebelumnya.

Mengapa Serangan Ini Sulit Dideteksi?

Salah satu alasan phantom squatting efektif adalah karena domain yang baru didaftarkan belum memiliki reputasi negatif. Sebagian besar solusi keamanan modern, seperti sistem reputasi domain, daftar blokir (blocklist), hingga layanan intelijen ancaman, bekerja berdasarkan riwayat aktivitas suatu domain.

Jika sebuah domain belum pernah digunakan untuk aktivitas berbahaya, sistem keamanan biasanya menganggapnya aman.

Pelaku memanfaatkan celah waktu tersebut.

Begitu domain hasil halusinasi AI didaftarkan, mereka dapat langsung menggunakannya untuk menjalankan situs phishing atau menyebarkan malware sebelum sistem keamanan sempat mengidentifikasinya sebagai ancaman.

Pada saat layanan keamanan mulai memasukkan domain tersebut ke daftar hitam, korban kemungkinan sudah lebih dahulu mengakses situs berbahaya karena mengikuti rekomendasi AI. Inilah yang membuat phantom squatting memiliki peluang keberhasilan cukup tinggi.

Halusinasi AI Ternyata Sangat Konsisten

Penelitian Unit 42 juga mengungkap fakta yang lebih mengejutkan. Domain-domain palsu tersebut bukan berasal dari data pelatihan AI. Kedua model yang diuji bahkan dirilis sebelum domain-domain berbahaya itu dibuat.

Artinya, alamat situs tersebut muncul karena pola bahasa yang dipelajari AI selama proses pelatihan, bukan karena model pernah melihat domain tersebut sebelumnya. Lebih menarik lagi, model AI yang berbeda ternyata sering menghasilkan domain fiktif yang sama ketika diberikan pertanyaan yang sama.

Konsistensi inilah yang dimanfaatkan pelaku.

Jika sebuah model AI menghasilkan domain tertentu, besar kemungkinan model AI lain juga akan menghasilkan domain yang identik. Dengan demikian, pelaku dapat memprediksi domain mana yang layak didaftarkan terlebih dahulu.

Peneliti juga menemukan bahwa menaikkan parameter temperature atau tingkat kreativitas AI justru meningkatkan jumlah domain fiktif yang dihasilkan. Menurut Unit 42, kelemahan ini bukan sekadar bug perangkat lunak yang dapat diperbaiki melalui pembaruan sistem.

Sebaliknya, fenomena tersebut merupakan konsekuensi alami dari cara kerja arsitektur Large Language Model yang hingga kini belum memiliki solusi permanen.

Dua Kasus Nyata yang Sudah Terjadi

Sebagai bukti bahwa ancaman ini bukan sekadar teori, Unit 42 mengungkap dua kasus nyata yang berhasil mereka amati. 

Kasus pertama terjadi pada 8 Maret 2026.

Sistem milik Unit 42 memprediksi bahwa AI akan menghasilkan sebuah domain yang menyerupai layanan marketplace milik perusahaan pos nasional. Prediksi tersebut terbukti akurat.

Kedua model AI yang diuji secara konsisten menghasilkan domain yang sama pada berbagai pengaturan temperature. Selang 23 hari kemudian, tepatnya pada 31 Maret 2026, seorang pelaku mendaftarkan domain tersebut dan langsung memasang kit phishing bernama Montana Empire.

Situs palsu tersebut dibuat sangat mirip dengan layanan asli dan mampu memperbarui tampilannya secara real-time sehingga semakin sulit dikenali korban. Korban yang mengakses situs tersebut berisiko kehilangan informasi sensitif seperti nomor kartu pembayaran, data rekening bank, hingga nomor identitas nasional.

Peneliti juga menemukan adanya bot Telegram yang digunakan pelaku untuk memverifikasi kode OTP korban secara manual. Yang menarik, sejumlah file proyek yang tertinggal menunjukkan bahwa kit phishing tersebut kemungkinan besar dibuat menggunakan bantuan AI coding assistant.

Artinya, baik peneliti maupun pelaku sama-sama menemukan domain tersebut melalui proses yang identik, yakni dengan bertanya kepada AI.

Situs Palsu yang Nyaris Mustahil Dibedakan

Kasus kedua menunjukkan pola serangan yang tidak kalah mengkhawatirkan. Unit 42 berhasil mendeteksi sebuah domain hasil halusinasi AI yang menyerupai layanan pos nasional. Sebanyak 51 hari kemudian, domain tersebut benar-benar didaftarkan oleh pelaku.

Setelah aktif, situs tersebut diubah menjadi salinan hampir sempurna dari situs resmi. Pelaku bahkan menambahkan berbagai elemen untuk meningkatkan kepercayaan korban, seperti rating palsu sebesar 4,8 bintang serta klaim memiliki lebih dari dua juta pengguna.

Tujuan akhirnya adalah mendorong pengunjung mengunduh aplikasi Android berbahaya yang telah disiapkan sebelumnya.

Selain dua contoh tersebut, Unit 42 juga menemukan domain-domain lain yang meniru identitas sejumlah bank besar di Uni Emirat Arab, bank di Eropa, hingga situs taruhan olahraga yang menargetkan pengguna di Bangladesh.

Temuan tersebut memperlihatkan bahwa phantom squatting telah digunakan untuk berbagai jenis kampanye penipuan digital.

Evolusi dari Teknik Slopsquatting

Phantom squatting sebenarnya bukan teknik yang benar-benar baru. Konsep dasarnya merupakan pengembangan dari slopsquatting, yaitu praktik mendaftarkan nama paket perangkat lunak palsu yang dihasilkan AI ketika membantu programmer menulis kode.

Ancaman ini telah terbukti nyata. Sebuah penelitian besar yang dipublikasikan dalam konferensi USENIX menemukan bahwa model AI pembuat kode secara rutin menghasilkan nama paket yang sebenarnya tidak pernah ada.

Pelaku kemudian memanfaatkan kondisi tersebut dengan membuat paket berbahaya menggunakan nama yang sama. Salah satu kampanye terkenal adalah PhantomRaven, yang berhasil menyisipkan malware ke dalam 126 paket npm palsu. Paket-paket tersebut telah diunduh lebih dari 86.000 kali sebelum akhirnya terdeteksi.

Kini, pendekatan serupa diterapkan pada nama domain, sehingga cakupan serangannya menjadi jauh lebih luas.

AI Mengubah Cara Serangan Siber Dilakukan

Meningkatnya penggunaan AI membuat hasil yang diberikan model tidak lagi sekadar menjadi informasi bagi manusia. Output AI kini langsung digunakan sebagai input oleh berbagai sistem otomatis, termasuk agen AI, aplikasi perusahaan, hingga proses pengembangan perangkat lunak.

Perubahan ini mempercepat proses kerja, tetapi juga memperbesar risiko apabila AI menghasilkan informasi yang salah. Di sisi lain, layanan phishing juga semakin berkembang menjadi bisnis yang terorganisasi.

Konsep Phishing-as-a-Service memungkinkan siapa saja menyewa infrastruktur phishing dengan biaya tertentu. Kit phishing seperti Lucid dan Lighthouse dilaporkan telah membuat sekitar 17.500 domain palsu yang meniru 316 merek terkenal di 74 negara.

Jika fenomena ini dipadukan dengan phantom squatting, maka pelaku dapat memperoleh target yang lebih luas dengan usaha yang relatif kecil.

Langkah Pencegahan yang Perlu Dilakukan

Meski ancamannya tergolong baru, terdapat sejumlah langkah yang dapat dilakukan untuk mengurangi risiko. Bagi organisasi, tim keamanan dapat mulai memetakan domain-domain yang kemungkinan besar akan dihasilkan AI berdasarkan pola pertanyaan tertentu. Jika ada pihak yang mendaftarkan domain tersebut, organisasi dapat segera melakukan investigasi sebelum domain digunakan dalam serangan.

Sementara bagi pengguna umum, kebiasaan melakukan verifikasi tetap menjadi perlindungan terbaik.

Jangan langsung mempercayai tautan hanya karena diberikan oleh chatbot AI. Selalu pastikan alamat domain benar-benar sesuai dengan situs resmi sebelum memasukkan kata sandi, data pribadi, ataupun informasi keuangan.

Selain itu, organisasi juga sebaiknya membatasi kemampuan agen AI agar tidak secara otomatis membuka atau mengunduh konten dari tautan yang dihasilkan model tanpa melalui proses pemeriksaan keamanan.

Yang tidak kalah penting, hasil yang diberikan AI sebaiknya selalu dianggap sebagai informasi awal yang masih memerlukan verifikasi, bukan sebagai sumber yang pasti benar.

Pada akhirnya, penelitian Unit 42 menunjukkan bahwa perlombaan antara tim keamanan dan pelaku kejahatan kini memasuki babak baru. Bukan lagi sekadar siapa yang mampu menemukan kerentanan lebih dahulu, melainkan siapa yang paling cepat menemukan dan menguasai domain hasil halusinasi AI sebelum dimanfaatkan untuk melancarkan serangan siber berikutnya.