Mengapa Chatbot AI Lebih Memilih Mengarang daripada Mengatakan 'Saya Tidak Tahu'

Ajukan pertanyaan faktual kepada chatbot AI yang tidak dapat dijawabnya, dan ia jarang membalas “Saya tidak tahu.” Lebih sering ia menghasilkan respons yang percaya diri, lancar, dan sepenuhnya dibuat-buat. Peneliti menyebutnya halusinasi, dan sebuah makalah baru yang diposting ke arXiv, server pracetak tempat para ilmuwan berbagi temuan awal, menawarkan penjelasan teori informasi tentang mengapa hal itu terjadi.

Argumen intinya ternyata cukup intuitif. Ketika sebuah model bahasa dilatih untuk menghasilkan teks yang terdengar masuk akal, menebak sesuatu yang plausible sering kali merupakan pilihan yang lebih aman daripada menolak. Jawaban datar “Saya tidak tahu” membawa sedikit informasi dan, dalam data pelatihan, jauh lebih jarang muncul daripada jawaban yang lancar. Makalah ini membingkai masalah dalam hal ruang keluaran yang mungkin: model dioptimalkan untuk meminimalkan kesalahan pada teks yang mereka lihat, dan tujuan itu secara diam-diam memberi imbalan pada fabrikasi yang terdengar percaya diri daripada keheningan yang jujur.

Diskusi rinci tentang karya ini muncul di Zhihu, platform tanya jawab Tiongkok yang sering digambarkan sebagai Quora-nya negara itu, di mana salah satu penulis makalah memandu pembaca melalui motivasi di balik penelitian tersebut. Penulis menggambarkan bagaimana proyek ini dimulai dengan pembacaan kritis terhadap karya sebelumnya tentang perilaku model, termasuk analisis mengapa model bahasa berhalusinasi, dan secara bertahap bergerak dari batas-batas abstrak dalam teori informasi menuju teka-teki praktis tentang chatbot yang tidak mau mengakui ketidaktahuan.

Penjelasan ini penting karena halusinasi adalah salah satu hambatan terbesar untuk mempercayai sistem AI. Model yang mengarang kutipan hukum, dosis medis, atau tanggal sejarah dapat menyesatkan pengguna yang tidak memiliki cara mudah untuk memeriksanya. Jika kecenderungan ini sudah tertanam dalam cara sistem ini dilatih dan dinilai, maka sekadar memberi tahu pengguna untuk “verifikasi semuanya” bukanlah solusi yang lengkap.

Salah satu implikasinya adalah perbaikannya mungkin perlu dimulai pada tahap pelatihan. Jika model diberi imbalan karena mengekspresikan ketidakpastian, atau jika menolak menjawab diperlakukan sebagai hasil yang sah dan bahkan diinginkan, insentif untuk mengarang akan melemah. Beberapa peneliti telah mengusulkan untuk mengajari model mengatakan “Saya tidak yakin” lebih sering, meskipun melakukannya tanpa membuat mereka terlalu berhati-hati adalah keseimbangan yang rumit.

Utas Zhihu juga menyinggung tema yang lebih luas: bagaimana penelitian teknis menyebar ke pemahaman publik. Makalah yang ditulis untuk spesialis dapat menjangkau jutaan pembaca ketika penulis atau komentator berpengetahuan menerjemahkannya ke dalam bahasa sederhana. Dalam kasus ini, diskusi menarik perhatian bukan karena peluncuran produk apa pun, tetapi karena pertanyaannya — mengapa AI saya mengarang? — adalah pertanyaan yang ditanyakan pengguna biasa setiap hari.

Untuk saat ini, makalah ini adalah pracetak, artinya belum menyelesaikan tinjauan sejawat formal, dan kesimpulannya akan diuji dan diperdebatkan oleh peneliti lain. Namun kerangkanya berguna: halusinasi mungkin bukan bug yang bisa ditambal begitu saja. Ini mungkin konsekuensi yang dapat diprediksi dari bagaimana sistem ini dibangun dan dinilai, dan memahami hal itu adalah langkah pertama menuju pembangunan AI yang mengetahui batas dari apa yang diketahuinya.