Yapay Zeka Sohbet Botları Neden 'Bilmiyorum' Demek Yerine Bir Şeyler Uydurmayı Tercih Ediyor
Bir yapay zeka sohbet botuna cevaplayamayacağı olgusal bir soru sorun, nadiren “Bilmiyorum” diye yanıt verir. Daha sık olarak kendinden emin, akıcı ve tamamen uydurma bir yanıt üretir. Araştırmacılar buna halüsinasyon diyor ve bilim insanlarının erken bulgularını paylaştığı ön baskı sunucusu arXiv’de yayınlanan yeni bir makale, bunun neden olduğuna dair bilgi teorisine dayalı bir açıklama sunuyor.
Temel argüman şaşırtıcı derecede sezgisel. Bir dil modeli, kulağa olası gelen metin üretmek üzere eğitildiğinde, makul bir şey tahmin etmek genellikle reddetmekten daha güvenli bir bahistir. Düz bir “Bilmiyorum” çok az bilgi taşır ve eğitim verilerinde akıcı bir yanıttan çok daha seyrek görünür. Makale, sorunu olası çıktıların uzayı açısından çerçeveliyor: modeller, gördükleri metindeki hatayı en aza indirmek için optimize edilir ve bu hedef, dürüst sessizlik yerine kendinden emin uydurmayı sessizce ödüllendirir.
Çalışmanın ayrıntılı bir tartışması, ülkenin Quora’ya yanıtı olarak sıkça tanımlanan Çin soru-cevap platformu Zhihu’da yayınlandı; burada makalenin yazarlarından biri okuyucuları araştırmanın arkasındaki motivasyona yönlendirdi. Yazar, projenin model davranışı üzerine önceki çalışmaların eleştirel bir okumasıyla başladığını, dil modellerinin neden halüsinasyon gördüğüne dair analizleri içerdiğini ve bilgi teorisindeki soyut sınırlardan, cehaletini kabul etmeyen sohbet botlarının pratik bulmacasına doğru kademeli olarak ilerlediğini anlattı.
Açıklama önemlidir çünkü halüsinasyon, yapay zeka sistemlerine güvenmenin önündeki en büyük engellerden biridir. Hukuki bir atıf, tıbbi bir dozaj veya tarihi bir tarih uyduran bir model, kontrol etmenin kolay bir yolu olmayan kullanıcıları yanıltabilir. Eğilim, bu sistemlerin nasıl eğitildiğine ve puanlandığına yerleşmişse, kullanıcılara basitçe “her şeyi doğrulayın” demek tam bir çözüm değildir.
Bir çıkarım, çözümün eğitim aşamasında başlaması gerekebileceğidir. Modeller belirsizliği ifade etmek için ödüllendirilseydi veya cevap vermeyi reddetmek geçerli ve hatta arzu edilen bir sonuç olarak görülseydi, uydurma teşviki zayıflardı. Bazı araştırmacılar modellere daha sık “Emin değilim” demeyi öğretmeyi önerdi, ancak bunu onları faydasız derecede temkinli yapmadan yapmak hassas bir dengedir.
Zhihu dizisi ayrıca daha geniş bir temaya değindi: teknik araştırmanın kamusal anlayışa nasıl yayıldığı. Uzmanlar için yazılmış bir makale, bir yazar veya bilgili bir yorumcu tarafından sade bir dile çevrildiğinde milyonlarca okuyucuya ulaşabilir. Bu durumda tartışma, herhangi bir ürün lansmanı nedeniyle değil, soru — yapay zekam neden bir şeyler uyduruyor? — sıradan kullanıcıların her gün sorduğu bir soru olduğu için dikkat çekti.
Şimdilik makale bir ön baskı, yani henüz resmi hakem değerlendirmesini tamamlamadı ve sonuçları diğer araştırmacılar tarafından test edilip tartışılacak. Ancak çerçeveleme faydalı: halüsinasyon basitçe yamalanabilecek bir hata olmayabilir. Bu sistemlerin nasıl inşa edildiğinin ve puanlandığının öngörülebilir bir sonucu olabilir ve bunu anlamak, bildiklerinin sınırlarını bilen yapay zeka inşa etmeye doğru ilk adımdır.