為什麼 AI 聊天機器人寧願編造也不願說「我不知道」

向 AI 聊天機器人提出一個它無法回答的事實性問題，它很少會回答「我不知道」。更常見的是，它會給出一個自信、流暢且完全編造的回答。研究人員稱之為幻覺，而一篇發布在 arXiv（科學家分享早期發現的預印本伺服器）上的新論文，從資訊理論角度解釋了這種現象為何發生。

其核心論點出奇地直觀。當一個語言模型被訓練來產生聽起來合理的文字時，猜測一些看似合理的內容往往比拒絕回答更安全。一句直白的「我不知道」所攜帶的資訊很少，而且在訓練資料中出現的頻率遠低於流暢的回答。該論文從可能輸出的空間來框架這個問題：模型被優化以最小化它們所見文字上的誤差，而這個目標悄悄地獎勵了聽起來自信的編造，而非誠實的沉默。

關於這項工作的詳細討論出現在知乎上，這是一個中國的問答平台，常被描述為中國版的 Quora，論文的其中一位作者在那裡帶領讀者了解這項研究背後的動機。作者描述了該專案如何始於對先前關於模型行為研究的批判性閱讀，包括對語言模型為何產生幻覺的分析，並逐漸從資訊理論中的抽象界限轉向聊天機器人不願承認無知的實際難題。

這個解釋很重要，因為幻覺是信任 AI 系統的最大障礙之一。一個編造法律引文、醫療劑量或歷史日期的模型，可能會誤導那些沒有簡便方法查證的使用者。如果這種傾向已深植於這些系統的訓練和評分方式中，那麼僅僅告訴使用者「驗證一切」並不是完整的解決方案。

一個啟示是，修復可能需要在訓練階段就開始。如果模型因表達不確定性而受到獎勵，或者如果拒絕回答被視為一種有效甚至理想的結果，那麼編造的動機就會減弱。一些研究人員提議教導模型更頻繁地說「我不確定」，儘管在不讓它們變得過度謹慎而無用的情況下做到這一點，是一種微妙的平衡。

知乎的討論串也觸及了一個更廣泛的主題：技術研究如何傳播到大眾理解中。一篇為專家撰寫的論文，當作者或知識淵博的評論者將其翻譯成平實語言時，可以觸及數百萬讀者。在這個案例中，討論引起關注並非因為任何產品發布，而是因為這個問題——為什麼我的 AI 會編造東西？——是普通使用者每天都會問的。

目前，這篇論文是預印本，意味著它尚未完成正式的同行評審，其結論將被其他研究人員檢驗和辯論。但其框架很有用：幻覺可能不是一個可以簡單修補的錯誤。它可能是這些系統如何構建和評分的可預測後果，而理解這一點是構建知道自己知識極限的 AI 的第一步。