Warum KI-Chatbots lieber Dinge erfinden, als „Ich weiß es nicht“ zu sagen
Stellt man einem KI-Chatbot eine Faktenfrage, die er nicht beantworten kann, antwortet er selten mit „Ich weiß es nicht“. Häufiger produziert er eine selbstsichere, flüssige und völlig erfundene Antwort. Forschende nennen das Halluzination, und ein neues, auf arXiv veröffentlichtes Papier – dem Preprint-Server, auf dem Wissenschaftler frühe Ergebnisse teilen – liefert eine informationstheoretische Erklärung dafür, warum das passiert.
Das Kernargument ist überraschend intuitiv. Wenn ein Sprachmodell darauf trainiert wird, plausibel klingenden Text zu erzeugen, ist das Raten auf etwas Wahrscheinliches oft die sicherere Wette als eine Verweigerung. Ein schlichtes „Ich weiß es nicht“ trägt wenig Information und kommt in den Trainingsdaten weit seltener vor als eine flüssige Antwort. Das Papier fasst das Problem im Hinblick auf den Raum möglicher Ausgaben: Modelle werden darauf optimiert, den Fehler auf dem Text, den sie sehen, zu minimieren, und dieses Ziel belohnt still und leise selbstsicheres Erfinden statt ehrliches Schweigen.
Eine ausführliche Diskussion der Arbeit erschien auf Zhihu, einer chinesischen Frage-und-Antwort-Plattform, die oft als die Antwort des Landes auf Quora beschrieben wird, wo einer der Autoren des Papiers die Leser durch die Motivation hinter der Forschung führte. Der Autor beschrieb, wie das Projekt mit einer kritischen Lektüre früherer Arbeiten zum Modellverhalten begann, darunter Analysen dazu, warum Sprachmodelle halluzinieren, und sich allmählich von abstrakten Schranken der Informationstheorie hin zum praktischen Rätsel von Chatbots bewegte, die ihre Unwissenheit nicht eingestehen.
Die Erklärung ist wichtig, weil Halluzination eines der größten Hindernisse für das Vertrauen in KI-Systeme ist. Ein Modell, das eine juristische Fundstelle, eine medizinische Dosierung oder ein historisches Datum erfindet, kann Nutzer in die Irre führen, die keine einfache Möglichkeit haben, das zu überprüfen. Wenn die Neigung in der Art und Weise verankert ist, wie diese Systeme trainiert und bewertet werden, dann ist der bloße Rat an Nutzer, „alles zu überprüfen“, keine vollständige Lösung.
Eine Implikation ist, dass die Lösung schon in der Trainingsphase ansetzen müsste. Würden Modelle dafür belohnt, Unsicherheit auszudrücken, oder würde die Verweigerung einer Antwort als gültiges und sogar wünschenswertes Ergebnis behandelt, würde der Anreiz zu erfinden schwächer. Einige Forschende haben vorgeschlagen, Modelle zu lehren, häufiger „Ich bin mir nicht sicher“ zu sagen, doch das zu tun, ohne sie unnötig vorsichtig zu machen, ist ein heikles Gleichgewicht.
Der Zhihu-Thread berührte auch ein breiteres Thema: wie technische Forschung in das öffentliche Verständnis gelangt. Ein für Fachleute geschriebenes Papier kann Millionen von Lesern erreichen, wenn ein Autor oder ein sachkundiger Kommentator es in einfache Sprache übersetzt. In diesem Fall erregte die Diskussion nicht wegen eines Produktstarts Aufmerksamkeit, sondern weil die Frage – warum erfindet meine KI Dinge? – eine ist, die gewöhnliche Nutzer jeden Tag stellen.
Vorerst ist das Papier ein Preprint, was bedeutet, dass es das formale Peer-Review noch nicht durchlaufen hat, und seine Schlussfolgerungen werden von anderen Forschenden geprüft und debattiert werden. Doch der Rahmen ist nützlich: Halluzination ist vielleicht kein Fehler, der einfach weggepatcht werden kann. Sie könnte eine vorhersehbare Folge davon sein, wie diese Systeme gebaut und bewertet werden, und das zu verstehen ist der erste Schritt zum Aufbau einer KI, die die Grenzen dessen kennt, was sie weiß.