Waarom AI-chatbots liever dingen verzinnen dan 'Ik weet het niet' zeggen
Stel een AI-chatbot een feitelijke vraag die hij niet kan beantwoorden en hij antwoordt zelden “Ik weet het niet”. Vaker produceert hij een zelfverzekerd, vloeiend en volledig verzonnen antwoord. Onderzoekers noemen dit hallucinatie, en een nieuw artikel op arXiv, de preprint-server waar wetenschappers vroege bevindingen delen, biedt een informatie-theoretische verklaring voor waarom dit gebeurt.
Het kernargument is verrassend intuïtief. Wanneer een taalmodel wordt getraind om waarschijnlijk klinkende tekst te produceren, is het raden van iets plausibels vaak een veiligere gok dan weigeren. Een bot “Ik weet het niet” bevat weinig informatie en komt in de trainingsdata veel minder vaak voor dan een vloeiend antwoord. Het artikel kadert het probleem in termen van de ruimte van mogelijke outputs: modellen worden geoptimaliseerd om fouten te minimaliseren op de tekst die ze zien, en die doelstelling beloont stilletjes zelfverzekerde verzinsels boven eerlijk stilzwijgen.
Een gedetailleerde bespreking van het werk verscheen op Zhihu, een Chinees vraag-en-antwoordplatform dat vaak wordt beschreven als het antwoord van het land op Quora, waar een van de auteurs van het artikel lezers meenam door de motivatie achter het onderzoek. De auteur beschreef hoe het project begon met een kritische lezing van eerder werk over modelgedrag, waaronder analyses van waarom taalmodellen hallucineren, en geleidelijk verschoof van abstracte grenzen in de informatietheorie naar de praktische puzzel van chatbots die onwetendheid niet toegeven.
De verklaring is belangrijk omdat hallucinatie een van de grootste obstakels is voor vertrouwen in AI-systemen. Een model dat een juridische verwijzing, een medische dosering of een historische datum verzint, kan gebruikers misleiden die geen gemakkelijke manier hebben om dit te controleren. Als de neiging ingebakken zit in hoe deze systemen worden getraind en beoordeeld, dan is gebruikers simpelweg vertellen om “alles te verifiëren” geen volledige oplossing.
Een implicatie is dat de oplossing mogelijk bij de trainingsfase moet beginnen. Als modellen werden beloond voor het uiten van onzekerheid, of als weigeren te antwoorden werd behandeld als een geldige en zelfs wenselijke uitkomst, zou de prikkel om te verzinnen verzwakken. Sommige onderzoekers hebben voorgesteld om modellen te leren vaker “Ik weet het niet zeker” te zeggen, hoewel dit doen zonder hen onbehulpzaam voorzichtig te maken een delicate balans is.
De Zhihu-thread raakte ook een breder thema: hoe technisch onderzoek doordringt tot het publieke begrip. Een artikel geschreven voor specialisten kan miljoenen lezers bereiken wanneer een auteur of een deskundige commentator het in eenvoudige taal vertaalt. In dit geval trok de discussie aandacht, niet vanwege een productlancering, maar omdat de vraag — waarom verzint mijn AI dingen? — er een is die gewone gebruikers elke dag stellen.
Voorlopig is het artikel een preprint, wat betekent dat het nog geen formele peer review heeft voltooid, en de conclusies zullen worden getest en bediscussieerd door andere onderzoekers. Maar de framing is nuttig: hallucinatie is misschien geen bug die simpelweg kan worden gepatcht. Het kan een voorspelbaar gevolg zijn van hoe deze systemen zijn gebouwd en beoordeeld, en dat begrijpen is de eerste stap naar het bouwen van AI die de grenzen van zijn kennis kent.