Perché i chatbot AI preferiscono inventare piuttosto che dire 'Non lo so'
Fai a un chatbot AI una domanda fattuale a cui non può rispondere e raramente replicherà “Non lo so”. Più spesso produce una risposta sicura, fluente e completamente inventata. I ricercatori chiamano questo fenomeno allucinazione, e un nuovo articolo pubblicato su arXiv, il server di preprint dove gli scienziati condividono i primi risultati, offre una spiegazione informazionale del perché accade.
L’argomentazione centrale è sorprendentemente intuitiva. Quando un modello linguistico viene addestrato a produrre testo che suoni plausibile, indovinare qualcosa di verosimile è spesso una scommessa più sicura che rifiutarsi. Un secco “Non lo so” porta poca informazione e, nei dati di addestramento, appare molto meno spesso di una risposta fluente. L’articolo inquadra il problema in termini di spazio delle possibili risposte: i modelli sono ottimizzati per minimizzare l’errore sul testo che vedono, e quell’obiettivo premia silenziosamente la fabbricazione sicura rispetto al silenzio onesto.
Una discussione dettagliata del lavoro è apparsa su Zhihu, una piattaforma cinese di domande e risposte spesso descritta come la risposta del paese a Quora, dove uno degli autori dell’articolo ha guidato i lettori attraverso la motivazione alla base della ricerca. L’autore ha descritto come il progetto sia iniziato con una lettura critica di lavori precedenti sul comportamento dei modelli, incluse analisi del perché i modelli linguistici allucinano, e si sia gradualmente spostato da limiti astratti nella teoria dell’informazione verso il puzzle pratico dei chatbot che non ammettono l’ignoranza.
La spiegazione è importante perché l’allucinazione è uno dei maggiori ostacoli alla fiducia nei sistemi di AI. Un modello che inventa una citazione legale, un dosaggio medico o una data storica può indurre in errore gli utenti che non hanno un modo semplice per verificare. Se la tendenza è insita in come questi sistemi vengono addestrati e valutati, allora semplicemente dire agli utenti di “verificare tutto” non è una soluzione completa.
Una implicazione è che la soluzione potrebbe dover partire dalla fase di addestramento. Se i modelli fossero premiati per esprimere incertezza, o se rifiutarsi di rispondere fosse trattato come un esito valido e persino desiderabile, l’incentivo a fabbricare si indebolirebbe. Alcuni ricercatori hanno proposto di insegnare ai modelli a dire “Non sono sicuro” più spesso, anche se farlo senza renderli inutilmente cauti è un equilibrio delicato.
La discussione su Zhihu ha anche toccato un tema più ampio: come la ricerca tecnica si trasmette alla comprensione pubblica. Un articolo scritto per specialisti può raggiungere milioni di lettori quando un autore o un commentatore competente lo traduce in linguaggio semplice. In questo caso, la discussione ha attirato l’attenzione non per il lancio di un prodotto, ma perché la domanda — perché la mia AI inventa cose? — è una che gli utenti comuni si pongono ogni giorno.
Per ora, l’articolo è un preprint, il che significa che non ha ancora completato la revisione formale tra pari, e le sue conclusioni saranno testate e dibattute da altri ricercatori. Ma l’inquadramento è utile: l’allucinazione potrebbe non essere un bug che può essere semplicemente corretto. Potrebbe essere una conseguenza prevedibile di come questi sistemi sono costruiti e valutati, e comprenderlo è il primo passo verso la costruzione di un’AI che conosce i limiti di ciò che sa.