Pourquoi les chatbots d'IA préfèrent inventer des choses plutôt que dire « je ne sais pas »
Posez à un chatbot d’IA une question factuelle à laquelle il ne peut pas répondre et il réplique rarement « je ne sais pas ». Le plus souvent, il produit une réponse assurée, fluide et entièrement inventée. Les chercheurs appellent cela une hallucination, et un nouvel article publié sur arXiv, le serveur de prépublications où les scientifiques partagent leurs premiers résultats, propose une explication informationnelle de ce phénomène.
L’argument central est étonnamment intuitif. Lorsqu’un modèle de langage est entraîné à produire un texte plausible, deviner quelque chose de vraisemblable est souvent un pari plus sûr que refuser. Un « je ne sais pas » catégorique porte peu d’information et, dans les données d’entraînement, apparaît bien moins souvent qu’une réponse fluide. L’article formule le problème en termes d’espace des sorties possibles : les modèles sont optimisés pour minimiser l’erreur sur le texte qu’ils voient, et cet objectif récompense discrètement l’invention assurée plutôt que le silence honnête.
Une discussion détaillée du travail est apparue sur Zhihu, une plateforme chinoise de questions-réponses souvent décrite comme la réponse de ce pays à Quora, où l’un des auteurs de l’article a guidé les lecteurs à travers la motivation de la recherche. L’auteur a décrit comment le projet a commencé par une lecture critique de travaux antérieurs sur le comportement des modèles, notamment des analyses expliquant pourquoi les modèles de langage hallucinent, et a progressivement glissé des bornes abstraites de la théorie de l’information vers l’énigme pratique des chatbots qui refusent d’admettre leur ignorance.
Cette explication compte parce que l’hallucination est l’un des plus grands obstacles à la confiance dans les systèmes d’IA. Un modèle qui invente une référence juridique, une posologie médicale ou une date historique peut tromper des utilisateurs qui n’ont aucun moyen simple de vérifier. Si cette tendance est inscrite dans la manière dont ces systèmes sont entraînés et évalués, alors dire simplement aux utilisateurs de « tout vérifier » n’est pas une solution complète.
Une implication est que le remède pourrait devoir commencer dès l’étape de l’entraînement. Si les modèles étaient récompensés pour exprimer leur incertitude, ou si le refus de répondre était considéré comme un résultat valable, voire souhaitable, l’incitation à inventer s’affaiblirait. Certains chercheurs ont proposé d’apprendre aux modèles à dire « je ne suis pas sûr » plus souvent, mais y parvenir sans les rendre inutilement prudents est un équilibre délicat.
Le fil Zhihu a aussi abordé un thème plus large : comment la recherche technique pénètre dans la compréhension du public. Un article écrit pour des spécialistes peut atteindre des millions de lecteurs lorsqu’un auteur ou un commentateur averti le traduit en langage clair. En l’occurrence, la discussion a attiré l’attention non pas à cause d’un lancement de produit, mais parce que la question — pourquoi mon IA invente-t-elle des choses ? — est celle que se posent tous les jours les utilisateurs ordinaires.
Pour l’instant, l’article est une prépublication, ce qui signifie qu’il n’a pas encore achevé sa révision formelle par les pairs, et ses conclusions seront testées et débattues par d’autres chercheurs. Mais le cadre est utile : l’hallucination n’est peut-être pas un bug qu’on peut simplement corriger. Elle peut être une conséquence prévisible de la façon dont ces systèmes sont construits et évalués, et le comprendre est le premier pas vers une IA qui connaît les limites de ce qu’elle sait.