Por que os chatbots de IA preferem inventar coisas a dizer «não sei»
Faça a um chatbot de IA uma pergunta factual que ele não consegue responder e ele raramente dirá «não sei». Com mais frequência, produz uma resposta confiante, fluente e completamente inventada. Os pesquisadores chamam isso de alucinação, e um novo artigo publicado no arXiv, o servidor de preprints onde cientistas compartilham descobertas preliminares, oferece uma explicação teórico-informacional para o motivo disso acontecer.
O argumento central é surpreendentemente intuitivo. Quando um modelo de linguagem é treinado para produzir texto que soe plausível, chutar algo verossímil costuma ser uma aposta mais segura do que recusar. Um «não sei» seco carrega pouca informação e, nos dados de treinamento, aparece muito menos do que uma resposta fluente. O artigo enquadra o problema em termos do espaço de saídas possíveis: os modelos são otimizados para minimizar o erro no texto que veem, e esse objetivo recompensa silenciosamente a fabricação com tom confiante em vez do silêncio honesto.
Uma discussão detalhada do trabalho apareceu no Zhihu, uma plataforma chinesa de perguntas e respostas frequentemente descrita como a resposta do país ao Quora, onde um dos autores do artigo conduziu os leitores pela motivação por trás da pesquisa. O autor descreveu como o projeto começou com uma leitura crítica de trabalhos anteriores sobre o comportamento dos modelos, incluindo análises de por que os modelos de linguagem alucinam, e migrou gradualmente de limites abstratos da teoria da informação para o enigma prático dos chatbots que não admitem sua ignorância.
A explicação importa porque a alucinação é um dos maiores obstáculos para confiar em sistemas de IA. Um modelo que inventa uma citação jurídica, uma dosagem médica ou uma data histórica pode enganar usuários que não têm uma forma fácil de verificar. Se a tendência está embutida na maneira como esses sistemas são treinados e avaliados, então simplesmente dizer aos usuários para «verificar tudo» não é uma solução completa.
Uma implicação é que a solução talvez precise começar na etapa de treinamento. Se os modelos fossem recompensados por expressar incerteza, ou se recusar-se a responder fosse tratado como um resultado válido e até desejável, o incentivo a fabricar enfraqueceria. Alguns pesquisadores propuseram ensinar os modelos a dizer «não tenho certeza» com mais frequência, embora fazer isso sem torná-los inutilmente cautelosos seja um equilíbrio delicado.
A thread do Zhihu também abordou um tema mais amplo: como a pesquisa técnica chega ao entendimento público. Um artigo escrito para especialistas pode alcançar milhões de leitores quando um autor ou um comentarista bem informado o traduz para linguagem simples. Neste caso, a discussão atraiu atenção não por causa de nenhum lançamento de produto, mas porque a pergunta — por que minha IA inventa coisas? — é uma que usuários comuns fazem todos os dias.
Por enquanto, o artigo é um preprint, o que significa que ainda não passou por revisão formal por pares, e suas conclusões serão testadas e debatidas por outros pesquisadores. Mas o enquadramento é útil: a alucinação pode não ser um bug que simplesmente se corrige com um patch. Pode ser uma consequência previsível de como esses sistemas são construídos e avaliados, e entender isso é o primeiro passo para construir uma IA que conhece os limites daquilo que sabe.