Por qué los chatbots de IA prefieren inventar cosas antes que decir «no lo sé»
Hazle a un chatbot de IA una pregunta factual que no puede responder y rara vez contestará «no lo sé». Lo más habitual es que produzca una respuesta segura, fluida y completamente inventada. Los investigadores llaman a esto alucinación, y un nuevo artículo publicado en arXiv, el servidor de preprints donde los científicos comparten hallazgos preliminares, ofrece una explicación teórico-informacional de por qué ocurre.
El argumento central es sorprendentemente intuitivo. Cuando un modelo de lenguaje se entrena para producir texto que suene verosímil, adivinar algo plausible suele ser una apuesta más segura que negarse a responder. Un «no lo sé» tajante aporta poca información y, en los datos de entrenamiento, aparece mucho menos que una respuesta fluida. El artículo enmarca el problema en términos del espacio de salidas posibles: los modelos se optimizan para minimizar el error en el texto que ven, y ese objetivo recompensa silenciosamente la fabricación con tono seguro por encima del silencio honesto.
Una discusión detallada del trabajo apareció en Zhihu, una plataforma china de preguntas y respuestas descrita a menudo como la respuesta del país a Quora, donde uno de los autores del artículo guio a los lectores por la motivación detrás de la investigación. El autor describió cómo el proyecto comenzó con una lectura crítica de trabajos anteriores sobre el comportamiento de los modelos, incluidos análisis de por qué los modelos de lenguaje alucinan, y se desplazó gradualmente desde límites abstractos de la teoría de la información hacia el enigma práctico de los chatbots que no admiten su ignorancia.
La explicación importa porque la alucinación es uno de los mayores obstáculos para confiar en los sistemas de IA. Un modelo que inventa una cita legal, una dosis médica o una fecha histórica puede engañar a usuarios que no tienen una forma sencilla de verificarlo. Si la tendencia está integrada en cómo se entrenan y puntúan estos sistemas, entonces simplemente decirles a los usuarios que «verifiquen todo» no es una solución completa.
Una implicación es que la solución podría tener que empezar en la etapa de entrenamiento. Si los modelos fueran recompensados por expresar incertidumbre, o si negarse a responder se tratara como un resultado válido e incluso deseable, el incentivo a fabricar se debilitaría. Algunos investigadores han propuesto enseñar a los modelos a decir «no estoy seguro» con más frecuencia, aunque hacerlo sin volverlos inútilmente cautelosos es un equilibrio delicado.
El hilo de Zhihu también abordó un tema más amplio: cómo la investigación técnica llega al entendimiento público. Un artículo escrito para especialistas puede llegar a millones de lectores cuando un autor o un comentarista experto lo traduce a lenguaje llano. En este caso, la discusión atrajo atención no por el lanzamiento de ningún producto, sino porque la pregunta —¿por qué mi IA inventa cosas?— es una que los usuarios comunes se hacen todos los días.
Por ahora, el artículo es un preprint, lo que significa que aún no ha completado la revisión formal por pares, y sus conclusiones serán puestas a prueba y debatidas por otros investigadores. Pero el enfoque es útil: la alucinación puede no ser un error que simplemente se pueda parchear. Puede ser una consecuencia predecible de cómo se construyen y puntúan estos sistemas, y entenderlo es el primer paso hacia construir una IA que conozca los límites de lo que sabe.