Почему ИИ-чат-боты предпочитают выдумывать, а не говорить «Я не знаю»
Задайте ИИ-чат-боту фактический вопрос, на который он не может ответить, и он редко отвечает «Я не знаю». Чаще он выдаёт уверенный, беглый и полностью выдуманный ответ. Исследователи называют это галлюцинацией, и новая статья, опубликованная на arXiv, сервере препринтов, где учёные делятся ранними результатами, предлагает информационно-теоретическое объяснение того, почему это происходит.
Основной аргумент на удивление интуитивен. Когда языковая модель обучается создавать правдоподобно звучащий текст, угадать что-то правдоподобное часто оказывается более безопасной ставкой, чем отказаться. Плоское «Я не знаю» несёт мало информации и в обучающих данных встречается гораздо реже, чем беглый ответ. Статья формулирует проблему в терминах пространства возможных выходов: модели оптимизируются для минимизации ошибки на тексте, который они видят, и эта цель тихо вознаграждает уверенную фабрикацию вместо честного молчания.
Подробное обсуждение работы появилось на Zhihu, китайской платформе вопросов и ответов, которую часто называют китайским аналогом Quora, где один из авторов статьи провёл читателей через мотивацию исследования. Автор описал, как проект начался с критического прочтения более ранних работ о поведении моделей, включая анализы того, почему языковые модели галлюцинируют, и постепенно перешёл от абстрактных границ в теории информации к практической загадке чат-ботов, которые не признают незнания.
Это объяснение важно, потому что галлюцинация — одно из главных препятствий для доверия к ИИ-системам. Модель, которая выдумывает юридическую ссылку, медицинскую дозировку или историческую дату, может ввести в заблуждение пользователей, у которых нет простого способа проверить. Если эта тенденция заложена в то, как эти системы обучаются и оцениваются, то просто советовать пользователям «всё проверять» — не полное решение.
Одно из следствий: исправление, возможно, должно начинаться на этапе обучения. Если бы модели вознаграждались за выражение неопределённости или если бы отказ отвечать рассматривался как допустимый и даже желательный результат, стимул фабриковать ослаб бы. Некоторые исследователи предлагали учить модели чаще говорить «Я не уверен», хотя делать это, не делая их бесполезно осторожными, — тонкий баланс.
Ветка на Zhihu также затронула более широкую тему: как технические исследования проникают в общественное понимание. Статья, написанная для специалистов, может достичь миллионов читателей, когда автор или знающий комментатор переводит её на простой язык. В этом случае обсуждение привлекло внимание не из-за запуска продукта, а потому что вопрос — почему мой ИИ выдумывает? — обычные пользователи задают каждый день.
На данный момент статья является препринтом, то есть ещё не прошла формальное рецензирование, и её выводы будут проверяться и обсуждаться другими исследователями. Но формулировка полезна: галлюцинация может быть не ошибкой, которую можно просто исправить патчем. Она может быть предсказуемым следствием того, как эти системы построены и оценены, и понимание этого — первый шаг к созданию ИИ, который знает пределы того, что он знает.