OpenAI заявляет, что её ИИ решил 372 открытые математические проблемы. Математики настроены скептически
В начале октября OpenAI опубликовала на GitHub 722 математических рукописи, все созданные одной внутренней моделью, которую компания так и не выпустила для публики. По словам OpenAI, система атаковала около 4000 открытых проблем в 17 разделах математики — среди них теория чисел, геометрия, теория вероятностей и теоретическая информатика — и получила результаты по 372 из них. Анонс появился менее чем через три месяца после того, как китайский математик Ван Хун получила Филдсовскую премию, высшую награду в этой дисциплине, за работу над трёхмерной версией гипотезы Какегавы. Модель OpenAI, как предположила компания, продвинулась на одно измерение дальше.
Именно эта подача обеспечила огласку. Математика стала неожиданной испытательной площадкой для искусственного интеллекта, потому что, в отличие от написания эссе или генерации изображений, доказательство можно проверить. Правильное доказательство остаётся правильным навсегда; ошибочное может быть разрушено любым компетентным аспирантом. Естественные арбитры здесь — лауреаты Филдсовской премии, а не отделы маркетинга.
Проблема в объёме. Семьсот двадцать две рукописи — это не статья. Это небольшая библиотека, и её чтение требует медленного, состязательного внимания, которое нельзя переложить на тот же класс моделей, что её написал. Математики, начавшие разбирать файлы, описывают смешанную картину: рассуждения, выглядящие правдоподобно до одного конкретного шага, определения, которые незаметно меняют смысл на полпути, и отдельные результаты, которые кажутся действительно новыми.
Китайские научные журналисты высказались резче. Одно широко разошедшееся эссе сравнило публикацию с обнаружением горы отходов, в которой исследователи, зажав нос, ищут золото. Образ недобрый, но он передаёт реальный объём работы. Кто-то должен решить, строка за строкой, какие из этих 372 заявленных результатов выдержат контакт с человеческим экспертом.
Это знакомая схема в машинном обучении. Системы, генерирующие возможные решения, намного опережают людей, доступных для их проверки, будь то в математике, поиске лекарств или материаловедении. Проверка становится узким местом, и это узкое место определяет реальную ценность инструмента. Модель, предлагающая десять тысяч гипотез, полезна ровно настолько, насколько лаборатория способна их проверить.
Есть и более глубокий вопрос о том, что делает модель. Математики различают нахождение доказательства и понимание того, почему теорема верна. Машина может искать цепочку допустимых шагов, не схватывая структуру, которая делает результат неизбежным, а именно эта структура позволяет людям распространить результат на новые случаи. Если рукописи OpenAI содержат корректные доказательства, но не содержат понимания, они всё ещё могут быть полезны — но сами по себе они не изменят то, как думает эта область.
Пока честный ответ таков: никто не знает. Рукописи публичны, утверждения достаточно конкретны, чтобы их можно было проверить, и проверка началась. Именно так математика всегда разрешала споры, и это процесс более медленный, чем анонс продукта.
Что этот эпизод действительно показывает, так это то, что компании, занимающиеся ИИ, решили, что математика — та арена, где они могут делать свои самые убедительные заявления. Эта область предлагает нечто редкое в дебатах об ИИ: вердикт, не зависящий ни от чьего мнения. Если хотя бы часть из этих 372 результатов подтвердится, публикация запомнится как веха. Если большинство рухнет под проверкой, она запомнится как урок о разрыве между генерацией текста и производством знания.