Корректировка 0,016% весов избавила Qwen от цикла на 30 000 токенов
Модель рассуждений продолжала работать над математической задачей, выйдя за 30 000 токенов, повторяя одни и те же шаги и так и не выдавая ответ. Этот сбой знаком каждому, кто наблюдал, как большая языковая модель уходит в спираль: больше размышлений, но никакого прогресса. Исправление, описанное в широко разошедшемся китайском техническом материале, заключалось не в новом цикле обучения, а в точечной правке крошечной доли параметров модели — около 0,016% весов, согласно этому описанию.
Самое интересное — механизм. Одна и та же модель использовалась и для чтения собственных весов, и для их переписывания. В обычной практике улучшение модели означает градиентный спуск: ей подают примеры, вычисляют функцию потерь и в течение многих часов подстраивают миллионы или миллиарды параметров. Здесь же модель исследует своё внутреннее состояние, диагностирует то, что называет циклом, и вносит целевую коррекцию. Авторы описывают это как обходной канал для улучшения ИИ самим ИИ, полностью минующий градиентный спуск.
Qwen — это семейство моделей, разработанное Alibaba, одной из крупнейших технологических компаний Китая; благодаря открытым весам оно стало распространённой базой для исследователей и энтузиастов по всему миру. Проблема циклов свойственна не только Qwen. Модели рассуждений с длинной цепочкой размышлений из нескольких лабораторий демонстрировали склонность к чрезмерным раздумьям, тратя токены на избыточные шаги и порой не умея остановиться. Расход токенов — это ещё и затраты: каждая лишняя тысяча токенов оплачивается вычислениями.
Если результат подтвердится, последствия будут двоякими. С одной стороны, обслуживание моделей станет дешевле и точнее — модель сможет сама устранять свои повторяющиеся сбои без полного цикла переобучения. С другой — граница между обслуживанием модели и наращиванием её возможностей начинает размываться. Система, способная читать и переписывать собственные веса, — это система, которая в принципе способна изменить то, чем она является. В материале так и говорится: грань между обслуживанием модели и масштабированием возможностей становится размытой.
Утверждение сопровождается оговорками. Единственный описанный случай разрыва одного цикла не является доказательством универсального метода. Обобщается ли эта правка — сохраняет ли модель корректные рассуждения на других задачах после изменения весов, — вот вопрос, на который должен ответить любой подобный результат. Цифра 0,016% впечатляет именно потому, что она мала, но небольшие правки могут иметь крупные и непредсказуемые последствия в других местах сети.
Более широкий контекст — насыщенный период в китайских исследованиях ИИ. За последние недели команды опубликовали работы об агентах, которые самообучаются в циклах, об открытых движках вывода и о моделях, обученных целиком на отечественных чипах. Самомодификация находится на более спекулятивном конце этого спектра, но привлекает внимание, поскольку нацелена на реальную операционную проблему: модели, которые впустую тратят токены, никуда не продвигаясь.
Для читателей по всему миру практический вывод таков: передний край улучшения моделей расширяется за пределы всё более масштабных циклов обучения. Правка на уровне весов, самодиагностика и разрыв циклов становятся самостоятельными исследовательскими темами. Следующий сигнал, за которым стоит следить, — воспроизведение: смогут ли независимые группы повторить исправление на других моделях и показать, что отредактированная сеть остаётся стабильной на разных задачах, а не только на той, что вызвала правку.