HotNews.pub

Baidu открывает миру модель ERNIE 5.5 Flash Base с 280 млрд параметров

Редакция HotNews2 мин чтения
Baidu открывает миру модель ERNIE 5.5 Flash Base с 280 млрд параметров

5 ноября Baidu выложила веса своей новейшей базовой модели ERNIE 5.5 Flash Base, сделав одну из крупнейших открытых моделей Китая доступной для скачивания, дообучения и развёртывания. Компания называет её базовой версией линейки ERNIE — семейства больших языковых моделей, на которых работают поисковик Baidu и её чат-бот Ernie.

Главная цифра — масштаб: 280 млрд параметров в общей сложности. Однако модель построена на архитектуре смеси экспертов, при которой каждый токен текста активирует лишь часть сети. Здесь эта доля составляет около 14 млрд параметров, что удерживает стоимость работы модели намного ниже, чем можно предположить по её исходному размеру. Модель предобучена на 33,5 трлн токенов с контекстным окном до 128 000 токенов; при дообучении и инференсе она обрабатывает контексты до миллиона токенов — этого достаточно для очень длинных документов или кодовых баз.

Baidu утверждает, что модель установила новый рекорд среди сопоставимых по размеру моделей по бенчмаркам в области знаний, рассуждений, математики, программирования, многоязычности и работы с длинным контекстом. В качестве моделей, которые она превосходит, названы DeepSeek-V4-Flash-Base и Hy3-preview-Base. К таким сравнениям по собственным замерам стоит относиться с осторожностью: результаты бенчмарков во многом зависят от методики тестирования, но именно они служат валютой на рынке открытых весов.

Этот шаг вписывается в общую картину китайского ИИ. За последний год крупнейшие лаборатории страны всё чаще публикуют веса моделей, а не держат их закрытыми, используя бесплатные загрузки, чтобы привлекать разработчиков, собирать отзывы и строить экосистемы вокруг своих инструментов. Открытые веса позволяют стартапам, исследователям и энтузиастам запускать мощные модели на собственном оборудовании — это важно на рынке, где цены на API резко упали, а доступ к зарубежным моделям может быть неопределённым.

Для Baidu расчёт стратегический. Компания была одним из первых в Китае сторонников больших языковых моделей, но столкнулась с жёсткой конкуренцией со стороны более молодых соперников, включая DeepSeek и волну стартапов, а также крупных платформенных игроков. Публикация сильной базовой модели даёт Baidu видимость среди разработчиков, создающих приложения поверх моделей, и шанс продвинуть свои инструменты и облачные сервисы.

Метка Flash указывает на цель: скорость и экономичность, а не максимальные возможности. Базовые модели — это сырьё, а не готовый продукт; как правило, им нужно дообучение или выравнивание, прежде чем они начнут хорошо работать в потребительских приложениях. Выпуск базовой версии приглашает сообщество открытого кода выполнить эту работу — распространённый путь к быстрому внедрению.

Что будет дальше, измерят не столько по таблицам бенчмарков, сколько по загрузкам и производным моделям. В ближайшие недели стоит ждать дообученных вариантов, квантованных версий для менее мощных машин и сравнений с открытыми релизами DeepSeek. Для разработчиков по всему миру практический вопрос в том, сможет ли модель с 280 млрд параметров и скромным бюджетом активации обеспечить конкурентоспособное качество по цене, которая имеет смысл за пределами китайского облачного рынка.

Перейти к случайному материалу из архива

Граф связей тем

Толще линия — чаще совместные публикации · нажмите на узел, чтобы открыть тег