DeepSeek открывает исходный код DeepInfer — движка, обслуживающего собственный чат-трафик

20 октября DeepSeek опубликовала DeepInfer — внутренний фреймворк инференса, обеспечивающий обслуживание моделей в промышленном масштабе, — под разрешительной лицензией Apache 2.0, вместе с deepseek-recipe, сопутствующим компонентом кодирования и декодирования токенов. Релиз в настоящее время поддерживает DeepSeek-V4.1-Flash.

Фреймворк включает высокопроизводительные операторы и движок оптимизации, а также добавляет распределённый инференс, спекулятивное декодирование, структурированный вывод и метод экономии памяти, который компания называет SWA Bounded Replay. Он работает как на оборудовании Nvidia, так и на чипах Ascend от Huawei — деталь, важная для китайских разработчиков, которые не могут полагаться на импортные GPU.

DeepInfer следует уже сложившейся для DeepSeek схеме: компания уже открыла веса своих моделей, инструменты компилятора TileLang и библиотеку операторов инференса. Публикация слоя обслуживания позволяет сторонним инженерам воспроизвести достижения компании в эффективности, а не заниматься обратной разработкой, и даёт небольшим командам готовый путь к дешёвому запуску больших моделей.

Этот шаг также незаметно поднимает планку для конкурентов. Стоимость инференса, а не чистое качество модели, всё чаще решает, какие AI-продукты выживают в масштабе, и DeepSeek передаёт своё ценовое преимущество любому желающему.