По данным DeepSeek, 20 октября компания выпустила в открытый доступ DeepInfer — высокопроизводительный фреймворк инференса, на котором работают её крупные продакшн-сервисы. Инференс — этап эксплуатации обученной модели, когда она генерирует ответы на запросы пользователей. Код размещён на GitHub под лицензией Apache 2.0, поддерживается модель DeepSeek-V4.1-Flash.
В основе фреймворка — собственные оптимизированные вычислительные ядра (FlashMLA, DeepGEMM, DeepEP и другие), параллелизм под MoE-архитектуру и асинхронный планировщик, который готовит следующую партию запросов, пока оборудование обрабатывает текущую. MoE (mixture of experts, «смесь экспертов») — архитектура, при которой на каждый запрос активируется только часть параметров модели.
Среди практичных возможностей — спекулятивное декодирование: модель генерирует несколько черновых токенов (фрагментов текста) и проверяет их одновременно, что ускоряет и удешевляет инференс. Также в релизе — детерминированное сэмплирование, при котором одинаковый вход и параметры дают одинаковый результат вне зависимости от нагрузки, и структурированные выводы, ограничивающие генерацию JSON-схемой, регулярным выражением или грамматикой EBNF.
DeepInfer работает на графических процессорах NVIDIA SM100 и нейропроцессорах Huawei Ascend 950. Для полноценного сервиса, отмечает DeepSeek, дополнительно потребуются система кэширования KV, разделение этапов обработки запроса и генерации ответа, а также балансировка нагрузки между репликами — этих компонентов в релизе нет.
Проект построен на базе открытого фреймворка vLLM с заимствованиями из SGLang и TensorRT-LLM. Дополнительно, как сообщает Telegram-канал Data Secrets, DeepSeek выпустила под лицензией MIT проект deepseek-recipe — схему преобразования запроса клиента в формат модели и ответа модели обратно в ответ клиенту, а также Python-биндинг. По оценке канала, именно на этом этапе чаще всего ломается самостоятельный хостинг открытых весов моделей.
