DeepSeek выложила в открытый доступ движок инференса DeepInferКратко · дайджест за 26 октября
Кратко≈ 1 мин

DeepSeek выложила в открытый доступ движок инференса DeepInfer

Лаборатория DeepSeek опубликовала под свободной лицензией Apache 2.0 исходный код своего серверного движка DeepInfer, который обслуживает в боевом окружении флагманскую модель DeepSeek V4.1 Flash с архитектурой MoE на 552 миллиарда параметров.

Главная инженерная изюминка движка — оптимизированный алгоритм спекулятивного декодирования (архитектура DSpark). Вместо посимвольной генерации, где огромная модель неизбежно упирается в пропускную способность памяти ускорителей, вспомогательная голова уверенности (Confidence Head) генерирует пачку токенов вперед, а основная сеть валидирует их параллельно за один прямой проход. Это кратно поднимает скорость отдачи токенов без потери математической строгости рассуждений.

Релиз ориентирован на операторов центров обработки данных и кластеров на базе чипов NVIDIA SM100 и китайских ускорителей Huawei Ascend 950. При этом DeepSeek выложила именно низкоуровневое ядро вычислений: распределенное кэширование префиксов и сетевая балансировка нагрузки остаются частью закрытой серверной обвязки дата-центра. Ознакомиться с историей развития платформы можно в нашем разборе про движок DeepInfer и модель V4.1 Flash.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 3