Inkling-Small: дистилляция 12B-модели до уровня флагманских LLMКратко · дайджест за 5 августа
Кратко≈ 1 мин

Inkling-Small: дистилляция 12B-модели до уровня флагманских LLM

Исследовательская лаборатория Thinking Machines представила подробности о модели Inkling-Small с 12 миллиардами активных параметров. Нейросеть создана методом глубокой дистилляции знаний из старшей флагманской архитектуры объемом 975 миллиардов параметров, сочетая технику обучения с подкреплением и динамическое управление шагами рассуждения (thinking effort).

Несмотря на скромный размер, Inkling-Small сохраняет около 80% производительности старшей модели на бенчмарке программной инженерии SWE-bench и поддерживает гигантское контекстное окно в 1 миллион токенов. Модель спроектирована как компактный генералист: она оптимизирована для автономного написания кода, вызова внешних инструментов и обработки мультимодальных вводов. Разработчики отмечают, что веса версии Small в настоящее время проходят финальное тестирование перед открытым публичным релизом.

Появление Inkling-Small подтверждает тренд на миниатюризацию эффективных моделей. Возможность запускать нейросеть с качеством рассуждения топовых LLM на пользовательских видеокартах или крайних серверах (edge devices) снижает порог входа для создания персональных ИИ-помощников и автономных сервисов.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2