Разработчики открытых нейросетей представили модель Laguna S2.1, построенную по архитектуре Mixture-of-Experts (MoE). При общем суммарном объеме в 118 миллиардов параметров нейросеть использует динамическую маршрутизацию: для обработки каждого отдельного токена активируется только 8 миллиардов экспертных параметров.
Такой подход позволяет достичь высокой производительности при скромных требованиях к вычислительным ресурсам. На специализированных инженерных бенчмарках HumanEval и SWE-bench модель Laguna S2.1 продемонстрировала точность решения задач написания и отладки кода свыше 70%, опередив ряд проприетарных монолитных моделей с существенно большим числом параметров.
Для сообщества разработчиков появление Laguna S2.1 означает возможность запускать квалифицированного кодинг-ассистента локально на рабочих станциях с умеренным объемом видеопамяти. Оптимизация MoE-архитектуры делает доступными технологии автономного написания кода без постоянной зависимости от облачных API.
