Модель Spark X2.5-4B: гибридное внимание и контекст в 1 миллион токенов на потребительском железеКратко · дайджест за 11 сентября
Кратко≈ 1 мин

Модель Spark X2.5-4B: гибридное внимание и контекст в 1 миллион токенов на потребительском железе

Вышла открытая языковая модель Spark X2.5-4B, объединившая компактный размер в 4 миллиарда параметров с контекстным окном в 1 000 000 токенов.

До сих пор анализ целых кодовых репозиториев или многостраничной документации оставался прерогативой гигантских облачных сетей из-за квадратичной вычислительной сложности классического механизма внимания (Self-Attention). Инженеры Spark X2.5 решили проблему внедрением гибридной архитектуры (Hybrid Attention): чередование локального скользящего внимания для соседних слов с линейными глобальными слоями для удержания контекста через весь миллион токенов.

В стресс-тестах на поиск изолированных фактов («иголка в стоге сена» / Needle in a Haystack) и в бенчмарках по автономному программированию модель продемонстрировала точность, сопоставимую с закрытыми моделями в 5–7 раз большего веса.

Главная практическая ценность релиза — доступность для локального развертывания. Квантованные версии Spark X2.5 запускаются на ноутбуках с чипами Apple Silicon и потребительских видеокартах уровня RTX 3060 и 4060, позволяя бизнесу безопасно анализировать закрытую кодовую базу и коммерческую тайну без передачи данных на сторонние серверы.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2