Если ты занимаешься разработкой, то наверняка знаешь главную боль текстовых ассистентов: как только дело доходит до вёрстки интерфейса, сложной анимации или съехавшего мобильного экрана, обычный чат-бот становится беспомощным. Ты можешь написать десять абзацев текста, описывая, где именно перекрывается всплывающее окно, но модель всё равно предложит не тот CSS-селектор.
Команда NVIDIA решила преодолеть этот разрыв между кодом и визуалом, представив открытую модель Nemotron 3.5 Super VL. Это специализированная мультимодальная нейросеть, разработанная для ускоренного рефакторинга, анализа графических интерфейсов и технической документации.
Давай посмотрим, что скрывается под капотом новинки и почему инженеры называют её архитектуру образцовой.
Архитектура: гибрид MoE и Mamba-2
В основе модели лежит разреженная структура Mixture-of-Experts (MoE) с общим объёмом 120 миллиардов параметров, из которых на каждый сгенерированный токен динамически активируются лишь 12 миллиардов (120B-A12B). То есть при инференсе работает всего 10% от общей массы весов.
Инженеры объединили слои внимания трансформера со слоями Mamba-2 (State Space Model). Это позволило решить две главные проблемы длинного контекста:
- Ускорение в 4 раза: скорость генерации токенов выросла в четыре раза по сравнению с плотными (dense) аналогами сравнимого уровня эрудиции.
- Длинный контекст до 1 миллиона токенов: ты можешь загрузить в память модели полный репозиторий проекта вместе со всеми сопутствующими схемами, дизайн-макетами и логами.
За визуальное восприятие отвечает продвинутый энкодер C-RADIO. Он с высокой точностью распознаёт диаграммы классов, многоколоночные PDF-файлы, скриншоты дефектов рендеринга и даже короткие скринкасты воспроизведения ошибок. Модель смотрит на скриншот бага, сопоставляет его с исходным кодом компонентов и сразу указывает на строку с ошибкой.
Мы уже наблюдали, как открытые решения меняют экосистему анализа интерфейсов и технической документации, и Nemotron 3.5 Super VL выводит этот подход на промышленный уровень.
Аппаратные требования и локальный запуск
Чудес не бывает: 120 миллиардов параметров требуют солидного железа, но благодаря поддержке нового формата квантования NVFP4 для микроархитектуры NVIDIA Blackwell порог входа заметно снизился.
Для запуска в оригинальной точности BF16 потребуется серверный кластер из четырёх ускорителей NVIDIA A100 или H100 (80GB). Однако в квантованном виде NVFP4 или INT4 модель способна работать на мощной рабочей станции с двумя видеокартами класса RTX 4090 или 5090 с достаточным пулом унифицированной памяти.
Модель полностью интегрирована со стеком TensorRT-LLM и фреймворком NeMo, что позволяет корпоративным командам безопасно дообучать её на внутренних закрытых репозиториях без риска утечки коммерческой тайны.
Nemotron 3.5 Super VL наглядно показывает, куда движется практический ИИ: эпоха слепых текстовых подсказок уступает место сквозным визуальным средам, где алгоритм видит экран ровно так же, как живой инженер.