Если ты пробовал создавать агентов, которые должны ориентироваться на экране компьютера или вычитывать бухгалтерские балансы из отсканированных PDF-документов, то прекрасно знаешь их ахиллесову пяту. Модели компьютерного зрения первого поколения (Vision-Language Models, VLM) отлично распознают собаку на лужайке или чашку кофе на столе, но стоит показать им плотный финансовый отчет на 80 страниц с многоэтажными таблицами и рукописными пометками, как начинается цирк: строки съезжают, колонки путаются, а при клике по экранной кнопке агент промахивается на пару сантиметров.
Причина этой близорукости банальна: большинство VLM создавались путем механической склейки стандартного энкодера изображений (вроде CLIP) с текстовой языковой моделью через простенький линейный адаптер. Мелкие шрифты и геометрические сетки просто размывались при первичном сжатии картинки.
NVIDIA представила радикальное архитектурное решение этой проблемы — открытую модель Nemotron 3.5 Super VL.
Архитектурный сплав Mamba-2 и трансформера: почему старые VLM спотыкались на документах
Nemotron 3.5 Super VL — это настоящий инженерный шедевр гибридных архитектур. Общий объем модели составляет 120 миллиардов параметров, но за счет структуры Mixture-of-Experts на каждый токен динамически активируется всего 12 миллиардов весов.
Однако самое интересное скрыто внутри вычислительных блоков:
- Внутренние слои модели объединяют классическое трансформерное внимание с механизмом Mamba-2 (State Space Models, SSM). Mamba обеспечивает линейную масштабируемость по памяти при обработке сверхдлинных последовательностей, позволяя модели легко удерживать контекстное окно в 1 000 000 токенов.
- На зрительном входе установлен специализированный оптический энкодер C-RADIO. Он обучен на гигантском массиве сканов высокого разрешения и способен четко сегментировать волосяные линии табличных границ, сноски 6-м кеглем и радиокнопки графических интерфейсов.
Рекорды в DocVQA и координатная точность в управлении экраном
Результаты независимых бенчмарков показали, что специализированная архитектура на 12 млрд активных параметров с легкостью обходит гораздо более тяжелые монолитные модели:
- В тестах на глубокое понимание отсканированных документов (DocVQA) и аналитику финансовых графиков (ChartQA) Nemotron 3.5 Super VL показала точность свыше 91%.
- В тестах экранного позиционирования (GUI Screen Grounding), где модели дают скриншот приложения и просят вернуть точные экранные координаты элемента по фразе «нажми кнопку Экспорт в CSV в правом нижнем углу», средняя ошибка позиционирования составила менее 3 пикселей! Это гарантирует безошибочные клики без промахов по соседним элементам.
4-битный формат NVFP4 и микросервисы NIM: как упаковать зрение в агентный пайплайн
Для боевого промышленного использования модель оптимизирована под новейший 4-битный формат с плавающей запятой NVFP4. На аппаратной архитектуре NVIDIA Blackwell этот формат поддерживается на уровне кремния, обеспечивая четырехкратную экономию полосы пропускания памяти без потери качества распознавания.
Развернуть модель можно в виде готового микросервиса NVIDIA NIM (Inference Microservice), поддерживающего многопоточный параллелизм:
# Запуск контейнера NVIDIA NIM с моделью Nemotron 3.5 Super VL
docker run -d --gpus all \
-e NGC_API_KEY=$NGC_API_KEY \
-p 8000:8000 \
nvcr.io/nim/nvidia/nemotron-3.5-super-vl:latest
А для быстрого инференса через библиотеку vLLM в Python достаточно нескольких строк кода:
from vllm import LLM, SamplingParams
from PIL import Image
# Инициализация Nemotron 3.5 Super VL через vLLM
vlm = LLM(
model="nvidia/nemotron-3.5-super-vl",
trust_remote_code=True,
tensor_parallel_size=2,
max_model_len=131072,
quantization="fp8"
)
# Загрузка скриншота интерфейса и подготовка запроса
dashboard_image = Image.open("finance_dashboard.png")
prompt = "<image>\nИзвлеки все показатели таблицы EBITDA в формате JSON и проверь наличие предупреждающих бейджей."
outputs = vlm.generate({
"prompt": prompt,
"multi_modal_data": {"image": dashboard_image}
}, SamplingParams(temperature=0.1, max_tokens=2048))
for output in outputs:
print(output.text)
В связке с агентными фреймворками Nemotron становится безупречным зрительным сенсором, избавляя текстовые модели от необходимости гадать по некачественным текстовым распознаваниям OCR.