NVIDIA Nemotron 3.5 Super VL: visión multimodal para agentes autónomosArtículo · digest del 25 de octubre
Vista en primera persona POV a través de un visor óptico con etiquetado multimodal de objetos por el modelo Nemotron 3.5 Super VL.
Artículo3 secciones≈ 5 min

NVIDIA Nemotron 3.5 Super VL: visión multimodal para agentes autónomos

Si alguna vez has intentado crear agentes capaces de orientarse en la pantalla de un ordenador o extraer balances contables de documentos PDF escaneados, conoces de sobra su talón de Aquiles. Los modelos de visión por ordenador de primera generación (Vision-Language Models, VLM) reconocen estupendamente un perro en el césped o una taza de café sobre la mesa, pero en cuanto les enseñas un denso informe financiero de 80 páginas con tablas multinivel y anotaciones a mano, empieza el circo: las filas se descuadran, las columnas se mezclan y, al hacer clic en un botón de la pantalla, el agente falla por un par de centímetros.

El motivo de esta miopía es bastante trivial: la mayoría de los VLM se construyeron pegando mecánicamente un codificador de imágenes estándar (como CLIP) a un modelo de lenguaje de texto mediante un simple adaptador lineal. Las tipografías pequeñas y las cuadrículas geométricas quedaban literalmente borrosas en la compresión inicial de la imagen.

NVIDIA acaba de presentar una solución arquitectónica radical a este problema: el modelo abierto Nemotron 3.5 Super VL.

Aleación arquitectónica de Mamba-2 y transformer: por qué los VLM anteriores tropezaban con los documentos

Nemotron 3.5 Super VL es una auténtica obra maestra de ingeniería en arquitecturas híbridas. El volumen total del modelo alcanza los 120 mil millones de parámetros, pero gracias a su estructura Mixture-of-Experts solo se activan de forma dinámica 12 mil millones de pesos por cada token.

Sin embargo, lo más interesante se esconde dentro de los bloques de cómputo:

  • Las capas internas del modelo combinan la atención clásica de los transformers con el mecanismo Mamba-2 (State Space Models, SSM). Mamba aporta escalabilidad lineal en memoria al procesar secuencias ultralargas, lo que permite al modelo sostener sin esfuerzo una ventana de contexto de 1 000 000 de tokens.
  • En la entrada visual monta un codificador óptico especializado, C-RADIO. Está entrenado sobre un conjunto gigantesco de escaneos en alta resolución y es capaz de segmentar con nitidez líneas finas de bordes de tablas, notas al pie de cuerpo 6 y botones de radio de interfaces gráficas.

Récords en DocVQA y precisión de coordenadas al controlar la pantalla

Los resultados de benchmarks independientes demostraron que una arquitectura especializada con 12 mil millones de parámetros activos supera con facilidad a modelos monolíticos mucho más pesados:

  • En pruebas de comprensión profunda de documentos escaneados (DocVQA) y análisis de gráficos financieros (ChartQA), Nemotron 3.5 Super VL superó el 91 % de precisión.
  • En pruebas de posicionamiento en pantalla (GUI Screen Grounding), donde se entrega al modelo la captura de una aplicación y se le pide devolver las coordenadas exactas de un elemento tras la frase «pulsa el botón Exportar a CSV en la esquina inferior derecha», el error medio de posicionamiento fue inferior a 3 píxeles. Esto garantiza clics certeros sin fallar hacia elementos vecinos.

Formato NVFP4 de 4 bits y microservicios NIM: cómo empaquetar la visión en un pipeline agéntico

Para uso real en producción industrial, el modelo está optimizado para el nuevo formato en coma flotante de 4 bits NVFP4. En la arquitectura de hardware NVIDIA Blackwell este formato cuenta con soporte nativo en silicio, ofreciendo un ahorro de cuatro veces en ancho de banda de memoria sin pérdida de calidad en el reconocimiento.

Puedes desplegar el modelo como un microservicio listo para usar de NVIDIA NIM (Inference Microservice), con soporte para paralelismo multihilo:

# Inicio del contenedor NVIDIA NIM con el modelo Nemotron 3.5 Super VL
docker run -d --gpus all \
  -e NGC_API_KEY=$NGC_API_KEY \
  -p 8000:8000 \
  nvcr.io/nim/nvidia/nemotron-3.5-super-vl:latest

Y para inferencia rápida mediante la librería vLLM en Python bastan unas pocas líneas de código:

from vllm import LLM, SamplingParams
from PIL import Image

# Inicialización de Nemotron 3.5 Super VL mediante vLLM
vlm = LLM(
    model="nvidia/nemotron-3.5-super-vl",
    trust_remote_code=True,
    tensor_parallel_size=2,
    max_model_len=131072,
    quantization="fp8"
)

# Carga de la captura de interfaz y preparación de la consulta
dashboard_image = Image.open("finance_dashboard.png")
prompt = "<image>\nExtrae todos los indicadores de la tabla EBITDA en formato JSON y comprueba si hay insignias de advertencia."

outputs = vlm.generate({
    "prompt": prompt,
    "multi_modal_data": {"image": dashboard_image}
}, SamplingParams(temperature=0.1, max_tokens=2048))

for output in outputs:
    print(output.text)

En combinación con frameworks agénticos, Nemotron se convierte en un sensor visual impecable que libra a los modelos de texto de tener que adivinar a partir de reconocimientos OCR defectuosos.

Quiero un análisis detalladoLos votos ayudan a elegir qué analizar a fondo. Este material tiene 0 votos.
Fuentes · 3