Si alguna vez te ha tocado desplegar modelos de lenguaje por tu cuenta en servidores, sabes lo dolorosa que puede ser la batalla por cada token por segundo. El motor vLLM lleva tiempo siendo el estándar de oro de la industria: el algoritmo PagedAttention, el continuous batching y el soporte de inferencia distribuida exprimen casi todo lo posible de las tarjetas gráficas. Pero cuando toca hacer una optimización extrema para una arquitectura de pesos concreta, los ingenieros acaban topándose con un techo.
Tradicionalmente, optimizar núcleos de cómputo es una disciplina elitista. En todo el mundo hay literalmente un par de cientos de especialistas capaces de escribir con maestría en C++, CUDA y el lenguaje de bajo nivel Triton de OpenAI. Ajustar a mano un solo operador lleva semanas de experimentos minuciosos con registros y memoria compartida de la GPU.
Los ingenieros de Google DeepMind decidieron poner a prueba una hipótesis audaz: ¿qué pasaría si encargaran la optimización de la inferencia del modelo abierto Gemma 4 a su red de razonamiento insignia Gemini 4 Argon? El resultado superó las expectativas más optimistas: el modelo actuó como un compilador de sistemas autónomo y generó ocho pull requests al repositorio oficial de vLLM, multiplicando el rendimiento casi por tres. Echemos un vistazo bajo el capó para ver qué cuellos de botella concretos destapó el algoritmo.
Decodificación especulativa con MTP: cómo predecir tokens por lotes
La gran maldición de los modelos autorregresivos es la naturaleza secuencial de su generación. Para producir una frase de cincuenta palabras, la tarjeta gráfica tiene que hacer cincuenta pasadas consecutivas por los pesos. Incluso cuando las unidades de cómputo de la GPU están ociosas, la latencia de acceso a memoria (Memory Bandwidth) estrangula el rendimiento.
La arquitectura de Gemma 4 nació pensada para la predicción multitoken (Multi-Token Prediction, MTP), es decir, la capacidad de pronosticar varios tokens de golpe en una sola pasada directa. Sin embargo, en el motor vLLM ese potencial seguía desaprovechado por falta de un planificador eficiente.
Gemini 4 Argon diseñó un módulo especializado de borrador especulativo (speculative drafter). La mecánica es elegante: un borrador ligero genera sobre la marcha una cadena de 4 tokens candidatos en paralelo. Acto seguido, el modelo principal Gemma 4 E2B verifica todo el lote en un único paso de pasada directa. Si los tokens están bien adivinados, entran al instante en la respuesta. En salidas estructuradas —código, JSON o logs—, la tasa de acierto se dispara, lo que da un empujón enorme de velocidad sin perder un ápice de precisión semántica.
Cinco núcleos Triton personalizados: fusión de operaciones y fin a las fugas de memoria
Pero la decodificación especulativa por sí sola no bastaba: los cuellos de botella se escondían más abajo, en la interacción con la memoria de la tarjeta gráfica. Argon perfiló el grafo de cómputo y generó cinco núcleos especializados en lenguaje Triton.
En esa refactorización, hay tres jugadas de ingeniería que me parecieron brillantes:
- Fusión de capas RMSNorm y proyección lineal QKV (Kernel Fusion). En un pipeline estándar, el tensor primero se normaliza, se escribe en la memoria global de la GPU y luego el siguiente operador lo vuelve a leer para multiplicar matrices. Argon unió estos pasos en un solo núcleo fusionado: los datos se procesan directamente en la rápida memoria local de registros, eliminando un viaje innecesario a la VRAM.
- Operador hardware RoPE con caché trigonométrica. La codificación posicional rotatoria (Rotary Position Embedding) exige calcular senos y cosenos constantemente. El núcleo generado combina el almacenamiento en caché de las mallas de coordenadas con la multiplicación en flujo.
- Selección dispersa (sparse gather) en la cabeza GEMV. Esta fue la optimización más jugosa: en la implementación estándar de vLLM, el búfer intermedio de tensores temporales devoraba hasta 1540 MB de memoria de vídeo. Argon reescribió el algoritmo para leer datos en flujo directo, reduciendo el consumo de VRAM auxiliar prácticamente a cero.
Como resultado, la memoria liberada permitió aumentar de forma notable el tamaño del lote (batch size) sin chocar contra errores de Out of Memory.
Mediciones en NVIDIA A100: 108,000 tokens por segundo sin perder precisión
Los números hablan por sí solos. Las pruebas se realizaron en una aceleradora estándar de servidor NVIDIA A100 con 80 GB de memoria:
- El rendimiento base de Gemma 4 E2B en vLLM era de 37,900 tokens por segundo.
- Tras aplicar el paquete de parches de Gemini 4 Argon, la velocidad saltó a 108,000 tokens por segundo.
- El factor de aceleración final fue de 2.85 veces.
Además, la verificación de logits mostró una coincidencia del 100% con la distribución de referencia. Es optimización pura del cómputo, sin cuantizar pesos, recortar contexto ni degradar la inteligencia de las respuestas.
Para los proveedores de servidores, acelerar casi por tres supone una reducción proporcional directa del parque de máquinas. Donde antes hacía falta un clúster de tres servidores que costaba decenas de miles de dólares al mes, ahora basta con un solo rack.
Qué cambia esto para la industria de los modelos abiertos
Este caso no importa solo como una victoria vistosa en los benchmarks. Estamos presenciando el nacimiento de una nueva etapa en el desarrollo de software: la optimización recursiva de la IA realizada por la propia IA.
OpenAI concibió el lenguaje Triton para que los programadores de Python pudieran escribir núcleos rápidos para tarjetas gráficas sin sumergirse en las profundidades del ensamblador CUDA. Pero ha resultado que Triton es el entorno ideal precisamente para los modelos de razonamiento. La red neuronal mantiene sin esfuerzo el mapa de memoria de la GPU en su contexto, calcula los tamaños de los tiles y diseña código que no tiene nada que envidiar al trabajo manual de los mejores arquitectos de los gigantes del silicio.
Por supuesto, los núcleos generados exigen una validación estricta: un código afinado para la arquitectura Ampere (A100) puede comportarse distinto en Hopper (H100) o Blackwell. Además, la decodificación especulativa despliega todo su potencial en tareas deterministas; si subes la temperatura de generación a 1.5 para escribir poesía, el porcentaje de tokens aceptados bajará y la mejora será más modesta. Pero los cimientos ya están puestos: la era de la rutina manual de los programadores de bajo nivel está dando paso a la era de los compiladores de IA autónomos.

