Intentar que un gran modelo multimodal como GPT-4o o Claude controle la interfaz gráfica de un sistema operativo mediante capturas de pantalla es una actividad fascinante, pero terriblemente ineficiente. Cada paso exige enviar una imagen pesada a la API, esperar razonamientos en texto durante 3–5 segundos y analizar una respuesta JSON con coordenadas. Una simple operación de rellenar un formulario de cinco campos consume un minuto de tiempo y un dólar en tokens.
Además, los modelos generalistas fallan el blanco con frecuencia: que un botón se desplace veinte píxeles por culpa de un banner emergente provoca que el agente haga clic en el vacío y se quede atascado. La cuantización de tokens visuales en redes autorregresivas está mal adaptada para la micronavegación precisa.
Para superar esa lentitud, los desarrolladores presentaron Drex Max 1.1, un modelo multimodal especializado de toma de decisiones (Decision Foundation Model), optimizado exclusivamente para el control discreto de interfaces web y de escritorio. Ya seguimos la versión temprana Drex 1.1 para el enrutamiento probabilístico, y la versión Max lleva la precisión espacial de los clics al nivel de un usuario experimentado.
Arquitectura: pasada directa por ViT y tensor de acciones
La principal diferencia conceptual de Drex Max frente a los LLM clásicos radica en prescindir por completo de generar tokens de texto. El modelo no necesita razonar en voz alta sobre que el botón es azul y el campo de entrada está arriba a la izquierda.
La arquitectura combina un codificador espacial Vision Transformer (ViT) con una cabeza de regresión especializada en acciones (Action Head):
- Pasada directa de extremo a extremo (Forward Pass): El fotograma visual atraviesa el codificador en un solo paso, formando un tensor compacto de probabilidades sobre el espacio de acciones discretas: clic de ratón, doble clic, botón derecho, desplazamiento de página, pulsación de atajos de teclado o entrada de texto.
- Coordenadas normalizadas: El modelo devuelve directamente coordenadas continuas del cursor
(x, y)en el rango de 0.0 a 1.0, adaptadas a cualquier resolución de monitor destino. - Renuncia al decodificador de texto: Al no generar palabras intermedias, la latencia computacional (latency) de un paso se reduce a 80–120 milisegundos. El agente de interfaz reacciona a los eventos tan rápido como una persona.
Además, el modelo admite entrada de vídeo en flujo: en lugar de capturas discretas, es capaz de leer la dinámica de la pantalla, detectando a tiempo animaciones de carga, notificaciones que desaparecen y tooltips emergentes.
Formato de API y manejador cliente en código
Veamos cómo es una petición estructurada al servidor de inferencia de Drex Max:
{
"sessionId": "agent-session-9841",
"taskInstruction": "Haz clic en el botón 'Finalizar pedido' en el carrito de la tienda online",
"screenDimensions": { "width": 1920, "height": 1080 },
"visualFrameBase64": "data:image/jpeg;base64,/9j/4AAQSkZJRgABAQ...",
"outputConfiguration": {
"topKActions": 3,
"temperature": 0.1
}
}
Y así se ve el manejador cliente en Python que interpreta la salida probabilística del modelo y transforma las coordenadas normalizadas en eventos reales del sistema operativo:
import numpy as np
def parse_drex_max_action(api_response: dict):
# Extracción de la acción de interfaz más probable
action_type = api_response["predictedAction"]
confidence = api_response["confidenceScore"]
# Barrera de seguridad: escalado al operador si la confianza es baja
if confidence < 0.70:
print(f"Atención: baja confianza del modelo ({confidence:.2f}). Escalando al operador.")
return {"action": "WAIT_FOR_HUMAN"}
if action_type == "click":
coord_x = int(api_response["actionParameters"]["normalized_x"] * 1920)
coord_y = int(api_response["actionParameters"]["normalized_y"] * 1080)
print(f"Ejecutando clic de ratón: ({coord_x}, {coord_y}) con confianza {confidence:.2%}")
return {
"action": "MOUSE_CLICK",
"x": coord_x,
"y": coord_y
}
elif action_type == "type_text":
text_payload = api_response["actionParameters"]["text"]
return {"action": "INPUT_KEYS", "text": text_payload}
return {"action": "NOOP"}
Resistencia a cambios de maquetación y calibración de riesgos
Los scripts tradicionales de automatización en Selenium o Playwright se rompen al instante cuando el desarrollador frontend cambia clases CSS o la maquetación de las tarjetas. Drex Max 1.1 demuestra resistencia frente a cambios fuera de la muestra de entrenamiento (OOD Generalization):
- Comprensión visual en lugar de selectores rígidos: El modelo localiza el botón por su sentido y rasgos visuales, incluso si el sitio cambió por completo su paleta de claro a oscuro o reorganizó la cuadrícula de elementos para pantalla móvil.
- Umbral estricto de confianza (Confidence Threshold): Una estimación calibrada de probabilidad permite detener al instante el escenario si aparece en pantalla una ventana modal desconocida con un captcha o una advertencia del sistema.
- Integración con RPA corporativo: Para implantar el modelo en procesos de pruebas o rellenado de formularios en sistemas ERP heredados se contempla una hoja de ruta de integración en 30 días.
Drex Max 1.1 demuestra que el futuro de los agentes de interfaz no pertenece a redes generalistas monstruosas, sino a algoritmos especializados compactos y calibrados matemáticamente.

