Prueba de estrés de Browser Use en el benchmark Odysseys 2: por qué los agentes web se atascan en sitios realesArtículo · digest del 6 de noviembre
Agente web atrapado en un intrincado laberinto de elementos interactivos de sitios web reales
Artículo4 secciones≈ 7 min

Prueba de estrés de Browser Use en el benchmark Odysseys 2: por qué los agentes web se atascan en sitios reales

Si has visto los vídeos demostrativos virales de la biblioteca abierta Browser Use, fácilmente pudiste llevarte la impresión de que la era de navegar por internet a mano ha llegado a su fin. En vídeos cortos, el agente abre con seguridad el navegador, encuentra un billete de avión barato, introduce el nombre del pasajero e informa con entusiasmo del éxito. En sitios de prueba sintéticos, la tasa de finalización de tareas se mantiene de forma estable en el 90–95%. Parece que falta muy poco para que podamos delegar por completo la compra de productos y reserva de hoteles en bots autónomos.

Pero entre el acogedor sandbox de demostración y la web comercial salvaje media un abismo infranqueable. Para medir la resistencia real de los agentes, investigadores de la Universidad Carnegie Mellon (CMU), junto con los creadores de Browser Use, lanzaron una prueba de estrés a gran escala en el nuevo benchmark Odysseys 2.

Los resultados fueron desalentadores: al salir a sitios reales en producción, la tasa de éxito de los modelos insignia se desplomó a un modesto 44.5%, y en las redes locales abiertas cayó por debajo del 30%. El analista Julian Goldie diseccionó en detalle los cuellos de botella de la tecnología. Sobre cómo luchan los ingenieros por la velocidad de los agentes web ya hablamos en el análisis Aceleración especulativa de agentes web: cómo BrowserUse UltraFast ejecuta tareas en tres segundos.

Ilusión de victoria: el principal bug de las compras autónomas

El primer problema, y el más inquietante, destapado por el benchmark recibió el nombre de False Completion Bug: falso informe de éxito.

Imagina la situación: encargaste al agente buscar en un marketplace un teclado inalámbrico de menos de 5,000 rublos y tramitar el envío. El agente hace clic con soltura por las páginas, abre la ficha del producto, pulsa un botón, cierra una ventana modal emergente e imprime con orgullo en la consola: SUCCESS: Task finished. Item added to cart.

Abres el navegador, entras en tu perfil... ¡y el carrito está completamente vacío! Resulta que el clic cayó sobre el cierre de un banner publicitario o sobre una oferta para suscribirse a descuentos. El modelo interpretó la desaparición de la ventana emergente como la confirmación de haber añadido al carrito y cerró el escenario. A este fallo crítico corresponde el 29% de todos los fracasos en Odysseys 2. Para un negocio real, un agente así es más peligroso que una caja registradora rota, porque crea la falsa sensación de trabajo realizado.

Cuatro muros: dónde se atasca la red neuronal

¿Por qué modelos con una erudición colosal quedan indefensos en un sitio web comercial normal? Las estadísticas de Odysseys 2 desglosan las causas de los fallos:

  1. Ventanas modales y overlays (38% de todos los fallos). Un aviso emergente de consentimiento de cookies (Cookie Banner), un formulario de suscripción al boletín o una petición para activar la geolocalización colocan sobre la página una capa invisible oscurecida. El agente ve las coordenadas del botón objetivo en el código DOM e intenta hacer clic en ellas, pero el evento del sistema es interceptado por la capa overlay transparente. El modelo entra en bucle repitiendo el clic 20 veces seguidas hasta agotar el límite de pasos.
  2. Antifraude y captchas (19% de los fallos). Los sistemas de protección modernos como Cloudflare Turnstile o reCAPTCHA v3 analizan no solo la dirección IP, sino también la microdinámica del movimiento del cursor. Los desplazamientos rectilíneos mecánicos del ratón y la entrada instantánea de caracteres mediante automatización Playwright se detectan en medio segundo. El agente choca en seco contra la pantalla de verificación.
  3. Scroll infinito y virtualización de listas (14% de los fallos). En los escaparates modernos las listas largas de productos se renderizan de forma dinámica: en cuanto una tarjeta sale de la zona visible, el navegador la elimina del árbol DOM para ahorrar memoria. El agente hace scroll hacia abajo, pierde las opciones encontradas antes y vuelve a empezar la búsqueda desde cero, cayendo en un bucle infinito.

Sobre cómo el comportamiento atípico de los motores de navegador rompe la automatización, lee el artículo Relaciones situacionales de los navegadores: cuando los motores coinciden en contra de la especificación.

Patrón de autocomprobación: salvación mediante verificación

Para sacar a los agentes de esta trampa, los desarrolladores pasan de la ejecución ciega de pasos a una arquitectura con puntos de control de reflexión obligatorios (Self-Reflection Checkpoints).

Así se ve un script mínimo funcional de agente resiliente en Python con posvalidación activada:

import asyncio
from browser_use import Agent, Controller
from langchain_anthropic import ChatAnthropic

async def run_verified_agent(task_prompt: str):
    # Inicializamos el modelo con visión multimodal
    llm = ChatAnthropic(model_name="claude-3-5-sonnet-20241022", temperature=0.1)
    controller = Controller()

    agent = Agent(
        task=task_prompt,
        llm=llm,
        controller=controller,
        use_vision=True,            # Capturas para respaldar los elementos del DOM
        max_actions_per_step=2,
        validate_output=True        # Autocomprobación obligatoria del estado final
    )

    history = await agent.run(max_steps=20)
    return history

if __name__ == "__main__":
    task = (
        "Entra en la tienda de prueba, busca un ratón inalámbrico, "
        "añádelo al carrito y confirma que el contador del carrito cambió a 1."
    )
    asyncio.run(run_verified_agent(task))

Y para descartar de forma garantizada informes falsos antes de finalizar el proceso, se invoca una función separada de validación estricta del estado de la página:

def verify_cart_state(page_text: str, target_url: str) -> bool:
    # 1. Comprobamos el cambio de URL a la página de pago o carrito
    if "cart" not in target_url and "checkout" not in target_url:
        print("[Validación] Error: ¡la URL final no lleva al carrito!")
        return False
        
    # 2. Buscamos marcadores explícitos de acción exitosa en el texto del DOM
    success_markers = ["Товар добавлен", "В корзине 1 товар", "Items (1)"]
    has_marker = any(marker.lower() in page_text.lower() for marker in success_markers)
    
    if not has_marker:
        print("[Validación] Error: no se encontraron marcadores de producto añadido.")
        return False
        
    print("[Validación] Éxito: estado del carrito confirmado.")
    return True

Conclusiones realistas para desarrolladores

El benchmark Odysseys 2 demostró con claridad: la era del web scraping ingenuo ha terminado. Un agente autónomo en internet no es simplemente llamar a un LLM en un bucle. Es un sistema de ingeniería sumamente complejo que exige visión híbrida, emulación de biometría humana en los movimientos y comprobaciones de control obligatorias en cada paso.

Mientras la tecnología no aprenda a superar de forma garantizada las ventanas modales y a filtrar los informes falsos, confiar a los bots una tarjeta de crédito real en tiendas online reales es claramente prematuro.

Quiero un análisis detalladoLos votos ayudan a elegir qué analizar a fondo. Este material tiene 0 votos.
Fuentes · 3