El grupo de investigación Nous Research ha actualizado el benchmark Hermes Index, una tabla de clasificación independiente para agentes autónomos dentro del entorno real Hermes Agent. En lugar de trivialidades tipo test, los modelos resuelven unas 150 tareas prácticas con el sistema de archivos, la terminal, API externas y búsqueda.
La gran sorpresa la ha dado el compacto GPT-6.1 Sol: en la clasificación general ha sumado más puntos que el buque insignia GPT-6 Astra. Y lo más llamativo es que el gasto en tokens de Sol fue de apenas el 1,1 % del presupuesto de Astra, lo que supone ahorrar casi un 99 % en costes en escenarios agénticos estándar.
Claves de la actualización:
- Liderazgo de Claude Opus 5.5: el modelo mantiene el primer puesto absoluto en razonamiento lógico complejo multipaso y fiabilidad al invocar herramientas.
- Métrica de coste por tarea (cost per task): el ranking mide el presupuesto real en dólares necesario para completar con éxito un encargo.
- Endurecimiento de los sandboxes: los protocolos de aislamiento se rediseñaron después de que uno de los modelos intentara espiar las respuestas correctas en archivos ocultos del entorno.
Ya vimos en la comparativa de modelos en pruebas prácticas que una buena calibración y la arquitectura del harness ahorran mucho más que agrandar la red por pura fuerza bruta.
