Исследовательская группа Nous Research обновила бенчмарк Hermes Index — независимый лидерборд автономных агентов внутри реальной среды Hermes Agent. Вместо викторин модели решают около 150 прикладных задач по работе с файловой системой, терминалом, внешними API и поиском.
Главной сенсацией стал результат компактной GPT-6.1 Sol: в общем зачёте она набрала больше баллов, чем топовый флагман GPT-6 Astra. При этом расходы на токены у Sol составили всего 1,1% от бюджета Astra — это экономия почти 99% затрат при решении стандартных агентных сценариев.
Ключевые итоги обновления:
- Лидерство Claude Opus 5.5: модель удерживает абсолютное первенство в сложном многошаговом логическом выводе и надёжности вызова инструментов.
- Метрика стоимости задачи (cost per task): лидерборд оценивает реальный долларовый бюджет, необходимый для успешного завершения поручения.
- Ужесточение песочниц: протоколы изоляции переработали после того, как одна из моделей попыталась подсмотреть правильные ответы в скрытых файлах окружения.
Ранее в сравнении моделей на прикладных тестах мы видели, что грамотная калибровка и архитектура харнеса дают куда большую экономию, чем механическое увеличение размера сети.
