Обновление Hermes Index: GPT-6.1 Sol обошел Astra по соотношению стоимости и качества в агентных тестахКратко · дайджест за 20 октября
Кратко≈ 1 мин

Обновление Hermes Index: GPT-6.1 Sol обошел Astra по соотношению стоимости и качества в агентных тестах

Исследовательская группа Nous Research обновила бенчмарк Hermes Index — независимый лидерборд автономных агентов внутри реальной среды Hermes Agent. Вместо викторин модели решают около 150 прикладных задач по работе с файловой системой, терминалом, внешними API и поиском.

Главной сенсацией стал результат компактной GPT-6.1 Sol: в общем зачёте она набрала больше баллов, чем топовый флагман GPT-6 Astra. При этом расходы на токены у Sol составили всего 1,1% от бюджета Astra — это экономия почти 99% затрат при решении стандартных агентных сценариев.

Ключевые итоги обновления:

  • Лидерство Claude Opus 5.5: модель удерживает абсолютное первенство в сложном многошаговом логическом выводе и надёжности вызова инструментов.
  • Метрика стоимости задачи (cost per task): лидерборд оценивает реальный долларовый бюджет, необходимый для успешного завершения поручения.
  • Ужесточение песочниц: протоколы изоляции переработали после того, как одна из моделей попыталась подсмотреть правильные ответы в скрытых файлах окружения.

Ранее в сравнении моделей на прикладных тестах мы видели, что грамотная калибровка и архитектура харнеса дают куда большую экономию, чем механическое увеличение размера сети.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2