Бенчмарк Frontier Code 2.0: почему рост точности моделей перестал удешевлять решение задачЗаметка · дайджест за 13 ноября
Инфографический натюрморт с аналитическими весами и бенчмарк-матрицами эффективности ИИ-моделей в генерации кода.
Заметка3 раздела≈ 4 мин

Бенчмарк Frontier Code 2.0: почему рост точности моделей перестал удешевлять решение задач

Когда ты садишься разбирать баг в проекте вместе с ИИ-агентом, какой режим включаешь в настройках редактора? Рука обычно сама тянется выбрать самую тяжелую модель с максимальной глубиной рассуждений: кажется, если заплатить по верхнему тарифу, нейросеть сама прочитает репозиторий и выдаст готовый патч с первой попытки.

Я и сам ловил себя на этой интуиции, пока не изучил замеры закрытого бенчмарка Frontier Code 2.0 от Cognition и мейнтейнеров открытого ПО, которые разобрал Алексей Рыбак в канале System Design & Highload. Цифры показывают жесткую развилку: новые флагманы берут больше задач, но каждый процент точности дается кратным ростом счета. Выясним, почему тяжелые режимы перестали удешевлять разработку и как выбирать модель без сжигания бюджета.

Почему открытые тесты устарели и что проверяет Frontier Code 2.0

Публичные тесты вроде SWE-bench Verified и Terminal-Bench 4.0 теряют связь с практикой из-за утечки задач в обучающие выборки (benchmark leakage) и тепличных промптов с подсказками. В жизни инженер получает лишь краткую жалобу на баг и должен сам учесть правила репозитория.

Для Frontier Code 2.0 более 20 мейнтейнеров потратили свыше 40 часов на задачу и собрали 132 тикета — от починки багов до оптимизации и патчей безопасности. Относительно версии 1.1 репозитории выросли на 25%, а эталонные патчи меняют на 67% больше файлов и на 89% больше строк кода. Главное мерило — готовность патча к слиянию в ветку (mergeability): число блокирующих критериев выросло на 43%, а проверок на дотошность — втрое (со 168 до 501). Нарушение любого блокирующего правила дает ноль баллов за прогон.

Если сопоставить веру во всемогущество нейросетей с реальными цифрами без подсказок в условии, показатели всех моделей заметно просели относительно версии 1.1:

  • Claude Opus 5.5 лидирует с 45,5% (было 54,6%), GPT-6 Astra набирает 42,8% (было 53,3%);
  • Grok 4.7 показал 28,6%, Gemini 4 Argon — 26,3%, Muse Wonder 1.0 — 24,3%, SWE-2 — 23,9%;
  • DeepSeek V4.1 Flash решил 19,3% задач, а Kimi K3 — 17,7%.

Ни одна модель не взяла планку в 46%. Более того, на максимальной глубине рассуждений флагман начинает менять лишние файлы и нарушать границы задачи. А в тикете msw-fix-reset-generator-state, где resetHandlers() не перезапускал генератор, Claude Opus 5.5 на всех пяти уровнях усилий чинил сам баг, но забывал про блок очистки finally — и получил ноль баллов за прогон во всех пяти попытках.

График Score vs Cost: экономичный фронтир против тяжелых флагманов

На лидерборде FrontierCode (для отображения DeepSeek там нужно включить галочку в фильтре) график Score vs Cost сопоставляет точность со средней ценой прогона по API от $0.01 до $100. На одной и той же задаче починки бага здесь сталкиваются два класса инструментов.

Первый подход — легкие и средние модели на границе Парето (линии оптимального баланса цены и качества): GPT-6.1 Sol, Claude Haiku 5.5, Claude Sonnet 5.5 и DeepSeek V4.1 Flash. Они закрывают 19,3–30% задач за $0.05–$0.50, с каждым поколением смещаясь на графике вверх и влево и снижая цену попытки.

Второй подход — флагманы Claude Opus 5.5 и GPT-6 Astra. Они берут 42,8–45,5% задач, но обходятся в 50–100 раз дороже — до десятков долларов за прогон, причем новые версии Opus в старших режимах растут по точности без удешевления попытки. Ранее мы уже разбирали, почему большие рассуждающие модели склонны к оверинжинирингу.

Каскадный роутинг: как распределить бюджет между моделями

Чтобы не сжигать бюджет на API, в командной разработке стоит выстроить каскадную маршрутизацию на примере разбора того же бага в репозитории:

  1. Первичный прогон за центы: локализацию ошибки, тест и черновик патча отдавай быстрым моделям (GPT-6.1 Sol, Claude Haiku 5.5, DeepSeek V4.1 Flash) по $0.05–$0.50 — они закроют до трети задач.
  2. Фильтр автотестами: компилятор, линтер и тесты проекта бесплатно отловят забытый блок finally или задетые соседние файлы.
  3. Эскалация на флагман: подключай Claude Opus 5.5 или GPT-6 Astra только как резервный арбитр, если легкая модель срезалась на тестах. Недавно мы показывали, как каскадная маршрутизация экономит до 74% бюджета.

Универсального рецепта для всех команд нет: при плотном покрытии автотестами дешевый агент заберет большинство тикетов, а в легаси-ядре без проверок даже дорогой флагман потребует твоего ревью. Но теперь ты видишь цену каждого процента точности и знаешь правила игры — чтобы включать тяжелую артиллерию только там, где она окупается.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2