Когда ты садишься разбирать баг в проекте вместе с ИИ-агентом, какой режим включаешь в настройках редактора? Рука обычно сама тянется выбрать самую тяжелую модель с максимальной глубиной рассуждений: кажется, если заплатить по верхнему тарифу, нейросеть сама прочитает репозиторий и выдаст готовый патч с первой попытки.
Я и сам ловил себя на этой интуиции, пока не изучил замеры закрытого бенчмарка Frontier Code 2.0 от Cognition и мейнтейнеров открытого ПО, которые разобрал Алексей Рыбак в канале System Design & Highload. Цифры показывают жесткую развилку: новые флагманы берут больше задач, но каждый процент точности дается кратным ростом счета. Выясним, почему тяжелые режимы перестали удешевлять разработку и как выбирать модель без сжигания бюджета.
Почему открытые тесты устарели и что проверяет Frontier Code 2.0
Публичные тесты вроде SWE-bench Verified и Terminal-Bench 4.0 теряют связь с практикой из-за утечки задач в обучающие выборки (benchmark leakage) и тепличных промптов с подсказками. В жизни инженер получает лишь краткую жалобу на баг и должен сам учесть правила репозитория.
Для Frontier Code 2.0 более 20 мейнтейнеров потратили свыше 40 часов на задачу и собрали 132 тикета — от починки багов до оптимизации и патчей безопасности. Относительно версии 1.1 репозитории выросли на 25%, а эталонные патчи меняют на 67% больше файлов и на 89% больше строк кода. Главное мерило — готовность патча к слиянию в ветку (mergeability): число блокирующих критериев выросло на 43%, а проверок на дотошность — втрое (со 168 до 501). Нарушение любого блокирующего правила дает ноль баллов за прогон.
Если сопоставить веру во всемогущество нейросетей с реальными цифрами без подсказок в условии, показатели всех моделей заметно просели относительно версии 1.1:
Claude Opus 5.5лидирует с 45,5% (было 54,6%),GPT-6 Astraнабирает 42,8% (было 53,3%);Grok 4.7показал 28,6%,Gemini 4 Argon— 26,3%,Muse Wonder 1.0— 24,3%,SWE-2— 23,9%;DeepSeek V4.1 Flashрешил 19,3% задач, аKimi K3— 17,7%.
Ни одна модель не взяла планку в 46%. Более того, на максимальной глубине рассуждений флагман начинает менять лишние файлы и нарушать границы задачи. А в тикете msw-fix-reset-generator-state, где resetHandlers() не перезапускал генератор, Claude Opus 5.5 на всех пяти уровнях усилий чинил сам баг, но забывал про блок очистки finally — и получил ноль баллов за прогон во всех пяти попытках.
График Score vs Cost: экономичный фронтир против тяжелых флагманов
На лидерборде FrontierCode (для отображения DeepSeek там нужно включить галочку в фильтре) график Score vs Cost сопоставляет точность со средней ценой прогона по API от $0.01 до $100. На одной и той же задаче починки бага здесь сталкиваются два класса инструментов.
Первый подход — легкие и средние модели на границе Парето (линии оптимального баланса цены и качества): GPT-6.1 Sol, Claude Haiku 5.5, Claude Sonnet 5.5 и DeepSeek V4.1 Flash. Они закрывают 19,3–30% задач за $0.05–$0.50, с каждым поколением смещаясь на графике вверх и влево и снижая цену попытки.
Второй подход — флагманы Claude Opus 5.5 и GPT-6 Astra. Они берут 42,8–45,5% задач, но обходятся в 50–100 раз дороже — до десятков долларов за прогон, причем новые версии Opus в старших режимах растут по точности без удешевления попытки. Ранее мы уже разбирали, почему большие рассуждающие модели склонны к оверинжинирингу.
Каскадный роутинг: как распределить бюджет между моделями
Чтобы не сжигать бюджет на API, в командной разработке стоит выстроить каскадную маршрутизацию на примере разбора того же бага в репозитории:
- Первичный прогон за центы: локализацию ошибки, тест и черновик патча отдавай быстрым моделям (
GPT-6.1 Sol,Claude Haiku 5.5,DeepSeek V4.1 Flash) по$0.05–$0.50— они закроют до трети задач. - Фильтр автотестами: компилятор, линтер и тесты проекта бесплатно отловят забытый блок
finallyили задетые соседние файлы. - Эскалация на флагман: подключай
Claude Opus 5.5илиGPT-6 Astraтолько как резервный арбитр, если легкая модель срезалась на тестах. Недавно мы показывали, как каскадная маршрутизация экономит до 74% бюджета.
Универсального рецепта для всех команд нет: при плотном покрытии автотестами дешевый агент заберет большинство тикетов, а в легаси-ядре без проверок даже дорогой флагман потребует твоего ревью. Но теперь ты видишь цену каждого процента точности и знаешь правила игры — чтобы включать тяжелую артиллерию только там, где она окупается.



