Почему нейросети «тупеют» после релиза: постмортемы Anthropic и скрытые настройки effortЗаметка · дайджест за 19 ноября
Сюрреалистический натюрморт с механическим регулятором усилия и шестернями под гладким корпусом
Заметка3 раздела≈ 4 мин

Почему нейросети «тупеют» после релиза: постмортемы Anthropic и скрытые настройки effort

В первую неделю после громкого релиза свежая модель легко переваривает путаное ТЗ и выдаёт чистый код, а ещё через пару недель вдруг спотыкается на банальной правке. Первая догадка напрашивается сама: авторы выкрутили мощность к запуску ради вирусных постов, а потом втихую урезали нейросеть ради экономии серверов. На деле ежедневные замеры по API не находят тайной порчи модели, зато отчёты самих лабораторий вскрывают совсем другую причину просадок.

Что на самом деле сломалось у Anthropic и OpenAI

Если саму модель никто не портил, почему даже руководители компаний признают падение качества? В своём разборе Нейт Херк вспоминает релиз GPT-5: на следующий день после старта Сэм Альтман открыто подтвердил, что модель работала слабее из-за сбоя в маршрутизаторе запросов. Веса нейросети, то есть базовые числа с её знаниями, никто не трогал, но сбоила обвязка, распределяющая трафик.

Ещё детальнее эту механику показывает официальный постмортем Anthropic от 23 апреля 2026 года. Весной пользователи жаловались на «поглупевший» Claude Code, а внутренние тесты компании проблему пропустили. Расследование подтвердило, что API и веса не менялись, зато в обвязке для Claude Code, Agent SDK и Cowork совпали три бага. С 4 марта по 7 апреля инженеры снизили стандартный уровень размышления для Sonnet 4.6 и Opus 4.6 с high до medium, чтобы убрать длинные паузы интерфейса, и потом откатили это решение. С 26 марта по 10 апреля кэш старых мыслей вместо разовой очистки после часового простоя сбрасывался на каждом шаге диалога, поэтому ассистент терял нить. А с 16 по 20 апреля неудачная правка системного промпта на краткость ухудшила качество кода. К 20 апреля всё исправили в релизе v2.1.116.

Независимые трекеры вроде MarginLab и AI Stupid Level ежедневно гоняют по API одни и те же тесты и не видят тайного ухудшения весов. Сам Херк прямо уточняет: прямых улик против лабораторий нет, хотя на старте параметры действительно могут выкручивать ради шума в ленте. Этот личный скепсис стоит отделить от проверенных цифр и взглянуть на настройку, которой ты управляешь сам.

Скрытая ручка effort и разрыв в 5,3 процентного пункта

Частая ошибка при оценке новой модели — сравнивать рекламные графики релиза с работой в обычном чате. Рассуждающие модели перед ответом тратят внутренние токены на обдумывание, а время на размышление задаёт параметр effort с уровнями low, medium, high, xhigh и max.

На странице запуска Claude Opus 5.5 от 22 сентября 2026 года приведён тест CursorBench 4.0 с многофайловыми задачами из реального кода. На максимальном усилии max effort модель набирает 57,8%, а на настройке по умолчанию medium — 52,5%. В ролике Херка второе число округлили до 52%, но даже точные цифры дают разрыв в 5,3 процентного пункта на одних и тех же весах.

В примечании к таблице Anthropic прямо пишет: громкие рекорды сняты на max effort, а Terminal-Bench 4.0 и вовсе на xhigh effort. В повседневной же сессии по умолчанию стоит medium ради скорости и экономии квоты. На простых запросах это незаметно, а в сложном рефакторинге модель срезает углы.

Как настроить effort вручную и собрать свой «нерф-тест»

Чтобы не зависеть от умолчаний клиента, глубину размышления лучше задавать вручную. В Claude Code для этого есть кнопка в интерфейсе и команда /effort: достаточно ввести /effort low, medium, high, max или auto для возврата к стандарту. Выкручивать максимум на каждый чих невыгодно — ответы идут дольше и быстрее съедают лимит. Режим low годится для мелких правок, medium закрывает текучку, high спасает в сложной отладке, а max доступен не везде и нужен только для самых запутанных задач.

Вторая опора — свой контрольный набор, который Херк называет «нерф-тестом», чтобы не гадать по ощущениям после очередного обновления:

  1. Выбери пять реальных рабочих промптов, которые встречаются у тебя каждую неделю, вместо абстрактных загадок.
  2. В день выхода модели прогони всю пятёрку при жёстко заданном уровне effort и сохрани эталонные ответы.
  3. Повторяй прогон раз в две недели на тех же вводных, сверяя полноту, точность и число ошибок — резкая просадка при прежнем /effort сразу покажет сбой клиента или повод сменить модель.
Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 3