На первый взгляд рецепт для качественного ИИ-кода очевиден: напиши длинный системный промпт, разбей задачу на шаги и вычитай дифф глазами. На паре мелких фич это ещё тянет. Но на живом продакшен-репозитории ручная вычитка быстро становится узким горлышком: агент штампует код быстрее, чем ты успеваешь открыть вкладку с пул-реквестом.
В Anthropic столкнулись с этим напрямую: около 90% кода самого Claude Code уже пишет и ревьюит Claude. Без автоматической проверки инженер тянет от силы одну-две параллельные сессии, потому что всё упирается в его внимание. С нормальным контуром верификации тот же человек спокойно запускает десятки и сотни агентов параллельно.
Почему промпты упёрлись в потолок и чем опасны «мигающие» тесты
Во внутренних замерах Anthropic на генерации структурированных файлов подключение отдельного грейдера по рубрике подняло успешность задач на 10 процентных пунктов. Самый большой прирост случился на самых трудных кейсах, где правки промпта уже не помогали.
У тестового кода есть ещё один козырь: написанный агентом тест или бенчмарк дальше крутится как обычный детерминированный софт. Запускаешь скрипт тысячу раз и получаешь ответ почти без расхода токенов.
Но тут легко влететь в две ямы. Первая — нестабильные, или «мигающие» тесты (flaky tests), которые на одном и том же коде то проходят, то падают из-за таймаутов или гонок состояния. Живого программиста они бесят, а агента буквально ломают: после пары плавающих сбоев модель приучается просто перезапускать прогон вместо починки бага.
В репозитории Claude Code с этим жёстко: агенту запрещено пропускать мигающие тесты, лепить sleep или крутить ретраи до зелёной галочки. Не выходит найти причину — тест удаляют с письменным объяснением. Вторая яма — медленные прогоны, которые растягивают цикл обратной связи и раздувают размер пачки правок. Тяжёлые наборы выносят на этап перед коммитом, оставляя в рабочем цикле только быстрые проверки.
Три вида тестов, которые дают агенту глаза и бьют по слепым зонам
Юнит-тесты с моками часто дают ложную уверенность: всё зелёное, а приложение падает на первом клике. Поэтому главным приоритетом команда ставит сквозные проверки (End-to-End, или E2E), которые проходят путь живого пользователя от начала до конца.
Чтобы агент видел реальный сбой, ему выдают «руки и глаза» в рабочем окружении. В вебе подключают Chrome DevTools Protocol и расширение Claude для Chrome, на смартфонах ставят MCP-серверы под iOS и Android, на десктопе включают управление экраном, а для бэкенда поднимают локальный API-харнес.
Сравнение юнит-теста checkout.test.ts со слепым таймаутом и сквозного E2E-теста checkout.spec.ts со скриншотом ошибки и трассировкой шагов (Источник: блог claude.dev)
Разница видна с одного взгляда. Юнит-тест checkout.test.ts валится с глухой строкой Error: Timeout after 30s — ни шага, ни трассировки, агент начинает гадать вслепую. Сквозной checkout.spec.ts раскладывает путь по шагам: регистрация и корзина прошли, а на оплате всё встало. Рядом лежит скриншот с баннером, что платёжная форма не загрузилась и кнопка оформления осталась неактивной. С такой уликой модель чинит баг сразу.
Второй слой — тестирование свойств (property-based testing). Когда ИИ сам пишет примеры для тестов, он промахивается по тем же слепым зонам, где ошибся в коде. Здесь ты задаёшь общее правило (инвариант), а библиотека сама скармливает функции тысячи случайных входов: fast-check в JS/TS, Hypothesis в Python или proptest в Rust. Обычно проверяют четыре свойства: круговой проход (round-trip при кодировании и декодировании), инварианты, идемпотентность (idempotency, когда повторный запуск операции вроде миграции или ретрая платежа даёт тот же результат) и эквивалентность двух реализаций.
import fc from "fast-check";
import { encodeSession, decodeSession } from "./session";
// Проверяем, что кодирование не теряет данные на любых входах
test("session round-trip preserves payload", () => {
fc.assert(
fc.property(
fc.record({
id: fc.uuid(),
messages: fc.array(fc.string()),
}),
(session) => {
const restored = decodeSession(encodeSession(session));
expect(restored).toEqual(session);
}
)
);
});
Пятнадцать строк кода прогоняют через парсер пустые массивы, битый юникод и гигантские строки, про которые агент сам бы не вспомнил. Нашла библиотека ломающий пример — сразу сжимает его до минимального случая.
Третий слой — дифференциальное тестирование (differential testing). При миграции или крупном рефакторинге старую систему оставляют как эталонный ответчик: одинаковые запросы летят в обе версии, а скрипт ловит любые расхождения в ответах.
Рабочий конвейер: навык /verify, три попытки и чек-лист на 39 инцидентов
На практике всё это оформлено в рабочий ритуал внутри репозитория. В свежем Claude Code есть встроенные команды /run, /verify и /run-skill-generator, а проектные правила кладут в .claude/skills/verify/SKILL.md (подробнее в документации по навыкам). В отличие от CLAUDE.md, который грузится всегда, навыки работают по стандарту Agent Skills и подтягиваются по запросу, не забивая контекст.
---
name: verify
description: Build, launch, and smoke-test the running app E2E.
---
1. Start local service (`npm run dev`), wait for 200 on `/health`.
2. Run E2E flow against live app via CDP, Playwright, or API harness.
3. Save screenshots and step traces on failure; skip unit-only fallback.
4. After 3 failed fix rounds, stop and escalate to a human with traces.
Лимит в три раунда починки работает как предохранитель. Если проверка не позеленела за три попытки, агент обязан остановиться и позвать человека со свежей трассировкой. Иначе нейросеть способна часами ходить кругами и жечь токены впустую.
Дальше дифф прогоняют через чек-лист надёжности на 39 пунктов. У каждого пункта есть триггер, проверка и ссылка на прошлый сбой. Например, правило про загрузку старых диалогов через флаг --resume спит, пока ты правишь кнопки, но как только дифф трогает хранилище сессий или типы сообщений, Claude проверяет совместимость нового поля со старыми записями. На обычный PR срабатывает 3–10 пунктов из 39, без лишнего шума.
Ревью ведёт один агент в несколько накопительных раундов, помня прошлые замечания. Если баг всё же убежал в прод, новое правило вводят не сгоряча: сначала ждут повторения в 2+ PR, потом три агента-оппонента пытаются его опровергнуть, плюс идёт реплей инцидента на трёх баг-файндерах, и лишь затем человек даёт добро. Разросшиеся .md-файлы периодически чистят.
Запрет править свои проверки: REVIEW.md, хуки, /goal и commit gate
Вся защита рухнет, если дать агенту подправить экзаменационные правила под свой код. Поэтому в команде действует железный запрет: изменение в PR не смеет редактировать собственные проверки. Управляемый Claude Code Review идёт в четыре шага (Find → Verify → Rank → Post), вешает метки Important, Nit или Pre-existing и всегда читает REVIEW.md из базовой ветки, никогда не из самого пул-реквеста. Каждое ревью привязано к конкретному коммиту.
Чтобы проверки не зависели от памяти модели, поверх навыков ставят детерминированные хуки в .claude/settings.json (список активных правил показывает команда /hooks, синтаксис описан в руководстве по хукам). Они срабатывают железно на событиях PreToolUse, PostToolUse, Stop и Notification.
{
"hooks": {
"PostToolUse": [
{
"matcher": "Edit|Write",
"hooks": [
{
"type": "command",
"command": "jq -r '.tool_input.file_path' | xargs npx prettier -w"
}
]
}
],
"Stop": [
{
"matcher": "",
"hooks": [
{
"type": "command",
"command": "npm run lint && npm test"
}
]
}
]
}
}
После каждой правки файла хук форматирует код, а при завершении хода запускает линтер и тесты. Для длинных задач подключают команду /goal: отдельная модель-верификатор гоняет агента по кругу, пока проверяемое условие не выполнится честно.
/goal All E2E checkout tests and linters pass without editing test assertions
Последний рубеж перед записью в Git — commit gate, барьер, который проверяет запуск /verify или /code-review и ставит на каждый коммит штамп способа проверки (включая честное "none"). Покликай в симуляторе ниже, как ведут себя три его режима и авторазблокировка после двух отказов за сессию.
Симулятор commit gate: режимы проверки и защита от зацикливания
Запускать барьер лучше с режима observe: сначала собираешь статистику ложных тревог, чистишь шум и только потом включаешь enforce. Пропуск после двух блокировок в одной сессии не даёт сломанному тесту намертво застопорить срочный фикс, при этом коммит получает честную отметку "none".
По тарифам из разбора на claude.dev расклад простой. Навыки .claude/skills/, встроенные /verify и /code-review, хуки в settings.json, CLAUDE.md и /goal доступны всем пользователям Claude Code. Управляемый GitHub Claude Code Review (уровни Quick, Standard, Deep и чтение REVIEW.md из базовой ветки) открыт только на тарифах Team и Enterprise, не запускает сборку или код (смотрит лишь дифф и окружающие файлы) и недоступен организациям с включёнными Zero Data Retention (ZDR), HIPAA/BAA или CMEK.




