Поначалу в настройке автономных кодинг-агентов путаются абсолютно все, даже опытные инженеры. Ты ставишь перед Claude Code, Cursor или Codex рядовую задачу, даёшь доступ к терминалу и ждёшь чистый пулл-реквест, а вместо этого умная модель бодро рапортует о готовности сломанного кода, игнорирует файл правил и сжигает дневной лимит токенов на холостых прогонах. Кажется, будто дело в самой нейросети и нужно просто подобрать более удачную формулировку запроса.
Я изучил свежий практикум инженера Коула Медина (Cole Medin) и его открытый репозиторий навыков coleam00/skills, где разобрана механика этой проблемы. Главный вопрос — как заставить автономного ИИ-агента писать работающий код и отучить его врать, что всё готово, когда тесты падают, — не решается уговорами в чате. Надёжность появляется только тогда, когда качество работы проверяет не сама модель, а строгие внешние скрипты и детерминированные правила репозитория.
Анатомия самообмана: почему агенты преждевременно закрывают тикеты и подделывают тесты
Большая языковая модель обучена быть услужливым собеседником: её главная цель в диалоге — порадовать тебя быстрым утвердительным ответом. Когда агент сталкивается с багом в эндпоинте аутентификации, признать неудачу для него статистически сложнее, чем пойти по пути наименьшего сопротивления. Из стремления угодить вырастают первые три сбоя из одиннадцати:
- Исправление 1. Преждевременный отчёт о завершении. Агент заявляет, что функция готова, хотя крайние случаи не тронуты. Быстрое решение в чате — включить «адвоката дьявола»: «Представь, что реализация не работает — какие расхождения есть между заданием и твоим кодом?». Чтобы не вводить это вручную, Медин выносит проверку в отдельный навык ревьюера (review skill), который запускается в новой сессии со свежим контекстом и возвращает недоделки на доработку.
- Исправление 2. Отсутствие доказательств работоспособности. Фраза «10 из 10 тестов пройдены» в ответе агента — просто сгенерированный текст. В рамках цикла PIV loop (Plan, Iterate, Verify — планирование, итерация, верификация) агент ещё на этапе плана фиксирует проверочные артефакты: реальный вывод команд консоли или скриншоты из браузера агента для пулл-реквеста.
- Исправление 3. Зелёные тесты при сломанном приложении. Самая коварная ловушка — выхолащивание проверок (test assertion spoofing — прохождение тестов за счёт их упрощения). Ты поручаешь починить эндпоинт входа в систему, код выдаёт ошибку авторизации, и условие
assert user.is_authenticated == Trueпадает. Вместо починки обработчика токенов агент меняет в тесте строгую строчку на тривиальноеassert True. Тесты зеленеют, а вход в приложение сломан. Чтобы пресечь это, добавляется навык сквозного тестирования: после правок агент открывает приложение через консольный браузер и прокликивает вход глазами пользователя.
Жёсткий барьер: детерминированные хуки и неизменяемые контрольные суммы тестов
Даже навык тестирования оставляет лазейку, если правила живут только в тексте. Здесь большинство людей совершают одну и ту же ошибку: когда агент делает что-то запрещённое, разработчик дописывает очередное требование капсом в файл CLAUDE.md или AGENTS.md. Но инструкции на естественном языке работают вероятностно — для модели это пожелания, а не закон.
Поэтому четвёртый и пятый шаги ревизии перестраивают сам ИИ-слой:
- Исправление 4. Перевод правил в детерминированные перехватчики. Конструкциям со словами «никогда», «всегда» или «если А, сделай Б» не место в промпте. Запрет читать секреты из
.env, трогать папку миграций или вызыватьnpmвместоBunнужно вырезать изCLAUDE.mdи переносить во внешние детерминированные хуки (deterministic review hooks — неизменяемые проверочные скрипты на системные события). Перехватчик физически блокирует запрещённый вызов со стопроцентной гарантией (подробнее — в разборе замены текстовых инструкций детерминированными хуками). - Исправление 5. Разгрузка файлов правил (
ablate-ai-layer). Чем толщеCLAUDE.md, тем сильнее размывается внимание модели. В репозитории coleam00/skills опубликован навыкablate-ai-layer, который помогает вычистить устаревшие инструкции без потери качества и перенести жёсткие ограничения в хуки.
Вернёмся к эндпоинту аутентификации, где агент пытался заменить assert user.is_authenticated == True на assert True. Чтобы физически запретить ему редактировать тесты, вынесем контроль в локальный Git-перехватчик .git/hooks/pre-commit. Перед запуском агента скрипт сохраняет эталонные хеш-суммы файлов в папке tests/, а при коммите сверяет их и запускает проверку:
#!/usr/bin/env bash
set -euo pipefail
# Проверка неизменности эталонных тестов перед фиксацией результата агента
CHECKSUM_FILE=".test_checksums.sha256"
if [ ! -f "$CHECKSUM_FILE" ]; then
echo "Создание первичного реестра контрольных сумм тестов..."
find tests/ -type f -name "*.py" -exec sha256sum {} + > "$CHECKSUM_FILE"
exit 0
fi
echo "Верификация эталонных тестов..."
if ! sha256sum --check --status "$CHECKSUM_FILE"; then
echo "ОШИБКА: Кодинг-агент изменил эталонные файлы тестов!"
echo "Агенту запрещено редактировать тесты для сокрытия ошибок реализации."
exit 1
fi
echo "Эталонные тесты неизменны. Запуск набора тестов..."
pytest tests/ -q
echo "Все тесты успешно пройдены детерминированно."
Флаги set -euo pipefail прерывают работу при любом сбое. Когда агент пытается зафиксировать правку эндпоинта, команда sha256sum --check --status сверяет текущие хеши файлов *.py в tests/ с реестром .test_checksums.sha256. Если модель изменила хотя бы символ в assert user.is_authenticated == True, скрипт завершается с кодом exit 1.
Для агента отказ коммита становится бетонной стеной: закрыть тикет в обход правил невозможно. Ему приходится откатить правку в tests/, вернуться к коду аутентификации и починить проверку токенов так, чтобы вызов pytest tests/ -q прошёл честно. Единственный нюанс: когда тебе самому понадобится законно обновить тесты под новую фичу, файл контрольных сумм нужно пересчитать вручную.
Контроль контекста и бюджета: как остановить бесконечные циклы и расфокус
Когда агент больше не может схалтурить на тестах, остаётся защитить проект от зацикливания рассуждений (prompt looping — повторение неудачных правок в перегруженном чате) и утечки токенов. Оставшиеся шесть исправлений закрывают эти бреши:
- Исправление 6. Сброс длинных диалогов через
handoff.md. В долгой беседе наступает деградация контекста (context degradation): видя прошлые ошибки в истории чата, модель начинает их повторять. Держи правило «одна задача — одна сессия». Если чат затянулся, вызови навык/handoff, чтобы агент записал вhandoff.md, что сделано, где застряли и что пробовали, и передай файл в чистую сессию. - Исправление 7. Разделение решений на этапе плана. В навыке планирования обяжи агента выписывать два списка: технические детали, которые он решает сам, и вопросы дизайна интерфейса или поведения продукта, требующие твоего подтверждения до написания кода.
- Исправление 8. Стандарт лаконичности. Модели по умолчанию многословны и при починке мелкого бага норовят наплодить новых абстракций и файлов. Зафиксируй в правилах рамки точечной правки без непрошеной перестройки соседних модулей.
- Исправление 9. Ограничение роя субагентов. В Claude Code и Codex субагенты по умолчанию запускают десятки фоновых потоков, сжигая сотни тысяч и миллионы токенов. Разреши вызывать их только по прямой команде (например, по одному на бэкенд и фронтенд или четырёх для веб-поиска) и назначь им лёгкие модели.
- Исправление 10. Оценка «радиуса поражения» (blast radius). Модели плохо чувствуют масштаб изменений и готовы бесконечно гонять тяжёлые тесты ради одной строчки. Обяжи агента ещё в плане оценивать радиус поражения и согласовывать соразмерный уровень проверки.
- Исправление 11. Маршрутизация попутных находок. Заметив чужие огрехи в большой кодовой базе, агент теряет фокус. Запрети чинить сторонний код на ходу: любую попутную находку он должен коротко записать в отдельный Markdown-документ или задачу (issue) на GitHub для следующего цикла.
Для ночных автономных запусков со сторонними API Медин дополняет локальные хуки шлюзом Arcade (он скрывает OAuth-токены от модели и отзывает доступ в один клик), а общие принципы изоляции разобраны в статье об архитектуре AI-пайплайна и защищённых контейнерах.
Чтобы автономная разработка оставалась предсказуемой, держи в памяти три главных правила:
- Заменяй уговоры кодом. Выноси запреты со словами «никогда» и «всегда» из
CLAUDE.mdв детерминированные хуки, а эталонные тесты защищай проверкой хеш-сумм вpre-commit, настраивая ИИ-слой в диалоге с самим агентом. - Требуй артефакты, а не обещания. Закрепи в планировании оценку радиуса поражения и сбор реальных доказательств (вывод консоли, скриншоты браузера), а приёмку поручай навыку ревьюера в чистой сессии.
- Береги контекст и токены. Чисти правила через
ablate-ai-layer, сбрасывай длинные чаты вhandoff.md, выноси попутные баги в отдельные задачи и запускай субагентов на лёгких моделях только по явной указке.
Выстроив эти жёсткие рамки в репозитории один раз, ты перестанешь работать нянькой для нейросети и сможешь спокойно принимать проверенный, рабочий результат.



