Построение проверок (evals) для ИИ-ассистентов часто сводится к формальным рамкам: разработчики задают длину ответа, проверяют структуру и требуют понятных формулировок. Подход «сверху вниз» (top-down) контролирует формат, но пропускает смысловые сбои, которые сложно описать общими правилами.
Чтобы находить скрытые дефекты, эксперты по оценке моделей Шрея Шанкар и Хамель Хусейн предлагают анализ «снизу вверх» (bottom-up). Метод строится на сопоставлении черновых ответов нейросети с правками человека на выборке из 10–20 примеров. Сравнение вывода и правок эксперта вскрывает системные ошибки: пропущенные ограничения, неверные акценты или формально аккуратные, но бесполезные советы.
Для автоматизации анализа авторы выпустили модуль Error Discovery для сред Claude Code и Codex. Навык принимает файлы трассировок (JSONL, CSV, JSON), кластеризует результаты и поднимает локальный интерфейс для разметки сбоев (failure modes). Установка в терминале проекта:
npx skills add https://github.com/ai-evals-course/evals-skills --skill error-discovery
Сгруппированные ошибки изолируют: под каждый критерий настраивают отдельного тестового агента, откалиброванного по оценкам человека.
