Известный разработчик Саймон Уиллисон (совестно с лабораторией Prime Radiant) представил открытый фреймворк smevals — легкую систему тестирования (eval suite) для систематической оценки качества работы нейросетей, промптов и кодинг-оболочек.
Архитектурно smevals разделяет процессы исполнения прогонных тестов и их валидации:
- Запуск тестов (Run). Набор испытаний описывается в виде YAML-файлов директории. Команда
uvx smevals run path/ -m gpt-5.5 -m claude-opus-4.6выполняет тестовые задачи для указанных конфигураций. - Оценка (Grade). Проверка результатов выполняется отдельно командой
uvx smevals grade path/. Проверки (checkers) могут быть как простыми условиями (поиск строки, валидация XML), так и сложными скриптами с привлечением моделей-судей. - Отчетность (Serve / Build). Результаты просматриваются через локальный веб-сервер (
uvx smevals serve) или компилируются в автономный статический HTML-отчет для публикации.
Согласно публичной заметке Саймона Уиллисона (https://simonwillison.net/2026/Jul/31/smevals/), библиотека распространяется через менеджер uvx и оптимизирована для быстрого создания тестов ИИ-агентами по команде uvx smevals docs.