Фреймворк smevals от Саймона Уиллисона для тестирования и оценки LLM-моделейКратко · дайджест за 1 августа
Кратко≈ 1 мин

Фреймворк smevals от Саймона Уиллисона для тестирования и оценки LLM-моделей

Известный разработчик Саймон Уиллисон (совестно с лабораторией Prime Radiant) представил открытый фреймворк smevals — легкую систему тестирования (eval suite) для систематической оценки качества работы нейросетей, промптов и кодинг-оболочек.

Архитектурно smevals разделяет процессы исполнения прогонных тестов и их валидации:

  1. Запуск тестов (Run). Набор испытаний описывается в виде YAML-файлов директории. Команда uvx smevals run path/ -m gpt-5.5 -m claude-opus-4.6 выполняет тестовые задачи для указанных конфигураций.
  2. Оценка (Grade). Проверка результатов выполняется отдельно командой uvx smevals grade path/. Проверки (checkers) могут быть как простыми условиями (поиск строки, валидация XML), так и сложными скриптами с привлечением моделей-судей.
  3. Отчетность (Serve / Build). Результаты просматриваются через локальный веб-сервер (uvx smevals serve) или компилируются в автономный статический HTML-отчет для публикации.

Согласно публичной заметке Саймона Уиллисона (https://simonwillison.net/2026/Jul/31/smevals/), библиотека распространяется через менеджер uvx и оптимизирована для быстрого создания тестов ИИ-агентами по команде uvx smevals docs.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2