Как создавать самосовершенствующиеся навыки для ИИ-ассистентов с помощью тестов и памяти
С развитием консольных инструментов разработки (таких как Claude Code — интеллектуальный терминальный помощник от компании Anthropic) появилась возможность создавать кастомные навыки — skills. Навык представляет собой структурированную папку с текстовыми инструкциями и примерами, которую ИИ-ассистент автоматически активирует при совпадении темы запроса с его описанием. Это позволяет разработчикам и авторам контента не прописывать сложные системные промпты заново, а один раз зафиксировать свои стандарты качества, tone of voice и лучшие практики в специальном модуле.
Однако простое написание текстовых инструкций часто приводит к накоплению ошибок, лишнего «мусора» и галлюцинациям модели. Для создания по-настоящему надежных навыков разработчик Питер Янг предложил пятишаговую методологию. Она объединяет разделение личного контекста, запуск автоматического цикла тестирования (evals) с помощью независимого ИИ-грейдера в изолированном окне и ведение файла истории изменений (memory). Подробный разбор этого подхода опубликован в руководстве Full Tutorial: Build Self-Improving Claude Skills в Creator Economy.
Предварительные требования и структура файлов
Перед началом работы на локальном компьютере необходимо создать отдельную папку под создаваемый навык. В качестве примера рассмотрим разработку навыка /edit-post, предназначенного для редактуры длинных статей и рассылок.
Внутри рабочей папки edit-post/ создается следующая файловая структура:
edit-post/
├── skill.md # Описание навыка, правила активации и системные инструкции
├── example-tutorial.md # Пример эталонного поста в жанре технического руководства
├── example-personal.md # Пример личного карьерного эссе автора
├── example-product.md # Пример глубокого продуктового обзора
├── evals.md # Набор бинарных тестов для автоматической проверки качества
└── memory.md # Журнал долгосрочной памяти с выводами из прошлых запусков
Разделение эталонных примеров (example-*.md) и основного файла инструкций (skill.md) решает две важные задачи. Во-первых, это позволяет ИИ-ассистенту динамически загружать в контекст только тот пример, который соответствует типу текущего черновика (например, загружать технический пример при редактуре статьи о программировании). Во-вторых, вы можете делиться файлом самого навыка с коллегами или сообществом, не раскрывая конфиденциальную информацию из личных текстов.
Пошаговое руководство по созданию и настройке навыка
Шаг 1: Сбор личного контекста и генерация первой версии
Начните с загрузки лучших образцов вашей работы в локальную папку в формате Markdown (.md). Эти файлы должны отражать идеальный финальный результат, который вы хотите получать от модели.
После этого в терминале вашего ИИ-ассистента отправьте запрос на создание базового навыка:
«Создай навык edit-post, который поможет мне редактировать черновики статей на основе загруженных примеров. Проанализируй стиль, структуру и логику изложения в примерах, задай мне уточняющие вопросы и сформируй файл skill.md объемом около одной страницы».
ИИ проанализирует тексты, выявит характерные особенности вашего стиля (длину предложений, частоту использования списков, эмоциональную окраску) и подготовит черновик skill.md.
Шаг 2: Настройка триггеров автоматического запуска
По умолчанию ИИ-ассистент не загружает все доступные навыки при каждом запросе пользователя, чтобы экономить токены и не перегружать контекст. Для принятия решения о вызове того или иного инструмента модель сканирует только название и описание навыка.
Чтобы автоматическая активация происходила стабильно, в начале файла skill.md необходимо прописать явные правила срабатывания (секция Use when...). Укажите точные триггеры, например:
- Используй этот навык, если пользователь отправляет текст объемом более 2000 символов с просьбой отредактировать, сократить или улучшить стиль.
- Активируй инструмент при обнаружении ключевых фраз: "вычитай текст", "исправь ошибки в черновике", "подготовь к публикации".
Также предусмотрите возможность ручного принудительного вызова через команду /edit-post.
Шаг 3: Развертывание цикла тестирования (Evals)
Для проверки качества работы навыка создается файл evals.md. Традиционная оценка по шкале (например, от 1 до 5) не подходит для автоматизации, так как модели не могут стабильно отличать оценку «3» от «4». Вместо этого методология Питера Янга предписывает использовать исключительно бинарные тесты с критериями «пройдено / не пройдено» (pass/fail).
Дайте ИИ-ассистенту команду:
«Создай файл eval.md, содержащий 10 бинарных проверок (pass/fail) по следующим категориям: Введение (цепляет ли заголовок?), Голос (отсутствуют ли штампы и канцеляризмы?), Содержание (есть ли полезные практические выводы?) и Призыв к действию (ясны ли следующие шаги?)».
Пример структуры тестов в evals.md:
- Тест №1 (Стиль): Текст не должен содержать вводных фраз вроде «В сегодняшнем быстро меняющемся мире», «Как мы все знаем» и типичных ИИ-клише. Статус: Pass/Fail
- Тест №2 (Форматирование): В тексте отсутствуют длинные абзацы более 4 строк и чрезмерное использование тире. Статус: Pass/Fail
Для запуска тестирования используется механизм независимого цензора. В терминале дается инструкция:
«При запуске тестирования инициализируй отдельного агента с чистым окном контекста (clean context window). Первый агент выполняет редактуру, а второй — оценивает результат по тестам из evals.md. Если хотя бы один тест провален, отправляй текст на доработку первому агенту с указанием ошибки. Повторяй цикл до тех пор, пока все тесты не будут пройдены успешно».
Использование «чистого» контекста для проверяющего агента критически важно — это исключает предвзятость, когда оценивающая модель соглашается со своими же собственными аргументами из предыдущих шагов диалога. В ходе практических тестов такой цикл может занимать до 5 итераций, пока ИИ полностью не вычистит текст от словесного мусора.
Шаг 4: Интеграция файла долгосрочной памяти (Memory)
В то время как тесты в evals.md улучшают конечный текст статьи, файл memory.md предназначен для улучшения самого навыка. В него записываются выводы из прошлых диалогов, которые сложно сформулировать в виде жестких правил «да/нет».
Создайте файл memory.md с помощью команды:
«Создай файл memory.md для этого навыка, который будет лаконично записывать уроки из наших прошлых сессий редактирования. Убедись, что записи не дублируют проверки из evals.md».
Записи в memory.md ведутся в обратном хронологическом порядке. Например:
- 2026-06-03: Модель слишком сильно упрощает технические термины. Правило: оставлять названия API и системные команды на английском языке без перевода.
- 2026-05-28: Избегать использования риторических вопросов в начале абзацев.
Убедитесь, что ваш корневой файл skill.md содержит прямые ссылки на evals.md и memory.md, обязывающие ИИ сверяться с ними при каждом запуске.
Шаг 5: Использование мета-навыков для очистки от ИИ-мусора
Чтобы ваши навыки со временем не превращались в раздутые и противоречивые инструкции, необходимо внедрить мета-навыки — специальные инструменты для оптимизации других промптов.
Рекомендуется создать два дополнительных служебных навыка:
/skill-editor— анализирует ваши файлы навыков, удаляет дублирующиеся требования, выстраивает логическую структуру и делает инструкции лаконичными./no-ai-slop— жестко вырезает из инструкций любые проявления типичного ИИ-стиля (так называемый AI slop): обилие длинных тире, конструкции вида «X, а не Y», пассивный залог и вводные слова-паразиты.
Пропустите созданный навык /edit-post через эти мета-фильтры. Это сократит размер контекста и повысит точность выполнения инструкций моделью.
Как выглядит успешное завершение процесса
После настройки всей системы вы можете запустить процесс редактуры статьи одной командой: /edit-post черновик.md.
Успешное выполнение процесса выглядит следующим образом:
- ИИ-ассистент автоматически распознает запуск навыка и загружает нужные файлы примеров и памяти.
- Основной агент проводит первоначальную редактуру черновика.
- Фоновый проверяющий агент тестирует результат по 10 критериям из
evals.md. - В терминале отображается лог проверки. Если тесты пройдены, вы получаете готовый, чистый от канцеляризмов текст, сохранивший ваш личный стиль и структуру изложения.
- Навык автоматически обновляет файл
memory.md, если вы внесли важные ручные правки в процессе финального согласования.