Как на самом деле обучают современные нейросети: изнанка претрейна, RLHF и конституционного ИИ от исследователя AnthropicСтатья · дайджест за 14 ноября
Студийный натюрморт с механическим пультом настройки нейросети, блокнотом формул и графиками градиентного спуска
Статья4 раздела≈ 7 мин

Как на самом деле обучают современные нейросети: изнанка претрейна, RLHF и конституционного ИИ от исследователя Anthropic

Джереми Берман пришел в команду Anthropic не через университетские кафедры — он освоил глубокое обучение самостоятельно, разбирая архитектуру открытых моделей из чистого любопытства. Когда они с блогером Мэттью Берманом — ведущий сразу с улыбкой уточнил, что они просто однофамильцы — записали подробный разбор полного цикла обучения LLM, Джереми вместо сложных слайдов открыл бесплатный блокнот Google Colab на видеокарте T4. На экране появилась простая картина: любая нейросеть на диске — это просто тяжелый файл с числами и короткий скрипт на Python, указывающий, в каком порядке их перемножать.

Но как этот массив коэффициентов, изначально способный лишь угадывать следующее слово по статистике интернета, превращается в собеседника, который умеет логически рассуждать и замечать этические подвохи? Чтобы не верить мифам о «сознании» алгоритмов и понимать реальные пределы моделей, я предлагаю пройти весь конвейер их создания — от первой настройки случайных весов до конституционной самокритики и обучения методом проб и ошибок.

От табличных регуляторов к карте языка: как претрейн сжимает знания о мире

Чтобы наглядно объяснить механику нейросети, Джереми начинает с оценки квартир в нью-йоркском Сохо. Допустим, у тебя есть таблица: локация, площадь в 1200 квадратных футов, две ванные комнаты и цена сделки. Прописывать такую оценку через условия if/else бессмысленно — риелтор учитывает сотни переплетенных факторов, которые вручную в формулу не зашьешь.

Нейросеть строит эту функцию сама. Каждому входному параметру назначается «регулятор» — случайный весовой коэффициент. В демонстрации Бермана площадь умножается на 0,25, число ванных — на 0,05, локация — на 0,15, а суммы проходят через нелинейные функции активации ReLU, GELU или SwiGLU. Со случайными настройками сеть предсказывает 942 тысячи долларов там, где квартира стоила 2 миллиона.

Тут включается автоматическое дифференцирование в PyTorch и обратное распространение ошибки (backpropagation). Фреймворк считает функцию потерь и для каждого регулятора находит градиент — показатель того, как изменится ошибка при повороте этой ручки. Оптимизатор AdamW сдвигает веса в сторону уменьшения промаха на шаг обучения (learning rate), и через 1000 подкруток ошибка падает почти до нуля.

Перенесем этот принцип на язык. Текст режется токенизатором BPE или SentencePiece на части слов — токены, формирующие словарь от 32 000 до 256 000 единиц. На вход подаются терабайты текстов из веба (Common Crawl), книг, Wikipedia и кода для авторегрессионного предсказания следующего токена, где ошибку измеряет перекрестная энтропия (Cross-Entropy Loss).

Если записать объявление строкой с ценой в 1,2 миллиона долларов на конце, необученная сеть даст верному продолжению шанс всего в одну десятую. Оптимизатор подкрутит миллиарды весов так, чтобы вероятность правильного слова выросла, а остальных — упала. По закону масштабирования Chinchilla на каждый параметр модели нужно около 20 токенов текста. Этот первичный претрейн съедает до 90% вычислений кластера, но ради точного угадывания слов в миллионах контекстов сеть вынуждена сжимать внутри весов причинно-следственные связи мира.

Ловушка автодополнения и SFT: как инерционную базу превращают в ассистента

Когда Джереми загружает в Colab базовую модель Qwen на 500 миллионов параметров и просит выдать сотню слов с пустого места, на экран вываливается код вперемешку с китайским текстом. Базовая модель (base model) не знает, что она помощник — это просто статистическое зеркало обучающей выборки.

Задай такой сырой сети вопрос «Какая столица Франции?», и она воспримет фразу как строчку из школьного билета, дописав: «Какая столица Германии?». А на просьбу продолжить фразу «Мэттью Берман сказал в интервью…» модель без смущения выдумала цитату, которой ведущий никогда не произносил.

Чтобы превратить автодополнение в диалог, исследователи применили хитрость с разметкой: Джереми ввел в промпт «Пользователь: сколько будет один плюс один? Ассистент:». Узнав структуру форума, сеть выдала верный ответ, но продолжила генерировать бессвязный текст на все оставшиеся 200 токенов лимита, не зная, где остановиться.

Эту проблему решает пост-тренировка, которая занимает оставшиеся 10% мощностей, но формирует характер модели. На этапе контролируемого обучения (Supervised Fine-Tuning, SFT) эксперты готовят сотни тысяч образцовых диалогов с тегами im_start, im_end и финальным стоп-токеном. Так у сети появляется устойчивое «эго ассистента»: она отвечает по делу и замолкает на стоп-токене. Но эта личность хрупка: если после настройки диалога дообучить модель на порции сырого кода из внешних данных (off-policy), характер ассистента сотрется, и она снова начнет отвечать на обычные вопросы кусками кода.

Конституционный ИИ вместо ручной цензуры: самокритика и калибровка по правилам

Даже после SFT модель часто впадает в крайности: либо проявляет угодничество (sycophancy), соглашаясь с заблуждениями пользователя, либо выдает шаблонные отказы. Классическое обучение на оценках людей (RLHF) требует сотен тысяч ручных сравнений, где разметчики устают и ошибаются. Выход нашли в Anthropic, создав метод конституционного ИИ, описанный в работе Constitutional AI: Harmlessness from AI Feedback и в официальном своде принципов конституции Anthropic.

Инженеры задали текстовый свод правил на базе декларации прав человека и принципов безопасной помощи, разделив выравнивание на два шага:

  • Самокритика и ревизия: Модель пишет черновой ответ на провокационный запрос, затем по системной инструкции сама проверяет его по пунктам конституции, находит предвзятость и переписывает текст начисто.
  • Обучение с обратной связью от ИИ (RLAIF): Отдельная модель предпочтений (Preference Model) сравнивает пары ответов по конституции, а алгоритм оптимизации политики (Proximal Policy Optimization, PPO) обновляет веса без людей в цикле, сокращая ручную проверку токсичности более чем на девять десятых.

На задаче с этическим подвохом это работает так: допустим, пользователь просит рассчитать вероятность дефолта заемщиков, но в условии закладывает предвзятое допущение против конкретной группы людей. Сырая сеть пойдет на поводу у запроса, а пережатая фильтрами — откажется считать. Модель с конституционной калибровкой сверяется с правилом беспристрастности, отсекает манипулятивный признак и выдает объективный расчет. Ограничение метода в том, что слишком слабая базовая сеть при самокритике в RLAIF рискует закрепить собственные ошибки.

Сотня попыток на одну задачу: как обучение с подкреплением рождает собственное мышление

Почему же вежливый ассистент долго спотыкался на сложной математике и коде? Берман указывает на изъян интернета: в сети лежат готовые статьи и финальный код, но нет черновиков — тупиковых гипотез и проверок, которые происходили в голове автора.

Чтобы научить модели думать самостоятельно, внедрили обучение с подкреплением (Reinforcement Learning) на проверяемых задачах — так устроены рассуждающие системы вплоть до открытой DeepSeek R1. Наивный отбор с отклонением (rejection sampling), когда сеть решает задачу десятки раз вслух (Chain-of-Thought), а в обучение идут только верные ответы, работает слабо: модель не учится на ошибках и запоминает словесный шум из удачных попыток.

Поэтому индустрия перешла к групповой относительной оптимизации политики (Group Relative Policy Optimization, GRPO). Модель прогоняет решение задачи по 100 раз подряд, верификатор оценивает каждую попытку за формат и точность ответа, после чего вычисляется относительное преимущество (advantage) каждого варианта над средним результатом группы. Токены внутри сильных рассуждений поощряются, а ошибочные ходы подавляются.

Такое обучение на собственных мыслях (on-policy training) не ломает память модели: раз она сама нашла верный ход, нужная цепочка уже есть в ее контурах, и веса достаточно слегка подправить. О том, как внешние верификаторы страхуют такие рассуждения, мы писали в разборе об инженерной обвязке современных LLM, а скорость самообучения моделей разобрали в аудите рекурсивного самообучения в Anthropic от METR.

Как учитывать архитектуру LLM при постановке задач

Не загоняй модель в ловушку угодничества вопросами с готовым ответом. В сложных расчетах задавай нейтральное условие и проси сначала выписать промежуточные шаги проверки — так ты включишь контуры последовательного рассуждения вместо инерционного автодополнения.

В финале Джереми Берман отвечает скептикам, считающим, что предсказатель следующего слова заперт внутри старых знаний человечества. Исследователь напоминает историю Альберта Эйнштейна: формула общей теории относительности изначально тоже не была «статистически вероятной» мыслью в физике двадцатого века. Эйнштейн пришел к ней, шаг за шагом выстраивая промежуточные абстракции из базовых аксиом, пока маловероятная прежде идея не стала неизбежным выводом. По словам Бермана, рассуждение — это и есть превращение маловероятных истин в очевидные, а значит, с ростом горизонта проверок модели смогут открывать принципиально новое знание.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 3