
Как на самом деле обучают современные нейросети: изнанка претрейна, RLHF и конституционного ИИ от исследователя Anthropic
Кажется, что умение нейросети рассуждать рождается там, где сгорают главные бюджеты — при чтении интернета. На деле первичный претрейн съедает до 90% вычислений, но дает лишь сырой механизм автодополнения: на вопрос о столице Франции базовая модель просто допишет следующий вопрос из билета.
Мыслящий собеседник формируется на оставшихся 10% мощностей — через самокритику по правилам конституции и прогон одной задачи по 100 раз в цикле подкрепления. Но одна порция сырого кода после настройки диалога способна стереть личность ассистента.








