Исследования механистической интерпретируемости (Mechanistic Interpretability) долгое время напоминали биологическую препарацию: ученые анализировали карты активации отдельных нейронов и строили сложные автоэнкодеры, пытаясь нащупать логику внутри «черного ящика». Недавний эксперимент с фронтирной моделью OpenAI продемонстрировал новый рубеж: большая языковая сеть научилась читать сырые веса другой модели как открытый программный код.
Для проверки гипотезы исследователи обучили компактную нейросеть алгоритмом обучения с подкреплением (PPO) играть в аркады Atari. Затем массив обученных весовых коэффициентов — ровно 17 253 вещественных числа — без пояснений и подсказок подали на вход модели OpenAI в виде сырого числового текста.
Результат поразил команду: модель проанализировала матрицу и с уверенностью 99% заявила, что перед ней сеть, обученная играть именно в Breakout.
Анализ показал, что алгоритм обнаружил скрытую геометрическую топологию: коэффициенты первого полносвязного слоя плотно концентрировались вдоль нижней границы входного пространства — ровно там, где по правилам Breakout перемещается ракетка, отбивающая мяч. Способность рассуждать о назначении сетей прямо по матрицам весов открывает путь к автоматическому аудиту моделей на наличие скрытых закладок до запуска инференса.

