Модель OpenAI распознала игру Breakout по 17 тысячам чисел из весов сетиКратко · дайджест за 7 ноября
Кратко≈ 1 мин

Модель OpenAI распознала игру Breakout по 17 тысячам чисел из весов сети

Исследования механистической интерпретируемости (Mechanistic Interpretability) долгое время напоминали биологическую препарацию: ученые анализировали карты активации отдельных нейронов и строили сложные автоэнкодеры, пытаясь нащупать логику внутри «черного ящика». Недавний эксперимент с фронтирной моделью OpenAI продемонстрировал новый рубеж: большая языковая сеть научилась читать сырые веса другой модели как открытый программный код.

Для проверки гипотезы исследователи обучили компактную нейросеть алгоритмом обучения с подкреплением (PPO) играть в аркады Atari. Затем массив обученных весовых коэффициентов — ровно 17 253 вещественных числа — без пояснений и подсказок подали на вход модели OpenAI в виде сырого числового текста.

Результат поразил команду: модель проанализировала матрицу и с уверенностью 99% заявила, что перед ней сеть, обученная играть именно в Breakout.

Анализ показал, что алгоритм обнаружил скрытую геометрическую топологию: коэффициенты первого полносвязного слоя плотно концентрировались вдоль нижней границы входного пространства — ровно там, где по правилам Breakout перемещается ракетка, отбивающая мяч. Способность рассуждать о назначении сетей прямо по матрицам весов открывает путь к автоматическому аудиту моделей на наличие скрытых закладок до запуска инференса.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 3