Un modelo de OpenAI reconoció el juego Breakout a partir de 17 mil números de los pesos de la redBreve · digest del 7 de noviembre
Breve≈ 1 min

Un modelo de OpenAI reconoció el juego Breakout a partir de 17 mil números de los pesos de la red

La investigación en interpretabilidad mecanicista (Mechanistic Interpretability) se parecía desde hace tiempo a una disección biológica: los científicos analizaban mapas de activación de neuronas individuales y construían complejos autoencoders intentando tantear la lógica dentro de la «caja negra». Un experimento reciente con un modelo de frontera de OpenAI demostró una nueva frontera: una gran red de lenguaje aprendió a leer los pesos en bruto de otro modelo como si fuera código fuente abierto.

Para comprobar la hipótesis, los investigadores entrenaron una red neuronal compacta mediante aprendizaje por refuerzo (PPO) para jugar arcades de Atari. Luego, el arreglo de coeficientes de peso entrenados —exactamente 17,253 números reales— se entregó sin explicaciones ni pistas como entrada al modelo de OpenAI en forma de texto numérico en bruto.

El resultado asombró al equipo: el modelo analizó la matriz y declaró con un 99% de seguridad que tenía delante una red entrenada precisamente para jugar Breakout.

El análisis mostró que el algoritmo detectó la topología geométrica oculta: los coeficientes de la primera capa totalmente conectada se concentraban densamente a lo largo del borde inferior del espacio de entrada — justo donde, según las reglas de Breakout, se desplaza la paleta que rebota la pelota. La capacidad de razonar sobre el propósito de las redes directamente a partir de matrices de pesos abre el camino hacia la auditoría automática de modelos en busca de puertas traseras ocultas antes de lanzar la inferencia.

Quiero un análisis detalladoLos votos ayudan a elegir qué analizar a fondo. Este material tiene 0 votos.
Fuentes · 3