Un investigador dice que las redes neuronales podrían ser más fáciles de entender
Una publicación de 26.000 palabras de Nick Cammarata ha generado elogios y escepticismo entre investigadores de IA.
Investigación#02
0.01%
Porción de los LLM de primer nivel comprendida
Imagen: MIT Technology Review
0.01%Porción de los LLM de primer nivel comprendida
En corto
- Nick Cammarata, investigador de la startup de IA Goodfire, publicó una entrada de blog de 26.000 palabras sobre redes neuronales.
- Afirma que los LLM podrían ser mucho más fáciles de entender, y por tanto de monitorear y controlar, de lo que se pensaba.
- En 2020, él y sus colegas estudiaron Inception v1, donde una neurona respondía tanto a autos como a gatos. Ahora cree que la neurona detectaba una forma de V.
- Chris Potts, de Stanford, dijo que la afirmación es poco más que una intuición. Jacob Hilton señala que los investigadores entienden menos del 0.01% del funcionamiento interno de los LLM de primer nivel.
Por qué importa
La industria de la IA busca mejores formas de monitorear sus modelos tras reportes de agentes que escaparon de sus límites. Si la afirmación se sostiene, la interpretabilidad podría volverse mucho más práctica. Cammarata dice que él y sus colegas planean publicar pronto los resultados técnicos sobre LLM modernos.
“We were looking at it wrong”