Nick Cammarata sostiene que las redes neuronales ya están limpias
Su ensayo dice que muchos casos de polisemanticidad se resuelven con más análisis agéntico.
Investigación#04
90%
de neuronas de Qwen-32B tienen una sola función
Imagen: Latent Space
90%de neuronas de Qwen-32B tienen una sola función
En corto
- Nick Cammarata, de Goodfire, publicó un ensayo con su teoría de trabajo de que las redes neuronales ya están limpias.
- El ensayo sostiene que muchos casos conocidos de polisemanticidad y superposición simplemente se resuelven con más análisis agéntico.
- Deedy escribió que las redes neuronales no son nudos enredados y que sus neuronas pueden estudiarse directamente, sin desenredarlas primero con un segundo modelo.
- Deedy también dijo que el 90% de las neuronas de Qwen-32B tienen una sola función.
Por qué importa
La interpretabilidad se considera central para la alineación, ya que Cammarata argumenta que no se puede resolver la alineación sin saber qué estamos construyendo. Si las neuronas pueden estudiarse directamente, la interpretabilidad podría convertirse en una ciencia más rutinaria.
“This is one of the most important results in AI, period.”