evhub propone líneas rojas de monitorabilidad para los laboratorios de IA
El texto clasifica la monitorabilidad en cuatro tipos y sostiene que los monitores de confianza son el principal problema abierto.
4 tiposTipos de monitorabilidad que el texto clasifica
En corto
- El texto clasifica cuatro tipos de monitorabilidad y analiza cómo la confiabilidad afecta a cada uno.
- Señala que un monitor que usa el mismo modelo que la política podría, en principio, obtener una puntuación perfecta, por lo que se necesitan monitores de confianza.
- Propone evaluar la proporción entre no monitorabilidad y capacidades, que llama externalidad de monitorabilidad, y rechazar cambios de modelo que la eleven demasiado.
- Propone líneas rojas de monitorabilidad de control y de entrenamiento, con la monitorabilidad de auditoría implícita en la confianza que se da a los monitores.
Por qué importa
La monitorabilidad es una de las herramientas propuestas para supervisar modelos avanzados, así que las líneas rojas sobre ella limitarían cómo los laboratorios construyen y cambian sus modelos. El texto sostiene que las líneas rojas absolutas por sí solas no limitan las acciones actuales, por eso las combina con límites a los cambios que degradan la monitorabilidad. Para los desarrolladores, ofrece una forma concreta de pensar cómo se sostiene la supervisión a medida que crecen las capacidades.
“a monitorability externality would be a change that makes monitorability even worse than would otherwise have previously been predicted for a given level of capabilities”