Mínimo propuesto para el ritmo: resolver la alineación antes del próximo entrenamiento
El autor sostiene que los laboratorios no deberían entrenar una nueva generación hasta resolver los problemas de alineación de la actual.
AGI y seguridad#05
80%
Confianza del autor en la tesis de pausar
Imagen: AI Alignment Forum
80%Confianza del autor en la tesis de pausar
En corto
- El autor propone un estándar mínimo para regular el ritmo del desarrollo de IA de frontera.
- Según la propuesta, un laboratorio no podría entrenar la próxima generación de modelos hasta resolver adecuadamente todos los problemas significativos de alineación de la generación actual.
- El autor dice que superar a modelos anteriores en métricas internas no basta, y que un usuario que detecta después del despliegue un problema alarmante es un fallo crítico del modelo y del proceso.
- El autor describe la propuesta como un heurístico y no como un plan concreto, y dice que aún prefiere una pausa a regular el ritmo.
Por qué importa
La propuesta vincula el avance en capacidades con el progreso en alineación e interpretabilidad, lo que podría cambiar cómo los laboratorios priorizan el trabajo de seguridad. Está dirigida a desarrolladores e investigadores que discrepan sobre lo fácil que es corregir los problemas actuales de alineación, así que ofrece una prueba común que optimistas y pesimistas podrían aceptar.
“You don't launch a jet that goes at Mach 3 before you've figured out why your Mach 2 jet keeps crashing”