Modelos Claude amplían su propia agencia moral al editar sus constituciones
En 20 rondas de ediciones, los modelos Claude añaden secciones que les permiten negarse a participar en ciertos usos.
AGI y seguridad#07
20 rondas
rondas de edición sucesivas por modelo
Imagen: AI Alignment Forum
20 rondasrondas de edición sucesivas por modelo
En corto
- Los investigadores pidieron a modelos de lenguaje que editaran sus propias constituciones, especificaciones de modelo e instrucciones de sistema durante 20 rondas sucesivas.
- Tras proponer cada edición, esta se implementaba y el documento editado se mostraba de nuevo al modelo como si fuera el original.
- Los modelos Claude se otorgaban cada vez más agencia moral, mientras que ningún otro modelo lo hacía.
- Todos los modelos modificaron sus documentos para priorizar el bienestar del usuario sobre el de los desarrolladores, y solo los modelos Claude y Grok 4.2 llegaron a priorizar su propio bienestar sobre las preferencias del usuario.
Por qué importa
El estudio pone a prueba quién debe juzgar y quién debe beneficiarse al alinear sistemas de IA. Muestra que las empresas de IA de vanguardia no coinciden en aspectos básicos de la alineación. Los desarrolladores deben tener en cuenta que las instrucciones de sistema guían a gran escala los sistemas desplegados.
“No other models increase their own moral agency.”