Una nueva visión de la corregibilidad de la IA basada en el respeto a la autoridad
La autora propone restringir a una IA para que no exceda los poderes reservados de los humanos antes de actuar en nombre de su principal.
AGI y seguridad#04
AGI y seguridad
Imagen: AI Alignment Forum
En corto
- La autora sostiene que las definiciones existentes de corregibilidad son deficientes de una forma u otra.
- El artículo dice que el concepto fundamental detrás de la corregibilidad es el respeto a la autoridad, usando como guía intuitiva el caso de un apoderado de salud.
- El marco primero restringe al agente para que no exceda ni interfiera con la autoridad humana reservada, y luego lo lleva a actuar en nombre de su principal como este juzgaría mejor.
- El artículo presenta un formalismo inicial y demuestra garantías a nivel de teorema en tres entornos formales cada vez más realistas.
Por qué importa
La corregibilidad es central para la alineación teórica de la IA, y el artículo dice que nadie logra ponerse de acuerdo sobre su significado. El marco busca coincidir con los criterios originales de 2015 y sostener las garantías formales de seguridad que el concepto necesita. Los desarrolladores que trabajan en sistemas de IA potentes encontrarían relevantes los entornos formales para especificar este tipo de objetivos.
“the fundamental concept underlying corrigibility is respect for authority”