Kosoy sostiene que la alineación de la IA necesita teoría profunda, no ensayo y error
Ella define el problema técnico como construir una IA superhumana que siga alineada con las intenciones humanas.
AGI y seguridad#05
AGI y seguridad
Imagen: AI Alignment Forum
En corto
- Vanessa Kosoy define el problema técnico de la alineación de la IA como diseñar un sistema de IA que aporte capacidad superhumana a la planificación de largo plazo y multidominio, manteniéndose alineado con las intenciones y preferencias de los usuarios.
- Ella sostiene que la tarea mínima para una IA segura es crear un sistema global de defensa confiable contra la IA peligrosa.
- Ella sostiene que el enfoque incremental que usa la industria de la IA fracasa si los problemas llevan a que la IA tome el control.
- Ella dice que una IA alineada necesita preferencias, creencias y decisiones alineadas, y que las preguntas filosóficas sobre ellas no se pueden descartar fácilmente.
Por qué importa
El ensayo plantea la alineación como un requisito para una IA que pueda razonar sobre todo el planeta y planificar durante décadas o siglos. Argumenta que encontrar problemas después del despliegue llega demasiado tarde si esos problemas llevan a una toma de control. Para los desarrolladores, la confianza depende de las creencias y decisiones, no solo de los objetivos.
“The problem of making AI safe is underspecified if we haven't decided what the AI is supposed to do”