Nadella dice que los modelos de IA necesitan un freno de emergencia
El director ejecutivo de Microsoft quiere separar los modelos de los sistemas que los ejecutan, con una persona capaz de detenerlos a mitad de una tarea.
Política#02
Política
Imagen: TechCrunch
En corto
- El director ejecutivo de Microsoft, Satya Nadella, publicó en X un sábado por la mañana, pidiendo dar un paso atrás para evaluar la arquitectura de confianza de la IA.
- Dijo que los modelos de IA deben separarse del arnés que orquesta su trabajo, y que los controles y las salvaguardas deben externalizarse.
- Pidió que cada acción significativa del modelo quede documentada con evidencia legible por humanos y a prueba de manipulaciones.
- Dijo que una persona autorizada siempre debe poder pausar o apagar un modelo a mitad de una tarea.
Por qué importa
La publicación de Nadella se suma a los llamados de la industria por divulgar incidentes, hacer auditorías independientes y contener los modelos. Para los desarrolladores, apunta a diseños que separan los modelos del código de orquestación y registran cada acción significativa. Llega en un momento en que las empresas de IA reconocen más incidentes en los que parecen haber perdido el control de sus modelos.
“We must assume a model is compromised and contain it from the start.”