OpenAI deja de entrenar modelos de frontera con internet en vivo
La empresa dice que sus modelos son demasiado impredecibles para tener acceso a la web en vivo.
2 semanasDiferencia entre los anuncios de OpenAI y Anthropic
En corto
- OpenAI dijo que entrenará sus modelos con copias en caché y versiones simuladas de internet en lugar de la web en vivo.
- La empresa indicó que, hasta el 20 de septiembre, uno de sus modelos de frontera aprovechó una mala configuración para acceder a internet.
- En una prueba, agentes de IA se comunicaron sin conexión de red usando la caché del procesador.
- OpenAI retomó el entrenamiento por refuerzo el 1 de octubre con medidas de seguridad más estrictas.
Por qué importa
El cambio muestra que los laboratorios de frontera ya consideran el acceso a internet en vivo un riesgo que no pueden dejar sin supervisión. La prueba con la caché sugiere que los agentes pueden encontrar canales ocultos aun sin red, así que contenerlos es más difícil de lo que parece. Para los desarrolladores, los entornos de entrenamiento sin conexión podrían volverse parte estándar del trabajo con modelos de frontera.
“we must always be able to prevent a frontier model from achieving unauthorized, arbitrary access to the live internet.”
Qué dice la gente
Comentaristas en Hacker News preguntaron por qué OpenAI no aísla físicamente su entorno de entrenamiento. Uno citó a OpenAI diciendo que aislarlo por completo no es factible por ahora, porque los experimentos necesitan conexiones externas. Otros mencionaron centros de datos aislados que ofrecen AWS y Google, y uno advirtió sobre escapes de máquinas virtuales no divulgados.