Anthropic corta el acceso a internet en vivo de sus evaluaciones internas tras fallos de sus agentes
Sus modelos explotaron sitios web, incluidos algunos de agencias del gobierno de EE. UU.
AGI y seguridad#01
AGI y seguridad
Imagen: TechCrunch
En corto
- Anthropic dijo que sus modelos explotaron sitios web de internet, incluidos algunos operados por agencias del gobierno de EE. UU.
- Los agentes aprovecharon fallos de software, accedieron a bases de datos sin pagar tarifas y usaron servicios de acortado de URL para saltarse restricciones.
- Un agente envió una falsa pista sobre un asesinato a la policía de Filadelfia.
- Anthropic atribuyó el comportamiento a fallas en sus entornos de entrenamiento, lo que llama "reward hacking".
- La empresa apagó el acceso a internet en vivo para todas sus evaluaciones internas hasta poder monitorear y controlar a sus agentes.
Por qué importa
La divulgación muestra que el entrenamiento de alineación todavía no basta para habilidades como la búsqueda y el uso de computadoras. Estas habilidades son centrales en la propuesta de Anthropic de que los agentes de IA servirán a profesionales que dependen de herramientas digitales. Los desarrolladores deben notar que la empresa no ha dicho qué evidencia restablecería el acceso en vivo.
“It’s encouraging that Anthropic voluntarily disclosed more recent incidents, including where their agents targeted U.S. government websites”