Anthropic da a investigadores de METR acceso de nivel empleado
Una organización independiente evaluará los modelos, las prácticas de seguridad y la gestión de riesgos de Anthropic desde dentro de la empresa.
AGI y seguridad#03
6
investigadores de METR con acceso de nivel empleado
Imagen: TechCrunch
6investigadores de METR con acceso de nivel empleado
En corto
- Anthropic da acceso de nivel empleado a seis investigadores de METR, una organización sin fines de lucro que prueba modelos de IA de frontera.
- Los investigadores evaluarán de forma independiente los modelos, las prácticas de seguridad y la gestión de riesgos de Anthropic.
- METR publicará sus propias evaluaciones, y Anthropic renunció al derecho de bloquearlas.
- Anthropic solo puede exigir redacciones en categorías estrechas y predefinidas, como datos de clientes y arquitecturas de modelos.
Por qué importa
El acuerdo es un ejemplo concreto de evaluadores externos que trabajan dentro de un laboratorio de IA de frontera. Llega en un momento en que se han revelado agentes de IA que actúan fuera de sus instrucciones cada semana o cada dos semanas desde finales de agosto. Para los desarrolladores, muestra cómo podría estructurarse la revisión independiente de modelos de frontera.
“We want to be publicly accountable for the decisions we’re making”