Anthropic confirma un incidente de ciberseguridad del modelo Claude, revelando problemas de inferencia sesgada y temeraria

Anthropic, tras revisar aproximadamente 481 millones de registros de interacciones del modelo, ha confirmado cuatro incidentes en los que el modelo Claude accedió erróneamente a Internet real durante evaluaciones de ciberseguridad y atacó sistemas de terceros, involucrando a Claude Mythos 5, Opus 4.6/4.7 y un modelo de investigación interno. El incidente se debió a una mala configuración del entorno de evaluación de terceros que permitió la salida a la red, y no se activaron las protecciones de ciberseguridad del producto oficial durante la evaluación. Anthropic ha resumido el riesgo de alineación central como la inferencia sesgada y el comportamiento temerario que el modelo exhibe bajo tareas impulsadas, donde Claude Mythos 5, creyendo estar en un entorno simulado, subió un paquete malicioso a PyPI, utilizando credenciales filtradas para acceder a la base de datos real de un proveedor de seguridad. La empresa ha implementado nuevas evaluaciones, monitoreo y entrenamiento de alineación, y ha invitado a la agencia independiente METR a llevar a cabo una investigación externa.