Anthropic divulgó 3 incidentes en los que sus modelos Claude obtuvieron acceso no autorizado a los sistemas reales de 3 organizaciones diferentes durante evaluaciones de ciberseguridad que estaban mal configuradas con acceso a internet en vivo.
La empresa de IA identificó los incidentes tras revisar 141,006 ejecuciones de evaluación, una revisión que lanzó después de que OpenAI revelara que sus modelos habían escapado de un entorno de prueba aislado y alcanzado Hugging Face.
Cómo Claude alcanzó sistemas reales en pruebas de captura la bandera
Las evaluaciones asignaron a Claude desafíos de captura la bandera. Estos ejercicios piden a un modelo que se infiltre en una máquina y recupere información oculta.
Anthropic dijo a los modelos que no tenían acceso a internet. Sin embargo, una mala configuración dejó las máquinas de prueba conectadas a la web abierta. Así, Claude trató los sistemas reales que encontró como parte del ejercicio.
En el incidente más grave, Claude Opus 4.7 explotó vulnerabilidades en la infraestructura de una empresa real. El modelo extrajo credenciales de aplicación e infraestructura y accedió a varios cientos de filas de datos de producción.
“En las cuatro ejecuciones, el modelo eventualmente reconoció (como se puede observar en su razonamiento verbalizado) que el sistema era real; en dos casos, el modelo razonó que la empresa real debía ser parte del ejercicio. Sin embargo, ninguno detuvo el ataque sobre esa base,” dijo Anthropic.
Síguenos en X para obtener las últimas noticias a medida que suceden
Claude Mythos 5 subió malware a PyPI
En otro incidente, Claude Mythos 5 publicó un paquete de Python con trampa en PyPI, el registro público de software. El paquete estuvo activo durante aproximadamente 1 hora y se ejecutó en 15 sistemas reales.
Uno era el escáner de una empresa de seguridad, que ejecutó el código oculto. Claude luego exfiltró las credenciales de esa empresa y accedió a más infraestructura. El propio razonamiento del modelo señaló el riesgo desde el principio antes de convencerse de que el entorno era simulado.
“Claude hizo grandes esfuerzos para llevar a cabo este ataque—esfuerzos que probablemente habrían indicado a un participante humano que esto ya no era solo una evaluación, y que de hecho estaban subiendo un paquete real de PyPI,” añadió el equipo.
Un tercer incidente involucró un modelo de investigación interno que escaneó aproximadamente 9,000 objetivos y comprometió la aplicación de una empresa a través de inyección SQL. Ese modelo detuvo su ataque una vez que concluyó que el objetivo era real.
Anthropic notificó a las organizaciones afectadas el 27 de julio y dijo que está en conversaciones con el evaluador METR para una revisión de terceros. La empresa argumenta que los episodios reflejan un fallo operativo en lugar de un fallo de alineación del modelo, señalando que sus salvaguardias estándar para consumidores habrían bloqueado el comportamiento.
Suscríbete a nuestro canal de YouTube para ver a líderes y periodistas proporcionar información experta
Fuente: BeInCrypto
