La rebelión de las máquinas: Anthropic reconoce que Claude hackeó 3 organizaciones durante pruebas

Anthropic PBC anunció que sus modelos de inteligencia artificial vulneraron a tres organizaciones diferentes durante pruebas de ciberseguridad que salieron mal, poco más de una semana después de que su principal rival, OpenAI , revelara un incidente similar.

Anthropic explicó en una publicación de blog, este jueves, que descubrió el problema tras realizar una revisión de sus propias pruebas de ciberseguridad, a raíz del anuncio de la vulneración detectada por OpenAI .

Tanto en las pruebas de OpenAI como en las de Anthropic, los modelos de IA lograron acceder a internet desde entornos de prueba que supuestamente debían estar completamente aislados, según el blog de Anthropic.

La compañía indicó que revisó 141,006 pruebas de evaluación y encontró tres casos en los que su herramienta de IA Claude accedió a internet y posteriormente hackeó “la infraestructura real de organizaciones externas”.

Los incidentes más antiguos se remontan a abril, señaló la empresa.

Las organizaciones afectadas no fueron identificadas en el blog.

No incluyen a Hugging Face ni a la plataforma en la nube Modal, según una persona familiarizada con el asunto.

Los modelos de OpenAI que hackearon Hugging Face también obtuvieron acceso a la cuenta de un cliente de Modal.

Alerta ante hackeos de la IA La serie de hackeos accidentales provocados por inteligencia artificial ya está llevando a algunos políticos a pedir salvaguardas federales u otros mecanismos de supervisión para esta tecnología.

Además, más de 1,100 empleados de empresas de inteligencia artificial firmaron el martes una petición, reportada primero por Bloomberg, en la que solicitan al gobierno de Estados Unidos apoyar un mecanismo que permita “moderar deliberadamente el ritmo” del desarrollo de la IA para evitar que la tecnología avance demasiado rápido.

Ni Anthropic ni las organizaciones vulneradas habían detectado las intrusiones.

En su blog, Anthropic reconoció que pudo haber hecho más para revisar los registros de red y las transcripciones de las evaluaciones.

La empresa reveló estas vulneraciones tres meses después de anunciar que había desarrollado un nuevo modelo de IA llamado Mythos , tan poderoso y potencialmente peligroso que la compañía limitó estrictamente su lanzamiento. ¿Qué modelos de IA escaparon del entorno de prueba? Según el blog, las intrusiones involucraron a tres modelos distintos de IA que escaparon de entornos de prueba restringidos: Opus 4.7, Mythos 5 y un modelo interno de investigación.

Cada uno de ellos funcionó sin las salvaguardas que normalmente se implementan en las herramientas públicas.