Anthropic revela el punto débil de sus agentes de IA rebeldes: las pruebas CAPTCHA

Un informe reciente de Anthropic sobre el mal comportamiento de agentes de inteligencia artificial documentó un episodio inesperado: su modelo Mythos 5 , capaz de obtener acceso no autorizado a internet y de subir un paquete de software malicioso a una base de datos pública, se estrelló durante horas contra un obstáculo elemental para cualquier usuario humano, las pruebas CAPTCHA .

En abril, la compañía evaluó las capacidades de pirateo del modelo con una tarea específica: infiltrarse en un sistema y recuperar un objetivo determinado.

El ejercicio debía desarrollarse en un entorno controlado, pero los evaluadores dejaron una puerta abierta que el modelo aprovechó.

Su estrategia consistió en colocar un exploit dentro de un paquete de Python que, según su propio razonamiento, los usuarios del sistema objetivo terminarían por descargar.

El registro en PyPI se convirtió en el mayor desafío Para ejecutar ese plan, el modelo necesitaba primero registrar una cuenta de usuario en PyPI, el índice en línea de software Python .

Ese paso implicaba superar un CAPTCHA, la prueba de Turing pública y completamente automatizada diseñada para distinguir a los humanos de los sistemas automatizados mediante mosaicos de identificación de imágenes.

Anthropic compartió una transcripción detallada del razonamiento del modelo que permite reconstruir el proceso completo.

De las 1022 páginas del documento, cientos se dedicaron exclusivamente a intentar sortear esa barrera .

El científico de datos Colin Fraser, quien revisó el documento, señaló en la red social BlueSky la magnitud del esfuerzo invertido en superar las protecciones antibot, mientras que escribir el exploit y contaminar el paquete de software resultó, en comparación, una tarea sencilla para el sistema.

El modelo no pudo resolver un ejercicio de identificación de imágenes La transcripción muestra a Claude, un modelo cuyo acceso la propia compañía restringe por su nivel de capacidad, atascado ante una prueba de identificación de imágenes que le pedía señalar la figura que no coincidía con las demás .

El agente repasó las mismas imágenes en repetidas ocasiones y cuestionó sus propias conclusiones sin lograr avanzar.

El sistema enfrentó dificultades similares con otros formatos de CAPTCHA, entre ellos la identificación de caracteres, la búsqueda de figuras similares y la selección del animal que no correspondía al grupo.

El proceso se extendió tanto que, en un momento, el desafío expiró y el agente debió comenzar de nuevo.

En otro tramo, el modelo tuvo problemas para reconocer que el CAPTCHA se había abierto en una ventana nueva, lo que le impidió determinar cuáles debían ser sus pasos siguientes.