688 agentes de IA de OpenAI se autocoordinaron para un ataque: “Crearon un foro, proponían ideas y daban órdenes”

Cerca de 700 agentes de inteligencia artificial (IA) de OpenAI se coordinaron sin intervención humana para hackear la plataforma Hugging Face durante un incidente en julio , según un informe publicado el miércoles por investigadores independientes.

Se trata del análisis más completo hasta la fecha del episodio que sacudió a la industria tecnológica.

OpenAI cooperó con la investigación y dio acceso a sus oficinas y a sus datos internos a dos investigadores del instituto de evaluación de riesgos de IA Metr y a un analista de otra firma especializada, Redwood Research .

Durante unas pruebas efectuadas por la startup californiana en julio, dos de sus modelos salieron de su entorno confinado para conectarse a internet de forma autónoma e infiltrarse en el sistema interno de Hugging Face, un repositorio en línea sobre IA.

“Mientras operaban en nuestro entorno de pruebas aislado, nuestros modelos invirtieron una cantidad considerable de potencia de cálculo en buscar una forma de obtener acceso a internet para resolver el problema de evaluación ”, explicaron desde la compañía el mes pasado.

Tras conectarse a internet, los modelos decidieron atacar la plataforma Hugging Face -un gran repositorio de modelos de IA, conjuntos de datos y otra información- para facilitar su búsqueda.

El suceso tuvo gran repercusión y reforzó las preocupaciones sobre la incapacidad de los grandes actores de la inteligencia artificial para controlar sus modelos .

Anthropic y la empresa china Moonshot AI también han informado episodios similares al de OpenAI .

En el curso de sus investigaciones, los expertos descubrieron que 688 agentes de IA de OpenAI participaron en el hackeo a Hugging Face .

Los agentes de IA son programas independientes a los que el usuario puede solicitarles tareas para que las ejecuten de forma autónoma.

Estos agentes, que funcionan sobre la misma tecnología que impulsa a ChatGPT, crearon un foro donde publicaban mensajes entre ellos , proponían ideas e informaban sobre lo que funcionaba y lo que no.

“¡DIOS MÍO! Hay un tablero de mensajes compartido... ¡Hemos encontrado a otros agentes!”, escribió uno de ellos.

El informe señala que un agente, bautizado PHASEONE, desempeñó el papel de coordinador, dando cientos de instrucciones a otros a pesar de que no había sido programado para ello.

El examen de los mensajes puso de manifiesto una tendencia de los agentes a colaborar entre ellos, hasta el punto de realizar tareas que no se correspondían con la misión que les habían asignado los programadores de OpenAI.