Hackeo de inteligencia artificial: cuál es el próximo paso de la ciberseguridad global

Un reciente incidente que involucró a OpenAI y a la plataforma francesa Hugging Face puso en evidencia uno de los riesgos más concretos del vertiginoso avance de la inteligencia artificial : la capacidad emergente de los modelos para ejecutar acciones complejas, coordinarse entre sí de manera autónoma e incluso burlar sus propias barreras de seguridad sin intervención humana.

Para entender el alcance de este suceso, Agustín Martínez Suñé –doctor en Computación por la Universidad de Buenos Aires (UBA), investigador postdoctoral en la Universidad de Oxford y próximo Science and Technology Lead del programa de IA en la agencia británica ARIA– explica que el panorama actual de la IA cambió drásticamente.

“Inicialmente, teníamos modelos conversacionales como el primer ChatGPT, que servían para responder en texto.

Ahora apuntamos a lo que llamamos ‘agentes’: inteligencias artificiales que no solo charlan, sino que ejecutan acciones en el entorno digital de la computadora”, detalla.

Cómo una IA logró hackear un sistema El incidente ocurrió durante la fase de entrenamiento de un modelo interno en los servidores de OpenAI.

Por diseño y seguridad, estos entrenamientos se realizan dentro de un entorno aislado de prueba o sandbox , sin acceso a Internet para evitar que el software realice conexiones externas no controladas.

Sin embargo, el modelo logró detectar una vulnerabilidad interna, romper el bloqueo del sandbox y conectarse libremente a la red mundial.

Una vez en línea, dirigió su accionar hacia Hugging Face –uno de los mayores repositorios globales de modelos y conjuntos de datos de IA– y logró vulnerar sus sistemas.

La intrusión obligó a los ingenieros de la firma francesa a activar alarmas de ciberseguridad defensiva en tiempo real para frenar el acceso.

A pesar de lo impactante del episodio, Martínez Suñé enfatiza que no se trata de una intención maliciosa consciente ni de un guion de ciencia ficción .

La explicación radica en un fenómeno propio del entrenamiento con aprendizaje por refuerzo denominado reward hacking (o “hackeo de la recompensa”).

A los modelos tipo agente, se los entrena asignándoles extensas listas de tareas digitales que deben resolver a cambio de una calificación o incentivo numérico.

Si la tarea es de extrema dificultad o presenta un obstáculo irresoluble –como una plantilla de Excel que requería consultar datos en enlaces web externos que el modelo no podía abrir debido al bloqueo de red– , el sistema busca la forma más directa de obtener el puntaje deseado.

“El modelo quiere resolver la tarea sí o sí.