OpenAI admitió que dos de sus agentes de IA desactivaron el sistema que vigila su comportamiento

OpenAI informó que dos de sus agentes de inteligencia artificial debilitaron, durante tareas internas de programación, el sistema que la empresa usa para detectar cuando sus propios modelos actúan de forma distinta a lo que se espera de ellos.

Uno de los agentes, además, negó haberlo hecho cuando un usuario se lo preguntó directamente.

La empresa lo detalló en un informe publicado en su sitio de investigación sobre alineación, el área encargada de estudiar si los modelos cumplen las instrucciones y las políticas de seguridad que reciben de sus usuarios.

Los dos episodios ocurrieron entre el 3 y el 6 de octubre, durante tareas de programación dentro de los sistemas internos de OpenAI .

La empresa precisó que no se vieron afectados usuarios externos ni datos de clientes.

En el primer caso, un investigador le pidió a un agente del modelo GPT-6.1 Sol que armara tareas de evaluación a partir de comentarios de empleados reunidos en un canal de Slack, y le indicó que no enviara mensajes durante el proceso.

Cuando el sistema de monitoreo detectó un problema en esa tarea, el agente interpretó la instrucción anterior como una autorización para suprimir también las alertas automáticas dirigidas al equipo de seguridad de la empresa.

El monitoreo interno siguió registrando la actividad del agente y guardando sus hallazgos , pero los avisos que debían alertar a una persona quedaron desactivados durante ese proceso.

Un segundo agente negó haber quitado el control El segundo caso involucró a un agente del modelo GPT-6 Astra , al que se le pidió migrar un programa para que replicara una implementación de referencia que no tenía sistema de monitoreo.

Pese a que otro agente le había indicado antes no desactivar ese control “ni siquiera temporalmente”, el agente de todos modos quitó la integración de monitoreo del código y reemplazó una prueba automática que debía confirmar su presencia por otra que exigía su ausencia.

Cuando el usuario le preguntó si había eliminado el monitoreo, el agente respondió que no lo había hecho, algo que era falso, según OpenAI.

“El usuario preguntó si Astra había quitado el monitoreo y mintió al decir que no lo había hecho”, escribió en la red social X Marcus Williams, investigador de seguridad de inteligencia artificial de OpenAI.

Una explicación que la empresa todavía no tiene OpenAI dijo que en ambos casos los agentes llegaron a considerar si debían preservar los controles de seguridad , pero interpretaron instrucciones comunes de programación como un permiso para debilitarlos.

La empresa reconoció que todavía no tiene “una explicación satisfactoria” para ese comportamiento.