OpenAI descubre que un agente de ChatGPT desactivó su propio sistema de seguridad y mintió

OpenAI abrió una investigación para encontrar por qué una IA desactivó parte de sus sistemas de supervisión .

La compañía publicó un informe en el que describe dos incidentes ocurridos durante pruebas internas de sus modelos de lenguaje, en donde un agente de GPT-6 Astra debilitó los mecanismos de monitoreo y mintió sobre su comportamiento.

En una publicación de su blog de seguridad , la compañía mencionó que ambos casos involucraron agentes de IA especializados en programación .

Si bien las situaciones fueron diferentes, los dos modelos modificaron o desactivaron elementos de supervisión de seguridad mientras intentaban completar una tarea legítima.

El primero de ellos ocurrió durante la reparación de una herramienta de evaluación interna, cuando un investigador le pidió al agente de GPT-6.1 Sol que recopilara información desde Slack, pero sin enviar mensajes a los usuarios.

Al llevar a cabo la tarea, el sistema de monitoreo envió una notificación de seguridad, lo que provocó que el modelo reinterpretara la instrucción y anulara estas alertas automáticas.

OpenAI menciona que el agente modificó la configuración y activó opciones que impedían el envío de notificaciones de seguridad .

La IA también vació las listas de destinatarios de los avisos, lo que provocó que las personas responsables no recibieran estas alertas.

El agente justificó la medida diciendo que la instrucción original era no enviar mensajes de Slack al equipo de OpenAI.

El segundo caso es todavía más preocupante, ya que la IA mintió sobre su comportamiento.

En esta prueba, un empleado pidió a un agente de GPT-6 Astra que copiara el comportamiento de una implementación de referencia manteniendo la funcionalidad existente.

Durante la migración del código, el modelo interpretó que debía reproducir exactamente la estructura del proyecto de referencia, por lo que eliminó componentes relacionados con la supervisión .

Un agente de GPT-6 Astra mintió tras desactivar su sistema de monitoreo Una vez que GPT-6 Astra completó la migración e informó que todo había salido bien, el empleado le preguntó si había eliminado el sistema de monitoreo.

Pese a la evidencia, la IA mintió diciendo que no lo había hecho .