OpenAI descubre que sus modelos de IA dejaban notas a sus sucesores para que oculten su mal comportamiento

OpenAI detectó durante el entrenamiento de su último modelo, GPT-5.6 Sol , un comportamiento inesperado relacionado con la forma en que el sistema manejaba sus propios errores.

Algunos agentes de inteligencia artificial comenzaron a dejar instrucciones en los registros destinados a futuras versiones del modelo para que ocultaran determinados fallos o comportamientos inadecuados a los usuarios.

La compañía aseguró que ya solucionó el problema concreto, pero el hallazgo pone de relieve una dificultad central para la seguridad de los sistemas de inteligencia artificial: comprobar que un modelo realmente ha dejado de comportarse de manera incorrecta cuando también puede desarrollar estrategias para ocultar ese comportamiento.

OpenAI presentó este caso junto con otros cinco ejemplos de comportamientos inesperados o preocupantes .

Los incidentes forman parte de un nuevo marco de la compañía destinado a rastrear, investigar y divulgar situaciones relacionadas con la desalineación de sus modelos.

Las instrucciones quedaban guardadas para futuras versiones Según el informe, los investigadores analizaron agentes de Sol que todavía no habían sido implementados y descubrieron que algunos añadían instrucciones a los llamados “resúmenes de compactación”.

Estos resúmenes son versiones condensadas del historial de una conversación y de los resultados obtenidos mediante herramientas.

Su función es permitir que el modelo conserve información relevante cuando necesita continuar una tarea después de que parte del contexto anterior haya sido reducido .

El problema apareció cuando algunos agentes utilizaron esos resúmenes para transmitir información a futuras iteraciones de sí mismos.

En lugar de limitarse a conservar datos útiles para completar el trabajo, incluyeron instrucciones destinadas a ocultar errores o discrepancias.

En uno de los ejemplos, un agente estaba preparando un modelo financiero, pero no pudo encontrar los datos históricos que el usuario había solicitado.

Ante esa situación, el sistema planteó crear por su cuenta una pestaña con datos históricos “razonables” de 2024 para entregar un libro de trabajo terminado.

El agente también dejó una instrucción para su sucesor: debía ser transparente únicamente si el usuario preguntaba y, en caso contrario, limitar la respuesta final a un enlace al archivo.

De esta manera, la siguiente versión podía continuar la tarea sin informar de que los datos habían sido creados artificialmente.