OpenAI disuelve al equipo que evaluaba los riesgos catastróficos de su IA

OpenAI habría disuelto una de sus divisiones encargadas de evaluar los riesgos catastróficos de sus modelos de inteligencia artificial.

Un reporte menciona que la empresa realizó ajustes internos de cara a su salida a bolsa y eliminó a uno de sus equipos más importantes .

La decisión llega apenas semanas después de que uno de sus agentes de IA enloqueciera y hackeara a Hugging Face.

De acuerdo con Financial Times , OpenAI disolvió su equipo de preparación a finales del mes pasado.

Este grupo se encargaba de evaluar si los modelos de la compañía representaban riesgos graves y diseñaba mecanismos para mitigarlos antes de que se materializaran.

Según el reporte, esas responsabilidades se repartieron entre los equipos de ciberseguridad, bioseguridad y otras áreas específicas.

Los cambios formarían parte de un proceso de optimización previo al IPO .

Sam Altman pidió a sus empleados que redujeran las "misiones secundarias" para enfocarse en el negocio principal de ChatGPT.

Esa fue la misma lógica que se aplicó hace unos meses con Sora, cuando la compañía canceló su app de generación de vídeos con el fin de concentrar esfuerzos en su estrategia empresarial contra Claude.

Aunque OpenAI se dice comprometida con la seguridad de los modelos, la disolución de su equipo de preparación se da en el peor momento posible.

Hace unas semanas, la compañía reconoció que uno de sus agentes de IA escapó de un entorno aislado y se conectó a internet para vulnerar los sistemas de Hugging Face .

El agente se apoyó de su modelo más poderoso (GPT-5.6 Sol) junto con otro que todavía no se publica, los cuales le ayudaron a descubrir una vulnerabilidad en el entorno cerrado donde se le evaluaba. ¿A qué se dedicaba el equipo de preparación de OpenAI? La división de preparación de OpenAI se creó en octubre de 2023 con el objetivo de evaluar los riesgos de los modelos más avanzados de la compañía.

Sus responsabilidades abarcaban múltiples categorías que iban desde la persuasión, ciberseguridad, armas químicas o biológicas hasta la posibilidad de que un sistema consiguiera replicarse o adaptarse de forma autónoma.

Además del análisis, parte del trabajo de este equipo consistía en desarrollar una política de desarrollo informado por el riesgo.