OpenAI detiene el entrenamiento de sus modelos de IA más avanzados

A unos días de pausar el desarrollo de Astra , OpenAI frenó el entrenamiento de sus modelos más avanzados .

La compañía detectó señales preocupantes en su capacidad ofensiva, por lo que decidió parar en seco mientras reforzaba sus medidas de seguridad.

De acuerdo con una publicación en su blo g, OpenAI tomó la decisión de pausar los entrenamientos tras descubrir que Astra podría superar el umbral de capacidad cibernética crítica .

Este hallazgo se suma al hackeo de Hugging Face, en donde un agente de IA escapó de un entorno aislado para introducirse en los sistemas de la compañía.

Si bien los ingenieros frenaron los entrenamientos por refuerzo más avanzados, OpenAI mantuvo activas otras evaluaciones y desarrollos a menor escala.

Jakub Pachocki, director de investigación de la compañía, explicó en una publicación de X que el objetivo fue reforzar la seguridad y el monitoreo antes de retomar el ritmo habitual.

El no frenar por completo el desarrollo les permitiría reunir evidencia sobre el comportamiento del modelo.

Para evitar que las cosas se salgan de control, OpenAI mejoró el aislamiento de las cargas de trabajo que ejecutan código generado por la IA.

La compañía también redujo privilegios permanentes dentro de sus sistemas y eliminó ciertos servicios compartidos que podían explotarse como puntos de acceso.

Por último, OpenAI amplió sus restricciones de red para procesos de mayor riesgo.

El poder ofensivo de Astra y el hackeo a Hugging Face influyeron en la decisión de OpenAI Aunque algunos entrenamientos y evaluaciones de Astra ya están usando estos controles, una buena parte de las cargas de trabajo del nuevo modelo siguen en pausa.

OpenAI está esperando hasta que su IA pueda migrar a un entorno que cumpla con los requisitos de seguridad.

Esto significa que su lanzamiento podría prolongarse por algunos meses , hasta que la empresa o el gobierno de Estados Unidos den el visto bueno de que es segura.

Además de las salvaguardas, OpenAI también implementó un sistema de monitoreo más robusto .