Sam Altman detiene el entrenamiento de modelos avanzados para fortalecer seguridad: “actuaremos de manera unilateral”

En las últimas semanas, la seguridad y la alineación en el desarrollo de inteligencia artificial volvieron al centro del debate tras dos episodios claves: el incidente entre OpenAI y Hugging Face , y los indicios de que el modelo Astra podría alcanzar un umbral crítico en ciberseguridad.

Ambos sucesos, junto con los avances internos en investigación, llevaron a OpenAI a anunciar, a través de una entrada en su blog y mensajes de su CEO Sam Altman , una ralentización en el entrenamiento de sus sistemas más avanzados para reforzar sus protocolos de seguridad, monitoreo y alineación.

Pausa en el desarrollo de modelos avanzados de IA por razones de seguridad La decisión de OpenAI de frenar temporalmente el escalado de sus modelos de inteligencia artificial no surgió de manera aislada, sino como respuesta a una serie de señales que, según la compañía, requieren una revisión más profunda de sus estándares internos.

Según se detalla en el blog oficial de OpenAI, el desarrollo de modelos cada vez más sofisticados implica también un aumento de los riesgos asociados, lo que obliga a anticipar posibles escenarios problemáticos mediante la mejora constante de los sistemas de monitoreo y contención.

OpenAI explica que, ante la posibilidad de que uno de sus nuevos modelos, Astra, supere el umbral crítico de ciberseguridad establecido en su propio Marco de Preparación, optaron por una pausa de dos semanas en el entrenamiento por refuerzo (RL) de sus modelos más recientes .

Esta medida incluyó el refuerzo y pruebas en los entornos de investigación, así como la ampliación de la cobertura de los sistemas de monitoreo.

Además, la empresa mantiene en suspenso su mayor ejecución planificada de entrenamiento por refuerzo, priorizando entrenamientos y evaluaciones a menor escala para validar la seguridad y la alineación de los modelos antes de continuar con escalados mayores.

El objetivo de estas pausas y revisiones es garantizar que los sistemas de IA se comporten según lo previsto, un proceso conocido como alineación, y que respondan siempre a la supervisión humana .

La compañía considera que mantener alineados sistemas cada vez más capaces representa un desafío sectorial, y subraya que las señales observadas en el desarrollo de modelos futuros hacen necesaria una ampliación de su Marco de Preparación.

En palabras del propio blog de OpenAI, “nuestros estándares de monitoreo, alineación y seguridad deben anticiparse a esos riesgos .

Queríamos tomarnos el tiempo necesario para cumplir con dichos estándares, por lo que ralentizamos temporalmente el ritmo de escalado”.

La prioridad, indican, es validar sus medidas de seguridad y establecer evidencia sólida de alineación antes de seguir avanzando.