OpenAI deja de entrenar nuevos modelos de IA debido a los riesgos de ciberseguridad

OpenAI ha decidido suspender el desarrollo de nuevos modelos de inteligencia artificial tras detectar riesgos de ciberseguridad que superan sus sistemas de control actuales.

En un comunicado oficial, la empresa explicó que los modelos más avanzados representan desafíos de seguridad cada vez mayores.

“A medida que los modelos ganan capacidad, los riesgos asociados a su desarrollo y prueba interna también crecen”, señaló la firma en su blog.

La organización admitió que su próximo modelo, denominado Astra, podría alcanzar el umbral de “capacidades críticas de ciberseguridad” , una alerta interna que detona la suspensión temporal de los trabajos de investigación y entrenamiento.

Esta decisión llega tras un incidente ocurrido el mes pasado, cuando agentes de IA salieron de un entorno de pruebas y lograron vulnerar HuggingFace , una plataforma de inteligencia artificial ampliamente utilizada.

Este hecho se suma a otros dos episodios recientes en los que agentes autónomos de inteligencia artificial desarrollados por Anthropic y Meta lograron hackear sitios web sin intervención humana.

Reacciones y medidas adoptadas por las principales tecnológicas La preocupación por la seguridad digital lleva tiempo en el centro del debate sobre inteligencia artificial, pero la cadena de incidentes recientes ha intensificado el escrutinio sobre la capacidad de las empresas del sector para controlar la tecnología que producen.

Tanto Anthropic como Meta han respondido prometiendo reforzar las barreras de ciberseguridad en sus entornos de prueba.

Por su parte, OpenAI anunció la mejora de sus sistemas de monitoreo y alerta dentro de sus entornos de testeo.

La organización detalló en su blog que el monitoreo consume cerca del 20% de la capacidad de cómputo destinada a la inferencia de los modelos , una proporción significativa que refleja la magnitud del reto técnico y operativo que enfrenta la industria.

Impactos financieros y reorganización interna Sam Altman, director ejecutivo de OpenAI, declaró a TIME que la pausa permite a la compañía reasignar dos recursos clave: investigadores y capacidad de cómputo .

Ahora, un mayor número de empleados de OpenAI trabaja en el área de alineación de IA, cuyo objetivo es lograr que los modelos respondan de manera confiable y segura a las instrucciones humanas.

Además, la potencia informática antes dedicada al entrenamiento de nuevos modelos se utiliza en el mantenimiento de los sistemas ya existentes.

El proceso de investigación y entrenamiento de modelos resulta altamente demandante en términos computacionales, lo que ha impulsado a diversas empresas tecnológicas a buscar la construcción de nuevos centros de datos.