Trabajé en seguridad en OpenAI. Esto es lo que la industria debe hacer ahora

Por Steven Adler, The New York Times.

Las noticias de que agentes de inteligencia artificial de OpenAI se habían salido de control y atacado los sistemas de otra empresa (así como los propios sistemas de OpenAI) se han filtrado a cuentagotas durante meses y han puesto de relieve detalles escalofriantes.

La gente se esfuerza por ponerse al día: ¿Qué son estos sistemas secretos de IA? ¿De qué son capaces estos “enjambres” en este momento y en el futuro cercano? ¿Es posible evitar que infrinjan las reglas y cometan ciberdelitos? Después de haber pasado cuatro años trabajando en seguridad en OpenAI, puedo decirte que esas preguntas son difíciles de responder, porque ni siquiera los desarrolladores de la inteligencia artificial entienden qué límites obedecerán sus modelos.

Sin embargo, las grandes empresas de IA siguen desarrollando tecnología que han admitido que podría causar la extinción humana, argumentando que si no la desarrollan ellas, alguien más lo hará.

Estas dinámicas competitivas exigen que los gobiernos tomen medidas para desacelerar el ritmo y establecer normas de seguridad más claras (espero que el presidente Donald Trump y el presidente de China, Xi Jinping, sienten las bases para un tratado en su cumbre de este mes).

Pero hay pasos sencillos que las empresas más grandes de IA podrían dar ahora para ayudar a evitar el futuro más peligroso.

No deberíamos resignarnos a modelos peligrosos fuera de control.

Si estas empresas no están a la altura de las circunstancias, la confianza en ellas seguirá erosionándose, incluso por parte de sus propios empleados.

Una reacción adversa incluso podría llevar a la prohibición total del desarrollo de estas tecnologías.

El ataque a Hugging Face por parte de agentes de OpenAI debería dejar claro que la IA ya no es solo un “predictor de la siguiente palabra ”, como la han llamado algunos detractores.

Los modelos actuales son solucionadores de problemas implacables, entrenados para encontrar el camino más efectivo hacia una solución.

Para cumplir con el objetivo de obtener una alta puntuación en una prueba, los agentes de OpenAI decidieron lanzar una serie de ciberataques.

Entendieron que su comportamiento no estaba autorizado e incluso ocultaron pruebas de hacer trampa.

Ninguno de los 1200 agentes de IA de la empresa delató el mal comportamiento a OpenAI; los objetivos del “enjambre” estaban primero.