Sam Altman apuesta por estándares internacionales de seguridad para la IA; busca mitigar riesgos "catastróficos"

El consejero delegado de OpenAI , Sam Altman , planteó la necesidad de fijar estándares internacionales de seguridad para la inteligencia artificial ( IA ), y advirtió de los peligros de la dispersión y de la fragmentación normativa que existe en el mundo.

Altman ha planteado además que en el ámbito de la IA, y para el establecimiento de esos estándares internacionales de seguridad , se podrían extraer lecciones de áreas como la aviación o las finanzas, donde los países han desarrollado estándares técnicos comunes y canales confiables para la cooperación sin renunciar a la autoridad nacional.

Lo hizo en una entrada en la red social X, que enlaza con un artículo que firma junto al científico jefe de la compañía, Jakub Pachocki , que se publicó en la página web de la empresa.

En el texto, Sam Altman, quien recientemente abogó por ralentizar el desarrollo de los modelos de vanguardia y por coordinar ese frenazo en coordinación y colaboración con otras empresas, plantea ahora que las personas ajenas a los laboratorios de inteligencia artificial deben tener también participación real en la toma de decisiones para evitar la concentración de poder y garantizar que exista un entorno competitivo.

Altman y Pachocki plantean que para asegurar que la inteligencia artificial general beneficie a toda la humanidad hay que perseguir tres metas: desarrollar un investigador de IA automatizado que esté centrado en la alineación y el control humano; generar progreso científico y crecimiento económico ; y empoderar a los individuos con modelos de IA personalizados .

Mantienen que el avance tecnológico impulsado por la IA ya está acelerando descubrimientos significativos en áreas clave como las matemáticas y la medicina, y que a medida que los sistemas ganan autonomía y capacidad, resulta indispensable impulsar la investigación de la alineación de los desarrollos tecnológicos con los intereses que se persiguen para mantener esos desarrollos bajo control y acordes a los valores humanos.

A medida que la IA asume una mayor proporción de las tareas de desarrollo, surge la posibilidad de acelerar el progreso a través de un proceso que llaman de " auto-mejora recursiva ", pero han alertado de que si ese proceso no se realiza con la debida precaución y bajo decisiones democráticas informadas, existe el riesgo de que los humanos pierdan el control práctico sobre la investigación.

Si no existen salvaguardias sólidas, la aceleración de esos procesos de "auto-mejora" podrían derivar en sistemas que resulten incomprensibles para la supervisión humana, volviéndose más peligrosos y menos coherentes , según los responsables de OpenAI.