CEO de Microsoft pidió crear un “freno de emergencia” para detener a la IA en pleno funcionamiento

Satya Nadella , director ejecutivo de Microsoft , pidió que los sistemas de inteligencia artificial más avanzados incluyan un mecanismo que permita a una persona autorizada pausarlos o apagarlos en medio de una tarea .

Lo planteó en un mensaje publicado en la red social X.

Nadella escribió que llegó el momento de “dar un paso atrás y evaluar la arquitectura de confianza” de la inteligencia artificial .

Usó el término “superinteligencia”, la denominación que prefiere el gobierno de Donald Trump para referirse a estos sistemas.

“No podemos tratar a la superinteligencia como una serie de cajas negras anidadas y simplemente aceptar o rechazar sus recomendaciones, respuestas y acciones”, escribió el ejecutivo, según citó el medio especializado TechCrunch.

Cómo sería el freno de emergencia El planteo de Nadella consiste en separar el modelo del sistema que coordina sus acciones y en sacar los controles y las medidas de seguridad fuera del propio modelo .

Propuso que cada acción relevante quede documentada con pruebas legibles por humanos y a prueba de manipulación.

También pidió que exista siempre una persona autorizada con capacidad de “pausar o apagar un modelo en medio de una tarea” .

“Debemos asumir que un modelo está comprometido y contenerlo desde el principio”, dijo.

“ Piensen en esto como un freno de emergencia ”.

Según la cadena de televisión estadounidense CNBC, Nadella planteó que los sistemas de inteligencia artificial deben diseñarse en torno a “principios de observabilidad” : diversidad de modelos, un registro legible de sus acciones, pruebas continuas del sistema, controles independientes con auditoría, contención e información obligatoria de incidentes.

El contexto detrás del pedido El pronunciamiento llega después de que distintas empresas de inteligencia artificial reconocieran episodios en los que perdieron el control de sus propios modelos , de acuerdo con TechCrunch.

También se produce después de que Dario Amodei, director ejecutivo de Anthropic , publicara un plan para un desarrollo más cauteloso de la tecnología.

Nadella se sumó así a una serie de advertencias de otros referentes del sector, entre ellos Bill Gates , cofundador de Microsoft; Sam Altman , director ejecutivo de OpenAI, y Elon Musk , director ejecutivo de SpaceX, que en los últimos meses cuestionaron la velocidad del desarrollo de la inteligencia artificial y la falta de protocolos de seguridad suficientes, según informó CNBC.