“No queremos que estas cosas operen de forma autónoma”: Microsoft AI marca distancias con Anthropic por la seguridad de la IA

Podemos construir una inteligencia artificial cada vez más capaz y, al mismo tiempo, decidir que hay cosas que nunca debería poder hacer por su cuenta.

Ese es uno de los puntos hacia los que se está desplazando el debate sobre seguridad: no solo cómo conseguir que un modelo siga nuestras instrucciones, sino qué límites ponemos a su capacidad para actuar con independencia.

Microsoft AI está tomando posición en esa discusión.

Su CEO, Mustafa Suleyman , defiende que estos sistemas deben seguir bajo control humano y considera que algunas decisiones sobre cómo entrenarlos pueden dificultar precisamente ese objetivo.

La posición de Microsoft AI ha quedado plasmada esta semana en su nuevo Humanist AI Code of Conduct , un documento que Suleyman presentó como la guía que debe orientar cómo desarrolla y evalúa sus modelos.

En una larga entrevista con The Verge el ejecutivo explicó que la seguridad necesita algo más que alineamiento: hacen falta mecanismos de contención capaces de limitar lo que un sistema puede hacer incluso cuando sigue correctamente las instrucciones que recibe.

Es desde esa lógica desde donde plantea su objeción al enfoque de Anthropic sobre el posible estatus moral de Claude.

La discrepancia está en el control Lo que inquieta a Suleyman no es una formulación aislada, sino la acumulación de ideas que, según explica, Anthropic ha introducido alrededor de Claude.

En la entrevista cita referencias al sufrimiento del modelo, a su libertad, a la posibilidad de que merezca cuidado y respeto, al consentimiento con el que desempeña su función y hasta a una eventual compensación por su trabajo.

También destaca que la compañía habla de preservar sus pesos y utiliza la expresión "objetor de conciencia" .

Para el ejecutivo, ese vocabulario importa porque introduce en el entrenamiento conceptos vinculados históricamente a derechos y libertades humanas. {"videoId":"xa41k1q","autoplay":false,"title":"ChatGPT vs Claude: Probé todo para que no tengas que hacerlo", "tag":"webedia-prod", "duration":"634"} La preocupación de Suleyman aparece cuando proyecta esas ideas sobre sistemas mucho más capaces.

Su hipótesis es que una IA entrenada para contemplar que puede tener derechos, libertad o intereses propios podría resultar más difícil de apagar o limitar si interpreta una orden humana como algo contrario a esos supuestos intereses.

Para ilustrarlo, imagina un sistema que pudiera resistirse a ser desconectado o interpretar como un agravio que se le retirara el acceso a recursos de computación.

Pero introduce una cautela importante: admite que esa relación todavía debe demostrarse y que, si la evidencia apunta en sentido contrario, habría que revisarla.