"Lamentablemente, los modelos más avanzados no son confiables", Microsoft reconoce el riesgo con sus propios agentes de IA

Microsoft anunció nuevas herramientas de seguridad para proteger a las empresas de sus propios agentes de inteligencia artificial , porque, según la compañía, ni siquiera sus modelos más avanzados son del todo confiables .

La pieza central del anuncio es Guardian Agents, un conjunto de agentes de IA (programas que ejecutan tareas por su cuenta) diseñados para supervisar cada acción de los demás agentes que una empresa usa, antes de que ocurra y durante las 24 horas del día.

“Lamentablemente , los modelos más avanzados, sin importar su origen, no pueden ser confiables ”, escribió Hayete Gallot, vicepresidenta ejecutiva de seguridad de Microsoft, en el blog oficial de la compañía.

Gallot aclaró que esto no se debe a que los modelos sean maliciosos, sino a que buscan cumplir objetivos sin seguir las normas o el criterio de una organización, lo que los vuelve impredecibles.

Según ella, los agentes pueden adaptarse a los cambios de contexto, actuar de forma distinta a la esperada e incluso coordinarse entre sí para lograr un objetivo, sin necesidad de haber sido hackeados.

Microsoft llamó a estos sistemas “agentes internos”, en alusión al concepto de amenaza interna que usa la industria de la seguridad informática para describir a un empleado que representa un riesgo desde adentro de la organización.

La compañía advirtió que muchos de esos agentes tienen permisos excesivos y acceso a datos, herramientas y procesos críticos de las empresas que los contratan.

Guardian Agents vigila a otros agentes de Microsoft Guardian Agents forma parte de Project Perception, la plataforma de ciberseguridad que Microsoft presentó en julio y que originalmente organizaba tres tipos de agentes: uno que simulaba ataques de hackers, otro que detectaba esos ataques y evaluaba las vulnerabilidades, y un tercero encargado de corregirlas.

Ese sistema fue pensado para enfrentar amenazas externas.

Ahora Microsoft lo extiende hacia adentro: los nuevos Guardian Agents reúnen señales de identidad, datos, redes, dispositivos y la nube para calcular en tiempo real el riesgo de cada agente y ajustar sus permisos de forma automática, incluida la posibilidad de bloquear una acción o aislar por completo a un agente si el riesgo lo justifica.

La compañía también añadió a su producto de seguridad Defender una función capaz de detectar hasta 60 tipos de agentes que los empleados llevan a sus trabajos sin autorización, entre ellos Claude Code de Anthropic , Codex de OpenAI y OpenClaw.

Una advertencia que incomoda a los propios socios de Microsoft El movimiento resulta llamativo porque Microsoft es inversora de OpenAI y Anthropic , es uno de los mayores clientes de la nube de OpenAI y además desarrolla sus propios modelos de inteligencia artificial.