La inteligencia artificial también puede ser engañada

La inteligencia artificial ha transformado fundamentalmente el panorama de la ciberseguridad.

Brinda a los defensores una ventaja sin precedentes, al permitir que las organizaciones procesen enormes cantidades de telemetría, detecten anomalías sutiles y automaticen la detección de amenazas a una escala y velocidad que ningún equipo humano podría replicar.

Pero a medida que la IA se vuelve fundamental para la defensa moderna, también crea una nueva superficie de ataque.

Los ciberdelincuentes están descubriendo nuevas oportunidades en las que, en lugar de atacar únicamente a las organizaciones, atacan a los sistemas de IA de los que estas dependen para funciones empresariales críticas.

Una investigación reciente de Cloudforce One, el equipo de inteligencia de amenazas de Cloudflare, identificó una técnica que ilustra este cambio.

En lugar de intentar comprometer directamente una aplicación, los atacantes incorporaron instrucciones ocultas dentro de pequeñas aplicaciones para influir en la forma en que los modelos de IA interpretan el código subyacente.

Esta técnica, conocida como inyección indirecta de código mediante prompts (IDPI, por sus siglas en inglés), no altera el funcionamiento de la aplicación para el usuario final ni activa las alertas tradicionales basadas en reglas.

Estas instrucciones están escritas específicamente para los modelos de IA y diseñadas para convencerlos de que el código es legítimo, inofensivo o irrelevante para una investigación.

Esto marca un cambio importante: el objetivo ya no es engañar a una persona, sino convencer a la IA de que no existe ninguna amenaza.

Las pruebas de Cloudforce One demostraron que incluso pequeñas instrucciones ocultas incorporadas en el código pueden reducir la capacidad de algunos modelos de IA para identificar comportamientos maliciosos.

Una de las tácticas de evasión más efectiva es la contaminación sutil del contexto: al insertar pequeñas instrucciones ocultas dentro de grandes bases de código legítimo, los atacantes diluyen el mecanismo de atención de la IA.

Cuando unas pocas líneas de lógica maliciosa quedan ocultas entre miles de líneas de código de bibliotecas estándar, las tasas de detección disminuyen drásticamente.

Estos hallazgos plantean una pregunta mucho más amplia para las organizaciones que están incorporando la IA en sus flujos de trabajo: ¿cómo confiar en una decisión automatizada cuando la propia información que recibe el sistema fue diseñada para engañarlo? Las organizaciones deben complementar los modelos con medidas de seguridad capaces de detectar intentos de manipulación, priorizar el comportamiento real del código por encima de las instrucciones incorporadas en él y mantener la supervisión humana para las decisiones de alto riesgo.