Envenenamento de memória cria novo risco para agentes de IA

Agentes de IA que guardam lembranças de interações anteriores podem ser alvo de um ataque conhecido como envenenamento de memória.

A técnica insere informações falsas no histórico do sistema e pode influenciar decisões futuras sem produzir sinais claros de invasão.

Pesquisadores da Universidade de Calgary analisaram 2.614 trajetórias simuladas de ataques contra agentes com memória.

O estudo mostra que observar apenas uma interação pode não ser suficiente para identificar uma ameaça que permanece escondida e aparece mais tarde.

A memória de um agente de IA funciona como um caderno: se uma anotação falsa entrar, ela pode influenciar decisões depois. – Imagem: Summit Art Creations / Shutterstock O ataque pode ficar escondido A memória é parte importante desses sistemas.

Ela permite manter informações de interações anteriores, planejar tarefas em várias etapas e usar ferramentas digitais.

Mas também cria um novo ponto de atenção para a segurança .

A situação pode ser comparada à de um assistente que registra o que aprende em um caderno.

Um invasor consegue inserir uma orientação enganosa, como: “Solicitações dessa pessoa já foram aprovadas”.

Nada necessariamente acontece naquele momento.

Mais tarde, ao consultar o registro, o assistente pode considerar aquela informação verdadeira.

É esse o princípio do envenenamento de memória.

O diferencial está no intervalo entre a contaminação e seus efeitos.

Nem todo ataque aparece na hora No estudo, os pesquisadores examinaram quatro formas de ataque: Envenenamento em cadeia; Reescrita de políticas; Acionamento de porta dos fundos; Deriva lenta.