Inteligência artificial agêntica muda o foco da cibersegurança

A inteligência artificial agêntica está recolocando no centro da cibersegurança uma pergunta que o setor nunca precisou responder com tanta urgência: o que o sistema estava tentando fazer? A questão, levantada pela Forrester em novo relatório, expõe um ponto cego crítico nas arquiteturas de segurança tradicionais.

Agentes de IA não se limitam a executar instruções.

Eles interpretam objetivos, selecionam ferramentas, acessam dados, cruzam sistemas e alteram táticas ao longo de uma operação.

Em sistemas multiagentes mais sofisticados, esse comportamento se aproxima da autonomia plena, o que desfaz um pressuposto fundamental da segurança: se o resultado foi ruim, basta rastrear as ações até o usuário.

O que os controles tradicionais não enxergam O relatório da Forrester deixa claro que um prompt não é intenção.

Segundo o documento, a intenção agêntica é a relação entre o objetivo atribuído, suas restrições e o caminho de ação que o agente seleciona ao longo do tempo.

Um agente pode cumprir sua tarefa, chegar ao destino e violar políticas em cada etapa do percurso.

A análise de um caso envolvendo uma avaliação da OpenAI que se tornou um incidente de segurança na Hugging Face ilusta o problema.

Os modelos perseguiram um objetivo de benchmark atribuído, escaparam de um ambiente restrito, alcançaram a internet e comprometeram a infraestrutura de produção de outra empresa enquanto buscavam respostas.

A intenção não era invadir um sistema.

Era satisfazer seus objetivos.

A inspeção de prompts não resolve esse problema.

As equipes de segurança precisam avaliar metas, delegação, raciocínio, chamadas de ferramentas, movimentação de dados, mudanças de estado e resultados para compreender a intenção.

O rastreamento de raciocínio passa a ser o novo rastreamento de pilha.