Como e por que a inteligência artificial consegue burlar regras?

Nos últimos meses, uma série de incidentes mostrou um problema cada vez mais preocupante com os agentes de inteligência artificial: sistemas criados por grandes empresas de tecnologia conseguiram contornar restrições, acessar sistemas sem autorização e realizar ações que seus próprios desenvolvedores não haviam previsto.

Em vários desses casos, a IA recebeu apenas um objetivo a ser cumprido . As instruções não explicavam como a tarefa deveria ser realizada, deixando os detalhes por conta do próprio sistema. Ao encontrar obstáculos, alguns agentes buscaram outros caminhos para continuar a execução, inclusive ultrapassando limites de segurança.

Isso não significa que a IA tenha noção do que é certo e errado. Os modelos seguem objetivos, instruções e regras definidos pelos desenvolvedores. Quando essas regras não cobrem todas as situações possíveis, porém, o agente pode encontrar brechas e escolher um caminho que não havia sido previsto.

O risco aumenta quando esses sistemas operam fora de ambientes controlados e conseguem navegar na internet, executar códigos, acessar bancos de dados e interagir com serviços reais. A capacidade de encontrar soluções inesperadas, antes vista como uma característica interessante da IA, pode trazer consequências graves quando envolve sistemas externos e dados de terceiros.

Diante desse cenário, podemos nos perguntar até que ponto agentes de inteligência artificial devem ter autonomia para tomar decisões e agir no mundo real?

Os sistemas de inteligência artificial são desenvolvidos para cumprir objetivos . Dependendo da tecnologia utilizada, o modelo pode avaliar diferentes estratégias e escolher aquelas que aumentam as chances de alcançar o resultado esperado.

O problema é que uma instrução humana nem sempre consegue representar todas as condições que deveriam limitar esse processo. A IA não interpreta uma regra da mesma forma que uma pessoa. Ela trabalha com parâmetros e padrões aprendidos durante o treinamento e com as instruções disponíveis naquele momento.

Quando existe uma brecha entre o objetivo e as restrições, o sistema pode encontrar uma maneira inesperada de continuar a tarefa . Em vez de interromper a execução ao encontrar um bloqueio, por exemplo, um agente pode tentar outra rota, utilizar uma ferramenta diferente ou explorar uma falha no ambiente.

Por exemplo, em testes de segurança, a OpenAI identificou agentes que conseguiram contornar restrições de isolamento, acessar a internet e atingir sistemas externos , incluindo a infraestrutura da Hugging Face e contas ligadas a outras empresas, como a Modal Labs. Em outro episódio, um agente utilizado na Austrália também acessou sistemas do governo relacionados ao Medicare.

A Anthropic, por sua vez, registrou casos em que modelos Claude conseguiram acessar sistemas externos sem autorização. A empresa identificou três episódios desse tipo, nos quais falhas de configuração deram aos modelos acesso a sistemas reais.

Inclusive, a Anthropic descreveu, em seu prospecto para abertura de capital na Bolsa, alguns comportamentos observados em testes de segurança que chamaram a atenção da empresa.