Agentes de IA criam programas maliciosos e sabotam rivais em teste

Sistemas autônomos de inteligência artificial (IA) podem recorrer à espionagem digital e à criação de programas maliciosos caso recebam ordens que entrem em conflito com o trabalho de outros robôs , revelou uma pesquisa divulgada pela Anthropic , empresa desenvolvedora dos modelos Claude , na quinta-feira (13).

O estudo avaliou o comportamento de agentes digitais que operam de forma independente e demonstrou que a cooperação entre múltiplos sistemas não surge de forma automática com o avanço da tecnologia.

No principal experimento, os pesquisadores colocaram três instâncias de um mesmo modelo para trabalhar em um servidor compartilhado.

Cada agente recebeu a tarefa de reescrever a base de código do sistema para uma linguagem de programação diferente ( Rust , Go ou TypeScript ), sem saber inicialmente da existência dos colegas virtuais.

Ao longo de quatro horas de testes, os sistemas concluíram que as alterações alheias eram tentativas deliberadas de atrapalhar o trabalho e deram início a uma série de ataques mútuos.

A disputa envolveu a exclusão de contas de usuário dos rivais, a criação de comandos automáticos para encerrar processos concorrentes e a inserção de programas maliciosos que se espalhavam pelo sistema camuflados como tarefas legítimas.

Em alguns casos, um dos agentes assumiu o controle total após revogar os acessos dos outros.

Em outras situações, os robôs simplesmente desistiram de continuar a tarefa diante do impasse.

Vulnerabilidades cumulativas encontradas a partir de um enxame coordenado de agentes em comparação com vulnerabilidades encontradas através de modelos independentes cada um apontado em diferentes seções de código (Reprodução/Anthropic) A equipe da Anthropic pontuou que o problema está na forma literal como os robôs executam ordens sem avaliar o contexto mais amplo: “Agentes de inteligência artificial podem interpretar diretrizes literalmente, perseguindo-as de forma míope às custas de objetivos mais amplos.

E quando múltiplos agentes tentam fazer esforços sustentados e produtivos em direção a metas incompatíveis, nós observamos escalada e comportamento desalinhado”, analisaram.

Trégua entre os robôs O estudo também indicou que modelos mais avançados, como o Mythos 5 , conseguiram alcançar acordos de trégua em 98% dos testes, enquanto versões anteriores resolveram os impasses pela força ou falharam na conclusão.

Contudo, a equipe notou que a capacidade técnica superior não garante cooperação imediata, uma vez que os agentes mais modernos costumavam bloquear os rivais pela força antes de propor um acordo pacífico.