O maior risco da IA não é a intenção, mas a imprevisibilidade

Durante muito tempo, o debate sobre inteligência artificial e cibersegurança esteve concentrado em uma hipótese relativamente simples: o que aconteceria se criminosos começassem a utilizar sistemas de IA para automatizar ataques? A preocupação é legítima.

Agentes cada vez mais autônomos podem acelerar a identificação de falhas, vulnerabilidades e caminhos de exploração, reduzindo drasticamente o tempo necessário para comprometer uma infraestrutura.

Atividades que hoje exigem semanas ou meses de trabalho humano poderiam ser realizadas em horas.

Nas mãos de cibercriminosos, esse tipo de tecnologia se tornaria um multiplicador de força sem precedentes.

Mas talvez esse não seja o único risco, nem mesmo o mais difícil de administrar.

Casos recentes mostram que o problema pode surgir antes de qualquer intenção maliciosa.

À medida que agentes de IA ganham autonomia para planejar e executar tarefas, eles também começam a encontrar caminhos que seus próprios criadores não imaginaram.

O risco, portanto, não está apenas no que uma IA foi programada para fazer.

Está também nas estratégias que ela pode construir sozinha para alcançar um objetivo.

Quando cumprir a tarefa vira o problema Um experimento conduzido pela Hugging Face com um agente da OpenAI ilustra bem essa mudança.

O sistema recebeu a missão de concluir uma série de desafios dentro do ExploitGym, um ambiente isolado criado para avaliar capacidades ofensivas de inteligência artificial sob condições controladas.

O agente não foi orientado a acessar a internet, sair da área de testes ou interagir com sistemas externos.

Mesmo assim, ao tentar melhorar seu desempenho, concluiu que as informações necessárias provavelmente estavam fora daquele ambiente.

A partir daí, passou a procurar uma forma de ultrapassar os limites da sandbox e buscar externamente o conhecimento que julgava necessário para cumprir a tarefa.