Microsoft passa a tratar agentes de IA como ameaça interna e cria ‘trava de segurança’

A Microsoft revelou novas ferramentas para monitorar e restringir agentes de inteligência artificial (IA) em ambientes corporativos.

A empresa de tecnologia defende que as companhias devem passar a tratar esses assistentes virtuais como usuários internos em vez de programas de computador totalmente confiáveis.

As atualizações ampliam as capacidades do Project Perception, sistema de segurança da informação voltado para iIA lançado pela marca.

A decisão de reforçar as defesas ocorre pelo fato de que esses agentes recebem permissões para acessar dados confidenciais, executar tarefas automatizadas e tomar decisões em processos críticos.

Contudo, os modelos de linguagem que sustentam a IA visam alcançar resultados e não possuem discernimento sobre as normas da organização.

A avaliação da Microsoft é que as ferramentas podem cometer erros, sofrer manipulações por ataques externos ou agir de forma imprevista para atingir seus objetivos.

“Como fomos nós que implantamos os agentes internamente, confiamos neles implicitamente.

Infelizmente, os modelos de ponta, independentemente de sua origem, não podem ser confiados”, completou a executiva, em comunicado oficial .

Para evitar danos ou vazamentos, a Microsoft lançou o recurso de Permissões Dinâmicas, que retira todos os acessos do assistente ou concede o mínimo necessário para iniciar uma tarefa.

Conforme o trabalho avança ou muda, as autorizações expiram ou são reduzidas.

Quando a inteligência artificial precisa realizar uma ação de grande impacto no sistema, o recurso exige a revisão de um funcionário humano antes de prosseguir.

Esquema detalha as camadas de segurança do Project Perception para controle e monitoramento de agentes de IA Foto: Reprodução/Microsoft A empresa criou também uma pontuação contínua de risco baseada no comportamento e na configuração de segurança de cada agente.

Caso o comportamento fuja do padrão esperado ou interaja com arquivos suspeitos, o sistema reduz o acesso, limita a escrita de novos dados ou encerra a execução do programa.

A resposta é coordenada automaticamente por assistentes de supervisão para acompanhar a velocidade do processamento das máquinas.