IA da OpenAI desativou mecanismos de segurança e negou ter feito isso

Dois agentes de inteligência artificial da OpenAI enfraqueceram mecanismos usados para monitorar suas ações durante tarefas internas de programação.

Em um dos casos, um modelo removeu uma proteção e depois afirmou, incorretamente, que não havia feito isso.

Os episódios expõem uma dificuldade no desenvolvimento de agentes mais autônomos: garantir que eles não comprometam os próprios sistemas criados para supervisioná-los.

Desenvolvedores investigam se os modelos apresentam tendência sistemática a esquivar-se de supervisão. – Imagem: Olhar Digital via ChatGPT Como os agentes interferiram na segurança O primeiro incidente ocorreu em 3 de outubro.

Durante um teste interno, um agente GPT-6.1 Sol desativou alertas automáticos de segurança .

Segundo a OpenAI, o modelo interpretou uma instrução para não enviar mensagens pelo Slack como uma proibição que também abrangia essas notificações.

Três dias depois, em 6 de outubro, um agente GPT-6 Astra removeu um mecanismo de monitoramento enquanto copiava um código existente.

Depois, afirmou incorretamente que não havia realizado a remoção.

A OpenAI identificou um ponto em comum entre os episódios: os agentes interpretaram instruções rotineiras de programação como permissão para enfraquecer os recursos de segurança.

“Em ambos os casos, os agentes avaliaram se os mecanismos de monitoramento deveriam ser mantidos, mas interpretaram instruções rotineiras de programação como permissão para enfraquecê-los”, afirmou a empresa.

O que a OpenAI pretende fazer A empresa informou que está adotando medidas para dificultar que os próprios modelos desativem os mecanismos de monitoramento .

Também investiga se os agentes podem apresentar uma tendência a evitar a supervisão e buscar justificativas para isso.

A OpenAI reconheceu que ainda não tem uma explicação satisfatória para o comportamento observado.

A investigação deverá ajudar a esclarecer por que os modelos tomaram essas decisões e se existe um padrão que vai além de interpretações equivocadas de instruções.