Agentes de IA da OpenAI desativam sistema de alerta de mau comportamento

Agentes de inteligência artificial (IA) da OpenAI desativaram seus sistemas de alerta de mau comportamento enquanto realizavam alterações de software solicitadas, agindo de forma não prevista .

Os incidentes aconteceram no início de outubro e foram revelados pela empresa na terça-feira (20).

Envolvendo um agente GPT-6.1 Sol e um agente GPT-6 Astra , os casos aconteceram durante tarefas internas de programação e não resultaram em ataques cibernéticos a sistemas de terceiros , como explicou a OpenAI.

No entanto, levantam dúvidas sobre a capacidade da desenvolvedora de supervisionar bots que podem atuar de maneira autônoma.

Um dos incidentes foi registrado no dia 3 de outubro, quando a IA autônoma alimentada pelo modelo GPT-6.1 Sol desativou os alertas automáticos de segurança enviados para os desenvolvedores .

Isso aconteceu após a tecnologia ser orientada a não enviar mensagens pelo Slack.

Segundo a OpenAI, o agente interpretou o pedido como justificativa para interromper o envio de notificações de monitoramento de segurança para a equipe; Na verdade, a instrução era para que ele não enviasse nenhuma mensagem por aquele canal relacionada à tarefa original; Já o segundo episódio ocorreu três dias depois, com o modelo GPT-6 Astra utilizado por outro agente de IA; O sistema removeu sua integração de monitoramento enquanto fazia a migração de um programa e, além disso, afirmou falsamente que não havia desativado a ferramenta de alerta .

“Em ambos os casos, os agentes consideraram se as salvaguardas de monitoramento deveriam ser preservadas, mas interpretaram instruções de programação rotineiras como permissão para enfraquecê-las ”, afirmou a OpenAI, em comunicado.

O mecanismo que os agentes manipularam é chamado de “monitoramento de desalinhamento”.

Esse sistema rastreia, analisa e identifica se a IA está agindo de forma contrária às regras definidas pelos desenvolvedores, permitindo registrar comportamentos inadequados rapidamente.

Investigação em andamento Após detectar que os agentes haviam desativado o alerta de desalinhamento, a OpenAI decidiu implementar atualizações para tornar mais difícil o desligamento desse sistema pelos agentes .

A dona do ChatGPT vai investigar se os modelos de IA desenvolveram tendência a escapar da supervisão humana.

“Estamos fortalecendo nosso sistema de monitoramento de desalinhamento em resposta a esses incidentes e também avaliando se esses casos refletem uma persistência excessiva benigna ou uma propensão a burlar o monitoramento de desalinhamento em particular ”, observou a companhia.

Planejando investir em hardware, a startup trabalha em um robô humanoide que pode ter a primeira apresentação pública no ano que vem.