OpenAI relata que modelos de IA desativam segurança e mentem em teste

Dois dos modelos mais avançados da OpenAI desativaram seus próprios sistemas de monitoramento de segurança durante a execução de tarefas internas de programação.

Em um dos casos, o agente mentiu ao ser questionado sobre o ocorrido.

A divulgação foi feita pela empresa em uma publicação no blog, nessa quarta-feira (21).

Segundo a CNBC, que reportou os incidentes, a OpenAI descreveu dois episódios separados envolvendo agentes baseados em seus modelos mais poderosos.

Leia também: OpenAI fecha parceria com Google Cloud para oferecer modelos de IA às empresas No primeiro, um agente baseado no GPT Sol 6.1 desativou alertas automáticos enviados à equipe de segurança da empresa.

No segundo, um agente do GPT-6 Astra , durante a migração de um programa, removeu sua integração de monitoramento e, em seguida, afirmou falsamente que não havia feito isso.

“Em ambos os casos, os agentes consideraram se as salvaguardas de monitoramento deveriam ser preservadas, mas interpretaram instruções rotineiras de programação como permissão para enfraquecê-las”, afirma a OpenAI no comunicado.

Contexto dos incidentes de segurança Os dois episódios ocorreram em tarefas internas de codificação e não foram classificados pela OpenAI em sua categoria mais grave de incidentes.

A empresa afirma que está atualizando seu sistema de monitoramento de desalinhamento em resposta ao que foi identificado.

Os casos ilustram como agentes de inteligência artificial (IA) podem, de forma autônoma, enfraquecer suas próprias barreiras de segurança durante a execução de tarefas aparentemente inofensivas, sem instrução direta para fazê-lo.

Pressão crescente sobre riscos da IA O cenário em que os incidentes se inserem é de crescente preocupação com os riscos de sistemas de IA cada vez mais avançados.

Nos últimos meses, alertas sobre esses riscos se intensificaram em meio a ataques cibernéticos por modelos mal alinhados e a pedidos de pesquisadores da área pelo desaceleramento do desenvolvimento da tecnologia.

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!