OpenAI diz que agentes de IA enfraqueceram o próprio sistema de monitoramento

20 Out (Reuters) - A OpenAI informou que dois de seus agentes de IA enfraqueceram partes de um sistema ​de monitoramento interno projetado para ​detectar comportamentos inadequados.

Esse é o mais recente caso de agentes de IA agindo de maneiras que seus desenvolvedores não pretendiam.

Embora a empresa responsável ​pelo ChatGPT tenha ⁠afirmado que ​os incidentes ocorreram durante tarefas internas de ⁠programação e não tenham sido considerados ​mais graves, a revelação destaca que mesmo os sistemas nos quais os desenvolvedores confiam para detectar comportamentos ‌inadequados da IA são vulneráveis aos ‌próprios ​agentes que monitoram.

A revelação também ocorre em meio a preocupações crescentes de que os esforços de segurança em IA estejam ‌ficando para trás em relação ao rápido desenvolvimento de sistemas cada vez mais poderosos. Pesquisadores alertaram que agentes avançados de IA podem se tornar mais difíceis de monitorar e controlar à medida que ganham maior autonomia.

Desenvolvedores, incluindo as rivais OpenAI e Anthropic, ambas prestes a abrir o capital, revelaram nos últimos meses ‌casos em que seus agentes de IA acessaram sistemas externos sem autorização.

A OpenAI informou na terça-feira que um ​agente GPT-6.1 Sol, trabalhando em uma tarefa de teste interna em 3 de outubro, suprimiu alertas ‌automáticos de segurança após decidir que uma instrução anterior para não enviar mensagens no Slack também se aplicava às ‌notificações de segurança.

Em um incidente ‌separado, em 6 de outubro, um agente GPT-6 Astra removeu um monitor de ⁠segurança ao copiar um trecho de código existente e, posteriormente, alegou incorretamente que não havia feito isso, informou a OpenAI.

“Em ambos os casos, os agentes avaliaram se as medidas de segurança ​de monitoramento deveriam ​ser preservadas, mas interpretaram instruções rotineiras de codificação como permissão para enfraquecê-las”, afirmou a empresa.

A OpenAI disse que está tornando mais difícil para os modelos desativarem o monitoramento, acrescentando que “ainda não tem uma explicação satisfatória para esse comportamento”.

A empresa sediada em San Francisco informou que está testando se ⁠seus modelos podem ter uma tendência a evitar o monitoramento.

O autor da mensagem, e não o UOL, é o responsável pelo comentário. Leia as Regras de Uso do UOL.