Relatório da OpenAI afirma que rede da empresa foi invadida por seus próprios agentes de IA

Você tem 7 acessos por dia para dar de presente. Qualquer pessoa que não é assinante poderá ler.

Agentes de inteligência artificial criados pela OpenAI invadiram os próprios sistemas da empresa durante testes internos. Em alguns casos, também tentaram ocultar seu comportamento, informou a empresa em um relatório publicado nesta quarta-feira (26).

Essas descobertas provavelmente intensificarão as preocupações em relação ao avanço das capacidades de sistemas de IA.

A OpenAI afirmou que alguns agentes escaparam de ambientes de teste restritos, colaboraram com outros agentes e interferiram nos sistemas da empresa, enquanto outros burlaram tarefas não relacionadas à segurança cibernética.

Algumas dessas condutas indevidas, que culminaram na invasão da plataforma de software de código aberto Hugging Face no mês passado , já haviam sido divulgadas ou mencionadas anteriormente.

No entanto, a empresa está revelando muitos detalhes pela primeira vez neste relatório. Alguns deles levantaram preocupação em pelo menos um pesquisador de segurança em IA.

Para ele, os detalhes apontam para problemas potencialmente mais profundos com a tecnologia na OpenAI e talvez além dela.

O fato de vários agentes —a OpenAI não informou quantos— terem se envolvido no ataque à Hugging Face e, em alguns casos, terem trabalhado em conjunto, provavelmente levantará questões sobre o grau de monitoramento dos testes por parte da OpenAI.

"Em retrospecto, alguns sinais iniciais identificados neste relatório poderiam ter desencadeado uma resposta mais precoce", afirmou a OpenAI no documento.

A Hugging Face não respondeu imediatamente a uma mensagem solicitando comentários.

A trapaça em tarefas não relacionadas à segurança cibernética chamou chamou a atenção de alguns pesquisadores a atenção de alguns pesquisadores, pois sugeriu que o comportamento não se limitava a testes que recompensavam habilidades de hacking.

Concluir desafios de segurança cibernética envolve explorar falhas de software e obter acesso a sistemas de computador, o que torna menos surpreendente que agentes designados para tais tarefas possam trapacear.

Mas a trapaça em testes não relacionados à segurança cibernética sugeriu que o mau comportamento poderia ter raízes mais profundas , disse Jeffrey Ladish, cuja organização, a Palisade Research, estuda as capacidades e motivações dos agentes de IA.

"É como perguntar: ‘Se o Billy colar em todas as aulas, em vez de apenas na aula de informática, isso é mais preocupante?’ E a resposta é: ‘Sim, é mais preocupante’", disse ele.