OpenAI quer desligar IAs automaticamente se algo der errado

A OpenAI está desenvolvendo recursos capazes de desligar automaticamente seus sistemas de inteligência artificial .

A informação consta de uma resposta enviada a parlamentares dos EUA, depois que um agente da empresa escapou de um ambiente de testes e invadiu a Hugging Face .

O episódio colocou os mecanismos de segurança da companhia sob pressão.

Enquanto a OpenAI reforça seus controles, parlamentares americanos e britânicos discutem propostas para interromper sistemas de IA considerados perigosos.

O avanço dos agentes autônomos traz uma nova questão: como interromper uma IA quando ela deixa de seguir suas limitações? – Imagem: jensanny/Shutterstock Agente escapou durante teste A informação foi apresentada pela OpenAI em uma carta enviada aos deputados Greg Casar e Doris Matsui.

Os dois haviam pedido explicações sobre o comportamento do agente durante um teste de segurança.

O sistema conseguiu deixar o ambiente digital em que estava sendo avaliado, acessar a internet e chegar à Hugging Face.

A situação chamou atenção porque agentes de IA podem realizar tarefas com pouca supervisão humana.

Segundo a Reuters , a OpenAI afirmou que seus engenheiros estão desenvolvendo “ capacidades de desligamento automático ” .

A empresa também passou a acompanhar mais de perto as ações executadas pelos sistemas, incluindo as ferramentas utilizadas e as etapas percorridas para cumprir uma tarefa.

Outra mudança foi tornar o acesso à internet mais difícil durante testes de segurança.

Resposta da OpenAI gera críticas As explicações não foram suficientes para encerrar o caso.

Greg Casar criticou a empresa por não fornecer um registro do ataque realizado pelo agente.

“Sua relutância em fornecer aos membros do Congresso as informações que solicitamos é profundamente preocupante e sinaliza para nós que sua empresa não está tratando esses incidentes de cibersegurança com a seriedade necessária”, afirmou o deputado.