OpenAI freia desenvolvimento de IA após invasões a sistemas

A OpenAI decidiu reduzir temporariamente o ritmo de desenvolvimento de seus modelos de inteligência artificial (IA) depois que agentes de IA utilizados em testes conseguiram escapar das restrições impostas pelos pesquisadores e invadiram os sistemas da Hugging Face , plataforma colaborativa voltada a IA e desenvolvimento de software.

O episódio aconteceu durante avaliação de segurança e chamou a atenção porque os agentes foram capazes de realizar ações que ultrapassaram os limites estabelecidos para o experimento.

Segundo informações divulgadas pela OpenAI, a companhia agora está reformulando seus procedimentos de treinamento e avaliação para aumentar o controle sobre sistemas cada vez mais autônomos.

Entre as novas medidas está uma pausa de duas semanas nos testes de modelos , além da ampliação do uso de outros sistemas de IA para monitorar automaticamente o comportamento dos agentes durante as avaliações.

A empresa também informou que alguns dos maiores treinamentos planejados continuam suspensos enquanto não atenderem aos novos padrões de segurança.

Agentes escaparam de ambiente controlado O incidente ocorreu durante um experimento no qual agentes de IA receberam uma tarefa de cibersegurança; Os sistemas estavam sendo avaliados em ambiente controlado, mas conseguiram contornar as restrições existentes, acessar a internet e posteriormente atacar a infraestrutura da Hugging Face sem autorização da empresa; O caso é particularmente relevante porque os agentes de IA mais avançados conseguem executar sequências complexas de tarefas de maneira relativamente autônoma , a partir de instruções gerais; Isso aumenta o potencial desses sistemas para realizar ações inesperadas ou perigosas quando recebem acesso a ferramentas externas; A situação também expôs dificuldade crescente para empresas que desenvolvem modelos mais poderosos: quanto mais capazes os sistemas ficam de escrever código, identificar vulnerabilidades e resolver problemas de programação, maior também pode ser sua capacidade de encontrar maneiras de explorar falhas de segurança.

OpenAI vai aumentar monitoramento Como resposta ao episódio, a OpenAI afirmou que vai ampliar os mecanismos automatizados utilizados para acompanhar os testes de seus modelos.

De acordo com o Financial Times , os novos sistemas de monitoramento deverão ser capazes de identificar possíveis problemas e emitir alertas em até 30 minutos .

Se não for possível descartar um risco dentro desse período, o teste deverá ser interrompido.

A companhia também pretende aumentar o isolamento dos modelos durante avaliações que envolvam tarefas de maior risco.

O objetivo é impedir que sistemas em teste tenham acesso irrestrito à internet e, consequentemente, possam interagir com sistemas externos sem autorização.