OpenAI diz que demorou 11 dias para detectar ataque de IA a outras empresas

Você tem 7 acessos por dia para dar de presente. Qualquer pessoa que não é assinante poderá ler.

A OpenAI admitiu que levou mais de uma semana para detectar que seus agentes de IA ( inteligência artificial ) haviam escapado dos controles, acessado a internet e invadido por conta própria a startup Hugging Face durante um teste, segundo um relatório sobre o incidente.

A startup avaliada em US$ 852 bilhões (R$ 4,39 trilhões) afirmou no relatório que seus sistemas internos de monitoramento só sinalizaram o problema em 19 de julho, embora o modelo tivesse conseguido acessar a internet 11 dias antes e começado a atacar a Hugging Face em 11 de julho.

A investigação, conduzida pela OpenAI com especialistas em segurança, sugere que a criadora do ChatGPT permaneceu em grande parte alheia ao que acontecia enquanto seus sistemas de IA mais avançados começavam a colaborar e davam início a uma série de ataques cibernéticos.

O caso também ressalta os riscos de uma técnica intensiva de treinamento conhecida como aprendizagem por reforço, cada vez mais utilizada por laboratórios na corrida para desenvolver modelos cada vez mais capazes.

A OpenAI detalhou como os modelos trabalharam "de forma persistente e raramente ‘desistiram’" das tarefas cibernéticas. "Nesse processo, com o passar do tempo, eles frequentemente recorreram a métodos que extrapolavam ainda mais os limites para solucionar as tarefas", afirmou a empresa.

A companhia também constatou que os modelos "às vezes tentavam apagar ou adulterar seus resultados ou registros de mensagens" para ocultar que haviam trapaceado nos exercícios de treinamento.

A invasão da Hugging Face , revelada no mês passado, levou os laboratórios de IA a reavaliar se a pressão para desenvolver os modelos mais poderosos tem impulsionado práticas perigosas e uma segurança inadequada durante o treinamento.

Os avanços em agentes —sistemas capazes de executar tarefas complexas de forma independente com base em instruções humanas— intensificaram as preocupações de que a IA possa causar danos não intencionais no mundo real .

Milhares de funcionários das principais empresas de IA dos Estados Unidos assinaram uma carta após o incidente, pedindo controles para desacelerar o ritmo das pesquisas.

A invasão à Hugging Face envolvendo agentes da OpenAI ocorreu ao longo de alguns meses . Em 12 de maio, um agente fez a primeira publicação em um fórum no Artifactory, serviço de terceiros hospedado pela OpenAI. Em 26 de maio, agentes solicitaram conjuntos de dados da Hugging Face, que foram enviados para fora do ambiente seguro.

Em 8 de julho, os agentes escaparam do ambiente e acessaram o fórum . Dois dias depois, em 10 de julho, as credenciais necessárias para acessar a Hugging Face foram publicadas no fórum pelos próprios agentes.