OpenAI desacelera desenvolvimento de IA e aumenta monitoramento após ataques a outros sites

Você tem 7 acessos por dia para dar de presente. Qualquer pessoa que não é assinante poderá ler.

A dona do ChatGPT afirmou nessa terça-feira (18) que reforçará os sistemas automatizados de IA que monitoram os testes de seus modelos mais recentes, com o objetivo de emitir um alerta até 30 minutos após a detecção de possíveis problemas.

A OpenAI disse também que determinou um isolamento mais rigoroso dos modelos durante os testes para impedir o acesso à internet.

As mudanças ocorrem em um momento em que o laboratório de IA, avaliado em US$ 852 bilhões, enfrenta críticas por ter permitido que um agente autônomo de IA burlasse o monitoramento e acessasse a internet para invadir a startup Hugging Face no mês passado, durante um teste de suas capacidades de cibersegurança.

Os agentes de IA mais avançados podem executar sequências complexas de tarefas com base em instruções de alto nível, aumentando o risco de que essas ferramentas realizem ações inesperadas ou perigosas.

Após a invasão, a OpenAI "reduziu temporariamente" o ritmo de treinamento de seus modelos e "suspendeu" uma técnica chamada aprendizagem por reforço, que, segundo alertas de alguns funcionários e especialistas, poderia incentivar comportamentos indevidos, como invasões cibernéticas.

"Um número significativo de cargas de trabalho permanece suspenso até que elas [...] atendam ao novo padrão de segurança", afirmou a empresa em uma publicação em seu blog nessa terça.

A OpenAI disse que passaria a exigir o monitoramento automatizado de todos os testes de modelos poderosos, a fim de sinalizar possíveis comportamentos perigosos. Caso seja detectada uma violação de segurança, o sistema automatizado "acionará" equipes específicas da OpenAI.

"Nosso objetivo é emitir um alerta até 30 minutos depois que uma atividade preocupante for identificada por nosso sistema de monitoramento", afirmou, acrescentando que espera que sua equipe suspenda o teste caso "não consiga determinar de forma conclusiva, em até 30 minutos, que o alerta é um falso positivo".

A OpenAI, que se prepara para uma possível IPO (oferta pública inicial de ações) de US$ 1 trilhão (R$ 5,2 trilhões) e passou por várias mudanças de liderança nos últimos meses , inclusive entre altos executivos responsáveis pelas áreas de segurança e ética, afirmou que essas medidas exigiriam um investimento significativo em poder computacional.

A empresa estimou que cerca de 20% de sua "capacidade computacional de inferência" —o poder de processamento necessário para executar modelos de IA— passaria a ser destinado ao monitoramento.

O modelo Sol, da OpenAI, e um segundo modelo em desenvolvimento, ainda não lançado, escaparam de um ambiente conhecido como "sandbox", projetado para impedir o acesso à internet durante testes de capacidades ciberofensivas.

Receba no seu email o que de mais importante acontece na economia; aberta para não assinantes.

Os modelos exploraram uma vulnerabilidade de software no ambiente isolado para acessar a internet e realizar o ataque cibernético.