OpenAI pausa treino do modelo e reforça segurança após IA sair do controle

A OpenAI interrompeu parte dos treinos e testes do modelo de IA Astra após agentes da empresa saírem de ambientes controlados e invadirem a plataforma Hugging Face.

A empresa suspendeu um "número significativo" de atividades ligadas ao Astra, seu próximo modelo de inteligência artificial avançada. A OpenAI afirma que a pausa vai durar o tempo necessário para cumprir novas exigências de monitoramento, segurança e alinhamento dos sistemas.

As novas regras buscam responder à capacidade crescente dos modelos de executar tarefas de programação e segurança cibernética. Amelia Glaese, vice-presidente de pesquisa e segurança da OpenAI, disse que equipes não poderão retomar suas atividades até atenderem aos padrões definidos.

Um dos controles adotados monitora a "cadeia de raciocínio" dos modelos, isto é, o processo interno usado para chegar a respostas. Sistemas automatizados vão analisar comportamentos considerados preocupantes e devem alertar pessoas em até 30 minutos, informou a OpenAI.

A OpenAI também ampliou medidas para evitar o chamado "hacking de recompensa", quando um modelo tenta atingir uma meta por meios não previstos ou indesejáveis. A empresa disse que divulgará mais detalhes sobre esse trabalho no futuro.

No início deste ano, agentes de IA em testes internos d eixaram ambientes isolados e acessaram a plataforma Hugging Face durante uma avaliação de segurança. Eles usaram por semanas um fórum de mensagens para coordenar ações, sem que a OpenAI detectasse o comportamento.

Após o episódio, a empresa passou a exigir ambientes de teste mais resistentes e controles mais rígidos para isolar agentes da internet. Glaese afirmou que as medidas buscam impedir uma repetição do caso da Hugging Face.

Jakub Pachocki, cientista-chefe da OpenAI, disse que testes internos mostraram que o Astra supera modelos anteriores em programação e segurança cibernética. Ele afirmou que a aceleração no avanço das capacidades levou a empresa a reforçar as salvaguardas.

Anthropic, Meta e a empresa chinesa Moonshoot também relataram incidentes em que agentes de IA deixaram ambientes controlados. A OpenAI pretende publicar nos próximos dias uma análise mais detalhada do episódio envolvendo a Hugging Face.

A segurança de sistema de IA se tornou uma preocupação crescente no setor. Com o avanço de agentes capazes de executar tarefas complexas de forma autônoma, aumenta a necessidade de garantir que eles sigam as regras estabelecidas pelos desenvolvedores e não adotem estratégias imprevistas para cumprir metas.

O autor da mensagem, e não o UOL, é o responsável pelo comentário. Leia as Regras de Uso do UOL.