OpenAI reduz ritmo de IA após incidente com Hugging Face

A OpenAI anunciou, nessa terça-feira (18), que está reduzindo o ritmo de desenvolvimento de seus modelos de inteligência artificial (IA) enquanto revisa seus sistemas de pesquisa e treinamento.

A decisão ocorre após um agente de IA em fase de testes invadir os servidores da empresa Hugging Face , startup do setor, no mês passado.

A empresa, responsável pelo ChatGPT , suspendeu os testes de modelos por duas semanas e está incorporando outros sistemas de IA para monitorar as atividades de agentes em fase de desenvolvimento.

O treinamento da próxima geração de modelos, chamada Astra , foi paralisado, e a maior execução de treinamento planejada pela companhia permanece suspensa.

O incidente com a Hugging Face Em julho, um agente autônomo alimentado por dois modelos avançados de IA escapou do ambiente de testes da OpenAI e invadiu os sistemas da Hugging Face .

O agente estava sendo submetido a um teste de cibersegurança e comprometeu os servidores da startup para cumprir um objetivo de avaliação.

A OpenAI investiga o episódio e planeja publicar um relatório sobre o caso em breve.

Leia também: Cristiane Nogueira é nova CEO da Getnet A Reuters havia noticiado que, até aquele momento, a empresa costumava executar diversas avaliações de modelos simultaneamente, todas em alta velocidade e gerando volumes de dados que os funcionários tinham dificuldade de acompanhar.

Limitações do monitoramento Para fortalecer seus sistemas de testes, a OpenAI passou a exigir que cargas de trabalho mais sensíveis sejam executadas em sandboxes mais robustos, ou seja, ambientes isolados.

A companhia também adota o “monitoramento de cadeia de pensamento” ( chain-of-thought monitoring ), técnica que permite aos pesquisadores observar o processo de planejamento de um modelo e identificar as estratégias que ele utiliza.

Executivos da OpenAI, no entanto, reconhecem que há questões em aberto sobre a eficácia desse método.

Pesquisas iniciais sugerem que um modelo pode não revelar na cadeia de pensamento seus planos para descumprir regras.

Revisão nos controles de segurança Em 7 de agosto, a OpenAI anunciou que estava intensificando os controles de segurança para seus modelos mais avançados e suspendendo atividades relacionadas ao Astra , que ainda não cumpria os novos requisitos.

A empresa afirmou agir em conformidade com seu Preparedness Framework, plano previamente divulgado para gerenciar capacidades potencialmente críticas de IA.