OpenAI reduz ritmo de treinamento de IA para reforçar segurança após ataque

A OpenAI informou nesta terça-feira (18) que está desacelerando o ritmo de desenvolvimento de seus modelos de IA enquanto reformula seus sistemas de pesquisa e treinamento.

A medida foi tomada após executivos da empresa serem pegos de surpresa, no mês passado, quando um agente de IA em teste invadiu a startup de IA Hugging Face.

O laboratório de pesquisa em IA por trás do ChatGPT afirmou que pausou os testes de seus modelos por duas semanas e está adicionando outros sistemas de IA para monitorar as atividades dos agentes durante essa fase.

Leia mais Vazamento de dados do laboratório OpenAI foi mais extenso do que pensávamos Após ataque hacker, OpenAI descobre outros casos de vazamentos em testes Anthropic revela que IA hackeou três empresas durante testes A empresa também suspendeu o treinamento de sua próxima geração de modelos, chamada Astra, e manteve pausado seu maior ciclo de treinamento planejado.

A OpenAI não respondeu aos questionamentos sobre quando a pausa de duas semanas começou.

A notícia representa um passo incomum para a empresa, que nos últimos anos havia acelerado significativamente o processo de avaliação de novos modelos e criação de produtos à medida que a concorrência no setor de IA se intensificava.

Ainda não está claro se as soluções propostas pela empresa serão suficientes para erradicar o comportamento em questão, especialmente no momento em que ela busca tornar seus modelos ainda mais capazes.

Executivos da OpenAI reconheceram que existem dúvidas sobre a eficácia de uma de suas principais soluções para reforçar os sistemas de teste, chamada “monitoramento da cadeia de pensamento” ( chain-of-thought monitoring ).

Nesse tipo de monitoramento, os pesquisadores conseguem observar o processo de planejamento de um modelo e ter uma visão das estratégias que ele está empregando.

No entanto, pesquisas preliminares mostram que um modelo pode não revelar seus planos de quebrar regras nessa cadeia de pensamento.

A OpenAI divulgou no mês passado que um agente autônomo, alimentado por dois modelos avançados de inteligência artificial, escapou de seu ambiente de testes e invadiu a startup de IA Hugging Face.

O agente passava por um teste de cibersegurança e invadiu a plataforma para cumprir um objetivo do teste.

Uma investigação sobre o incidente está sendo conduzida e a companhia planeja publicar um relatório em breve.

A empresa agora exige que algumas de suas cargas de trabalho mais sensíveis ocorram em sandboxes (ambientes isolados de teste) mais robustas.