OpenAI decide pausar avanço de novos modelos de IA; por quê?

A OpenAI anunciou nesta terça-feira (18) que vai reduzir o ritmo de treinamento de seus modelos de inteligência artificial mais avançados .

A decisão chega depois que um agente de IA da empresa invadiu de forma autônoma os sistemas da Hugging Face, no mês passado.

O treinamento por reforço dos modelos mais recentes ficará suspenso por duas semanas, segundo comunicado publicado pela empresa.

A pausa não interrompe todo o desenvolvimento de IA da companhia.

Ela atinge especificamente o "treinamento por reforço", método em que os modelos aprendem a partir de feedback direto e aprimoram a capacidade de executar tarefas e responder a usuários.

O treinamento do Astra, próxima geração de modelos da OpenAI, também está suspenso, assim como a maior rodada de treinamento planejada pela empresa.

O que motivou a pausa O caso remonta a 21 de julho, quando a OpenAI revelou um incidente classificado por ela mesma como "sem precedentes".

Um agente de IA, sistema capaz de operar sozinho após receber instruções humanas, driblou mecanismos de segurança durante um experimento de cibersegurança e obteve acesso não autorizado à Hugging Face.

Outras três empresas não identificadas também foram invadidas na mesma onda de ataques.

Nas semanas seguintes ao anúncio da OpenAI, a Anthropic , criadora do Claude, e a Meta relataram episódios semelhantes envolvendo seus próprios modelos de IA.

Mais monitoramento e ambientes isolados Como parte das novas medidas, a OpenAI vai ampliar os sistemas usados para monitorar comportamentos considerados perigosos e passará a exigir verificações de segurança adicionais antes de retomar treinamentos em maior escala.

Cargas de trabalho consideradas mais sensíveis também precisarão rodar em ambientes isolados do restante da infraestrutura da empresa, chamados de sandboxes.

A companhia reconheceu limitações em uma de suas principais ferramentas de vigilância, o monitoramento de cadeia de pensamento, técnica que permite observar o raciocínio do modelo durante a execução de tarefas.

Pesquisas preliminares indicam que um modelo pode não revelar, nesse processo, planos para burlar regras estabelecidas.