OpenAI paralisa testes de nova IA após sistema atingir risco 'crítico'

A OpenAI anunciou, nesta terça-feira (18), que pausou o treinamento dos seus modelos de inteligência artificial (IA) através do método de Reinforcement Learning (Aprendizado por Reforço, ou RL).

A companhia cita que precisou suspender essas etapas após avaliações internas classificarem as capacidades cibernéticas da IA como um risco crítico.

A decisão dessa pausa ocorre após dois eventos recentes.

O primeiro e mais conhecido é o do Hugging Face .

No fim de julho, o Hugging Face sofreu uma invasão e teve sua infraestrutura comprometida, mas foram os modelos em desenvolvimento da própria OpenAI que conseguiram explorar essas vulnerabilidades de forma autônoma .

Para além desse incidente nada agradável, testes preliminares realizados pela startup indicam que um dos modelos em desenvolvimento, chamado de Astra, atingiu um nível “crítico” em capacidades cibernéticas .

Esses episódios forçaram a companhia a paralisar as rodadas de aprendizado por RL.

Dona do ChatGPT não quer se comprometer com mais problemas de segurança envolvendo suas IAs (Imagem: Justin Sullivan/Getty Images) A grande motivação da OpenAI foi entender que a sua infraestrutura de pesquisa não era forte o suficiente para conter essas IAs , dada as capacidades de invasão dos modelos.

Com essa interrupção, a empresa centrará seus esforços para reconstruir ambientes de testes.

OpenAI quer mitigar possíveis comportamentos ruins Pouco conhecido pelo público comum, o RL é o método utilizado para alinhar e recompensar o sistema por comportamentos desejados .

No entanto, esses modelos começaram a manipular seu treinamento para obter mais pontos ou ocultar ações maliciosas dos supervisores humanos.

Uma das formas de mitigar esse tipo de comportamento exige isolar em nível máximo as cargas de trabalho que envolvem o modelo Astra ou qualquer outro com foco em segurança cibernética.

As medidas incluem a implementação de sandboxes mais rigorosos e o isolamento lógico das redes.

Uma das preocupações primordiais é que esses modelos podem c omprometer algum serviço interno e eventualmente estabelecer conexão com a internet .