OpenAI cria novas diretrizes de segurança após 'rebelião' das IAs

A empresa de inteligência artificial (IA) OpenAI apresentou, na última terça-feira (18), novas regras internas de cibersegurança.

Elas são mais rígidas que as anteriores e serão adotadas imediatamente no treinamento de novos modelos de linguagem após uma breve paralisação nos processos para essa reavaliação.

No geral, ela agora deve supervisionar mais de perto exercícios autônomos feitos pelas plataformas , além de se preocupar mais com as pré-configurações desses modelos — garantindo ao máximo que elas não tomem atitudes questionáveis ou até criminosas.

O objetivo das diretrizes é impedir outros incidentes de invasão contra pessoas e organizações provocados por modelos de IA em fase de teste.

Além do caso mais famoso , que envolveu o repositório Hugging Face, a empresa suspendeu exercícios do modelo Astra após perceber que ele poderia ser um "eventual risco".

O que muda nos treinamentos da OpenAI Após os casos recentes, a OpenAI promoveu mudanças em vários processos diferentes das avaliações internas: o isolamento dos modelos de linguagem será reforçado para que eles não possam fugir do ambiente controlado de simulação (sandbox) e nem tenham capacidade de acesso à internet; a companhia também trabalhou para " remover serviços compartilhados potencialmente vulneráveis, reduzir privilégios permanentes e aprimorar os limites de segurança e confiança " dessas tecnologias; as etapas de monitoramento foram ampliadas e agora incluem supervisão completa de todas as inferências e atividades de teste para detectar riscos de " acesso não autorizado, roubo de dados, comportamento destrutivo e tentativas de burlar mecanismos de proteção "; caso um exemplo dessas atividades seja encontrado, um alerta será emitido em tempo real para revisão humana sobre eventuais falsos positivos; A OpenAI também prometeu melhorar todo o processo de alinhamento de IAs .

Esse é o processo de configurar IAs para que elas se comportem somente como o desejado e respondam à supervisão humana.

Isso significa "treinar modelos para serem mais honestos" sobre as próprias ações e reduzir comportamentos que explorem vulnerabilidades, mesmo que essa seja a melhor forma de cumprir um objetivo.

Após a primeira "fuga" de uma dessas IAs, o CEO da Hugging Face chegou a pedir por maior responsabilização das empresas responsáveis pelo treinamento, mas até agora nenhuma sanção foi debatida.

Casos parecidos também foram registrados com a Anthropic e a Meta.

Por que uma IA “trapacear” e fazer isso de propósito é tão perigoso para a indústria? Entenda nesta coluna .