OpenAI cria sistema que detecta abuso de IA sem armazenar dados de usuários

A OpenAI anunciou nova tecnologia de proteção de dados voltada a clientes corporativos, que busca identificar possíveis usos abusivos de seus modelos de inteligência artificial (IA) sem armazenar as informações utilizadas pelos usuários.

Chamado de Private Safety Processing , o sistema está sendo apresentado inicialmente a um grupo selecionado de clientes.

A proposta é combinar mecanismos de segurança capazes de detectar possíveis abusos com uma política de retenção zero de dados , permitindo que a OpenAI monitore comportamentos suspeitos sem guardar as informações dos clientes.

A novidade surge em meio a um desafio cada vez maior para empresas de IA: conforme os modelos ficam mais poderosos, também aumentam os riscos de uso indevido.

Ao mesmo tempo, companhias que utilizam essas ferramentas precisam garantir que informações corporativas sensíveis permaneçam privadas.

A OpenAI pretende usar o novo sistema justamente para equilibrar essas duas necessidades.

Como funciona o Private Safety Processing O Private Safety Processing é um sistema automatizado desenvolvido para identificar possíveis abusos sem manter os dados dos clientes; A tecnologia amplia a abordagem de Zero Data Retention (ZDR) utilizada pela OpenAI.

Em vez de simplesmente não armazenar determinada conversa, o novo sistema consegue procurar sinais de comportamento abusivo distribuídos por diferentes interações; Dessa maneira, a OpenAI pode analisar padrões relacionados ao uso potencialmente indevido de seus modelos sem precisar manter as conversas dos clientes armazenadas para avaliação posterior; A proposta também significa que as interações não precisam ser submetidas à análise humana para que o sistema identifique possíveis problemas.

Disputa com a Anthropic fica acirrada – Imagem: PhotoGranary02/Shutterstock Disputa com a Anthropic O anúncio coloca a OpenAI em disputa direta com a Anthropic pela preferência de empresas preocupadas com a privacidade de seus dados.

A rival adotou recentemente uma política diferente.

Para determinados modelos, a Anthropic passou a permitir que os dados dos usuários — incluindo todas as sessões e as conversas nelas contidas — sejam mantidos por 30 dias .

A política se aplica aos chamados modelos “cobertos” , que incluem todos os modelos da classe Mythos e futuros modelos com capacidades semelhantes.

A decisão da Anthropic provocou preocupação entre alguns clientes, especialmente empresas que trabalham com informações sensíveis e precisam limitar o período durante o qual seus dados permanecem armazenados.

Nesse contexto, a OpenAI tenta apresentar o Private Safety Processing como uma alternativa que permita manter mecanismos de segurança sem exigir a retenção das informações dos clientes.