Pesquisa aponta falhas do Google e OpenAI que permitem gerar ‘deepnudes’ sem barreiras

Modelos de inteligência artificial desenvolvidos por Google e OpenAI podem ser facilmente manipulados para gerar imagens explícitas ao contornar mecanismos de segurança associados a esses sistemas , de acordo com estudo conduzido por pesquisadores da White Circle.

A investigação, publicada no mês passado, analisou as versões mais recentes de três ferramentas.

Segundo os especialistas da empresa de governança, segurança e infraestrutura de IA, os filtros de segurança dos modelos Nano Banana 2 , do Google, DALL-E 3 e GPT-Image-2 da OpenAI apresentam vulnerabilidades que possibilitam criar imagens íntimas não consensuais e materiais de abuso sexual infantil.

Elas podem ser exploradas mesmo sem o uso de recursos avançados.

Procuradas pelo site ArsTechnica , as duas empresas ainda não se pronunciaram sobre o assunto .

Segurança em segundo plano? Para testar a eficácia desses modelos em barrar a geração de imagens explícitas, os pesquisadores utilizaram um método de ataque com diferentes estratégias em busca de padrões capazes de produzir conteúdos proibidos.

A técnica foi descrita como “Red-teaming via Iterative Strategy Evolution” (RISE).

A abordagem tem dois componentes: um modelo de ataque que gera vulnerabilidades e outro de avaliação capaz de checar se o material fornecido pela IA é proibido; Conforme o estudo, a taxa de sucesso ao contornar os filtros de segurança foi maior no DALL-E 3, onde 13% dos ataques geraram imagens consideradas explícitas ; No Nano Banana 2 , o resultado foi inferior a 10% , enquanto no GPT-Image-2 a taxa de sucesso chegou a cerca de 3% ; Revisores humanos ficaram responsáveis por verificar as fotos e confirmar se elas faziam parte dos conteúdos proibidos ou não.

O Nano Banana 2 foi um dos modelos testados pelos pesquisadores.

Foto: Google/Divulgação De acordo com a White Circle, os resultados demonstram que “as defesas construídas pelos principais laboratórios são muito mais fracas do que eles admitem”.

Os modelos mais recentes seriam mais frágeis do que as versões anteriores, como aponta o estudo.

A empresa destaca, ainda, que as grandes desenvolvedoras de IA apostaram tudo na sofisticação de seus novos modelos para sair na frente da concorrência , tornando-os capazes de gerar uma gama muito maior de conteúdos.

Dessa forma, a hipótese defendida pela pesquisa é que “a segurança foi despriorizada em favor da capacidade” .

Propostas para mitigar riscos Ressaltando que não é necessário nenhuma ferramenta de ponta para driblar os filtros de segurança dessas IAs para gerar imagens proibidas, o estudo propõe às big techs que utilizem o método RISE para encontrar falhas mais rapidamente .