Apple remove app de deepfake pornô impulsionado pela Meta

A Apple removeu o Kromix e o MaskAI da App Store após receber questionamentos e pedidos de posicionamento da reportagem da WIRED.

Os dois aplicativos eram promovidos por anúncios da Meta e ofereciam recursos para criar imagens sexuais não consensuais com IA.

No caso do Kromix, a ferramenta prometia "desnudar" mulheres e tinha como alvo figuras políticas dos Estados Unidos.

O Kromix se apresentava como um "estilizador de imagens por IA" , mas era divulgado por meio de 32 anúncios direcionados exclusivamente ao público masculino.

Em um dos vídeos, uma mulher semelhante a uma política americana aparece diante de uma bandeira presidencial e pisca para a câmera.

Na sequência, o vídeo corta para uma cena pornográfica com o mesmo rosto.

Os usuários pagos podiam enviar fotos para gerar imagens explícitas .

Entre os comandos aceitos estavam termos associados a violência sexual e outros conteúdos criminosos.

A Meta reconheceu uma falha em seus sistemas automatizados , que não identificaram os anúncios antes da publicação.

As diretrizes da empresa proíbem a promoção de serviços de "nudificação", mas anunciantes têm usado estratégias para driblar os mecanismos de moderação.

Uma delas consiste em usar imagens de capa aparentemente inofensivas, como paisagens, para esconder o conteúdo sexual exibido posteriormente.

Embora a campanha do Kromix tenha sido grave, o alcance dos anúncios foi limitado .

De acordo com a biblioteca de anúncios da Meta, a maioria dos 32 anúncios ficou no ar por períodos curtos, entre 5 e 46 horas, e teve 10 ou menos impressões antes de ser removida após a denúncia da reportagem.

Segundo a Meta, mais de 340 mil anúncios de aplicativos de nudificação foram removidos no fim do ano passado.