IA, sigilo e novas leis: como o Discord virou alvo no Brasil?

Ouvir 1× 0.5× 0.75× 1× 1.25× 1.5× 1.75× 2× (Toda semana, Diogo Cortiz e Helton Simões Gomes conversam sobre tecnologia no podcast Deu Tilt . O programa vai ao ar às terças-feiras no YouTube do UOL , no Spotify , no Deezer e no Apple Podcasts . Nesta semana: Supercomputadores de IA ; o caso Discord ; Pix contra golpes ; Unico x Serasa )

O Discord entrou na mira de autoridades brasileiras depois de uma investigação apontar que o suicídio de uma menina de 13 anos foi transmitido ao vivo na plataforma. No novo episódio de Deu Tilt , o podcast do UOL para os humanos por trás das máquinas, Diogo Cortiz e Helton Simões Gomes explicam por que o caso virou uma prova de fogo para novas leis e tecnologias de moderação.

O episódio escancarou dúvidas sobre a velocidade da empresa para detectar abuso em tempo real, a eficácia da moderação em ambientes fechados e o impacto de mudanças técnicas, como criptografia. Nesta terça (26), o governo federal decidiu processar o Discord e pedir R$ 500 milhões por danos morais coletivos após as negociações com a plataforma fracassarem.

O que aconteceu foi um evento fatal. A gente teve o suicídio de uma jovem de 13 anos que estava participando de uma live no Discord e isso chamou bastante atenção. Primeiro, a demora da plataforma em tirar a live do ar. Aí pipocaram várias denúncias de como o Discord muitas vezes pode falhar numa moderação. A ANPD não tirou o Discord do ar, mas pediu que o Discord desabilitasse uma das funções, as transmissões ao vivo. Diogo Cortiz

Helton Simões Gomes diz que o suicídio foi o estopim, mas não o começo do problema. Pairam denúncias sobre a plataforma ao menos desde 2023 e os sinais de moderação de conteúdo mais fraca começaram a surgir na Europa, segundo a ONG Safernet.

Para além da tragédia, o que faz o Discord entrar verdadeiramente na mira das autoridades é o Brasil agora ter instrumentos para enquadrar plataformas quando a falhas deixam de ser pontuais e viram padrão

O que mudou é que o Brasil agora tem um arcabouço jurídico robusto e sólido o suficiente para enquadrar plataformas como o Discord. A gente está falando do ECA digital e da repaginação do Marco Civil, depois do julgamento do STF, que considerou parcialmente inconstitucional o artigo 19. Nesse julgamento foi trazido o conceito de falha sistêmica: a plataforma não vai ser punida se deixar um ou outro post, mas vai ser punida se falhar sistematicamente em não tirar esse tipo de conteúdo do ar. Helton Simões Gomes

As mudanças legislativas no Brasil vieram acompanhadas de uma entidade para monitorar a aplicação das novas regras, e a transformação da Agência Nacional de Proteção de Dados contribuiu para o momento enfrentado pelo Discord.

Outro ponto levantado no episódio é a tensão entre criptografia e moderação. O Discord usa inteligência artificial para moderar, mas a proteção dada pela criptografia de ponta a ponta às conversas impede o conteúdo de ser acessado. A IA passa então a detectar "sinais" de conta e de servidor.

A IA não consegue ver o que está rolando nessa comunicação e não consegue moderar nada a partir do conteúdo que é trocado no Discord.