Teste avalia aplicativo de IA que identifica quem usou IA; veja o resultado

Você tem 7 acessos por dia para dar de presente. Qualquer pessoa que não é assinante poderá ler.

Recentemente, enquanto navegava pelo celular, percebi que estava sofrendo de um novo tipo de fadiga: esgotamento provocado por conteúdo de baixa qualidade. Quase todas as publicações que eu lia nas redes sociais estavam repletas de marcadores, emojis e travessões. Era evidente que pareciam obra de um chatbot .

Neste mês, minhas suspeitas foram confirmadas por uma ferramenta da web que vem ganhando destaque: o Pangram, que usa inteligência artificial para detectar quando textos foram gerados por chatbots . Basta colar um bloco de texto para que o Pangram o analise; a ferramenta então calcula uma porcentagem que indica quanto do conteúdo foi produzido em série por um robô ou escrito por uma pessoa.

Testei o Pangram, que custa US$ 20 (R$ 104,43) por mês, durante cerca de uma semana e fiz todo tipo de experimento para desafiar o sistema. Forneci ensaios pessoais junto com textos gerados por chatbots instruídos a imitar minha escrita . Também carreguei publicações do LinkedIn e do Reddit que eu suspeitava terem sido geradas por IA. Em dezenas de testes, o detector nunca deixou de distinguir conteúdo de baixa qualidade de textos escritos por humanos.

Embora o Pangram seja um entre muitos detectores de IA lançados no mercado nos últimos anos, o produto se destaca pela precisão. A empresa afirma que sua tecnologia consegue identificar corretamente, em 9.999 de cada 10 mil casos, se um texto foi gerado por IA; um estudo independente da Universidade de Chicago também constatou que a ferramenta foi quase perfeita na análise de textos . Em contrapartida, antigos analisadores de texto por IA cometeram erros gritantes, entre eles classificar incorretamente textos de autores famosos como Charles Dickens.

No ritmo em que esse conteúdo de baixa qualidade se multiplica na web —alguns estudos afirmam que 50% dos artigos online já são gerados artificialmente—, os detectores de IA podem se tornar o próximo aplicativo indispensável, semelhante aos antivírus, de que as pessoas precisarão para se proteger de informações falsas e de baixa qualidade na internet.

No entanto, a tecnologia de análise de conteúdo gerado por IA ainda tem um longo caminho pela frente. Assim como outros detectores de IA, o Pangram não é muito bom em sua outra função: identificar imagens geradas por IA, um meio mais poderoso de disseminar desinformação online. (Falaremos mais sobre isso adiante.)

Da mesma forma que os chatbots de IA se destacam na análise de padrões em nossas criações para reproduzir textos e imagens, detectores como o Pangram analisam dados coletados de modelos de IA para decifrar as características de textos e imagens gerados artificialmente.

Para identificar textos produzidos por IA , a metodologia não é tão simples quanto procurar travessões e marcadores. Cada chatbot de IA, como Claude, ChatGPT e Gemini, segue uma "árvore de decisão", na qual cada palavra escolhida representa uma decisão que leva a outra, afirmou Max Spero, um dos fundadores do Pangram.