As faturas milionárias das empresas com a IA

Esta transcrição foi gerada automaticamente por Inteligência Artificial e pode conter erros ou imprecisões.

Esta é a história do dia da Rádio Observador: as faturas milionárias das empresas com a inteligência artificial.

The AI bill has come due. Annual budgets blown through in weeks. And now companies are facing a choice nobody has ever had to make before: tokens or humans.

This is the first time ever that I can remember that technology costs the same as people, and you're making that comparison that they choose tech or people.

Quase todos já soubemos o que é ser surpreendido com uma fatura ao final do mês, muito superior àquilo que estávamos à espera. E essa é uma situação que hoje em dia já começou a acontecer a muitas empresas, numa nova área que começa a pesar no orçamento: o uso de ferramentas de inteligência artificial. No início, foi o entusiasmo e a utilização de IA para quase tudo. Em muitos casos, os funcionários eram incentivados a usar o maior número possível de tokens, a unidade em que se mede o consumo de inteligência artificial. Isso, por si só, era visto internamente como uma prova de inovação. Mas o uso não racional das ferramentas está a levar muitos a repensar o modelo e o retorno do investimento. Que desafios é que esta nova economia dos tokens representa para as empresas? Vou falar com Cátia Rocha, jornalista do Observador especializada em tecnologia. Eu sou o João Santos Duarte e esta é a história do dia de segunda-feira, 18 de agosto. Olá, Cátia, bem-vinda.

Eu acho que talvez seja melhor começar por explicar o que é isso dos tokens, que tu também referes no teu texto. E, nomeadamente, como é que funciona o uso que nós fazemos destes modelos ou serviços de inteligência artificial.

Um token é a unidade mais básica disto que se chamam os grandes modelos de linguagens, chamados LLMs, que é a sigla em inglês. É um bocadinho a moeda destes modelos, se quisermos. Não é bem linear, mas estes modelos funcionam por palavras e essas palavras é atribuído-

Exatamente. É atribuído um determinado contexto e depois aquilo é um cálculo probabilístico de qual é a palavra mais provável que possa aparecer a seguir. Não é muito linear, mas a ideia, para tentar explicar às pessoas, é que um token corresponde a cerca de quatro letras de uma palavra. Portanto, as palavras maiores consomem mais tokens. Portanto, todos estes modelos funcionam à base de pedidos, e os pedidos que as pessoas mais fazem a estes modelos é através de texto. Há ali, associado a estes pedidos, um determinado consumo de tokens. E quanto mais exigente for a tarefa que se pede ou mais complexa, mais tokens são consumidos para realizar estas atividades.

Inicialmente, quando a inteligência artificial surgiu, ou pelo menos não quando surgiu, mas quando começou a tornar mais acessível, houve, de facto, um grande entusiasmo também nas empresas no uso desse tipo de ferramentas, não é?

Quando tivemos o chamado momento ChatGPT em 2022 e tudo mudou. Sim, houve empresas que ficaram muito entusiasmadas e que passaram a incentivar muito os funcionários a usarem ferramentas de IA, a usar ferramentas de IA para tudo.