Token de IA: como idioma está afetando o uso da inteligência artificial

Você muito provavelmente já sentiu isso na pele: está no meio de uma tarefa e a interação com a IA está indo bem, até que o chatbot avisa que o limite da conta foi atingido. De repente, a conversa para e você não pode fazer mais nada.

Se você usa IA regularmente, certamente já ouviu falar em tokens pra lá, tokens para cá. O termo quase sempre aparece quando falamos de custos, limites de uso e capacidades dos modelos de IA. Nessas horas, é comum as pessoas falarem "meus tokens acabaram".

Mas o token está deixando de ser apenas uma unidade técnica escondida dentro do modelo e já vira uma das unidades mais importantes do nosso tempo. Por isso, é importante saber de onde esse termo vem e para onde ele vai.

Quando você envia um pedido para uma IA, a máquina não lê da mesma forma que nós. Antes de processá-lo, precisa quebrar o texto em pequenas unidades denominadas tokens.

Uma palavra pode virar um único token, mas muitas vezes o modelo precisa de vários tokens para representar uma palavra. Tudo depende de como a empresa que desenvolveu a IA criou o seu vocabulário e como o seu tokenizador aprendeu a dividir as línguas.

O token não é uma unidade natural da linguagem, mas algo criado pela própria máquina. Durante seu treinamento, ao processar uma quantidade enorme de texto, o tokenizador cria um vocabulário de palavras recorrentes. As mais frequentes podem ganhar uma representação própria, enquanto as outras acabam divididas em vários tokens.

Como a língua inglesa é dominante nos modelos, acaba muito melhor representada do que as demais. Alguns estudos mostram que outras línguas, como o português, podem necessitar, em média, de até 30% mais tokens no uso diário de IA.

Isso acontece não apenas devido à complexidade da língua, mas porque as suas palavras são pior representadas nos modelos. Nos exemplos abaixo, usei o tokenizador oficial da OpenAI para mostrar a representação de palavras com tradução direta entre inglês e português. Veja:

Em ambos os casos, o ChatGPT gastaria o dobro de tokens para processar palavras equivalentes em línguas diferentes. Isso importa porque os tokens agora definem o custo, os limites de uso, o tamanho da janela de contexto e a velocidade dos modelos. Uma diferença que parece apenas técnica acaba criando um abismo invisível entre falantes de línguas diferentes.

Só que essa contagem deixou de ficar dentro da máquina e passou a ser usada como medida para outras dimensões da vida humana: trabalho, produtividade, atividade econômica e até mesmo para cálculo de impostos.

Um tempo atrás, escrevi sobre uma mudança de comportamento pela qual as empresas estavam passando ao incentivar a maximização do uso de tokens pelos seus funcionários, buscando a promessa de ganho de produtividade. Isso tinha até ganhado um nome: Token Maxxing.

Mas essa lógica de transformar tokens em uma espécie de unidade de medida já começa a escapar das empresas e chegar ao debate econômico. Nesta semana, Bill Gates escreveu uma importante carta sobre o avanço da tecnologia.