Tokens em IA: o que são e por que existe um limite?

Painéis de IA medem o uso em tokens, a unidade que também define limites e custos.

Foto: Magnific/Divulgação Quando fazemos uma pergunta a uma inteligência artificial, o sistema precisa processar o texto antes de formular uma resposta.

Nesse caminho, as frases são divididas em unidades menores, chamadas tokens.

Embora o conceito já exista há décadas na computação e no processamento de linguagem natural, um evento recente — o Google I/O, realizado em maio de 2026 — mostrou como algo pequeno e técnico, nascido décadas antes dos chatbots, virou métrica de uso de uma indústria inteira.

Chamando os tokens de “unidades fundamentais de dados que nossos modelos processam” , o CEO da empresa, Sundar Pichai, revelou que o Google processa 3,2 quatrilhões de tokens por mês, contra 9,7 trilhões dois anos antes — uma alta de cerca de 330 vezes.

Esse volume dá a medida da escala, mas não do que acontece em cada conversa.

Basta um histórico longo para a inteligência artificial esquecer o começo, ou um texto grande demais para a resposta ser cortada.

É que todo modelo de linguagem trabalha dentro de um limite de tokens, e esse limite define o que cabe em cada pedido.

Confira, a seguir, como os textos viram tokens, como os modelos trabalham com eles e por que o limite existe.

O que são tokens em inteligência artificial? Tokens são as menores unidades de texto que um modelo de linguagem processa: uma palavra inteira, um pedaço de palavra, um caractere ou um sinal de pontuação.

Antes de calcular a resposta, um programa separado do modelo — o tokenizador — divide o texto em tokens e converte cada um em um número, etapa conhecida como tokenização.

As palavras longas ou pouco comuns costumam ser divididas.

Em um exemplo ilustrativo da NVIDIA, fabricante de chips para IA, “darkness” vira “dark” e “ness”, e “brightness” vira “bright” e “ness”: o pedaço repetido pode ajudar o modelo a perceber o que as duas palavras têm em comum.

O token também funciona como régua do modelo: o texto enviado a ele (prompt), o histórico da conversa e o limite de cada pedido são medidos em tokens .