O que é token? Entenda os ‘bloquinhos’ usados pela IA na hora de te responder

Você e a inteligência artificial (IA) leem de forma diferente.

Você, humano, lê palavras.

Usa o vocabulário armazenado na sua mente.

A IA, máquina, lê bloquinhos com etiquetas numéricas.

Esses bloquinhos são os tokens.

O token é a língua que grandes modelos de linguagem (LLMs, na sigla em inglês), como ChatGPT, Claude e Gemini, entendem.

Para transformar a língua que você fala na língua que a máquina fala, seus prompts passam pela tokenização.

E para a IA te responder na língua que você entende, ocorre a destokenização.

É isso que está por trás dos preços das assinaturas das plataformas.

Processar esses “bloquinhos” consome energia e poder computacional.

Então, as empresas usam a quantidade de tokens consumidos (tanto na sua pergunta quanto na resposta da IA) para calcular os custos do sistema, definir os limites de “memória” de cada modelo e cobrar pelo seu uso.

O que é token e como ele funciona na IA Para a IA entender sua mensagem (comando, prompt), ela precisa quebrar o que você mandou (texto, áudio, imagem) em blocos: os tokens.

“Um token é basicamente uma subpalavra”, explica Fabrício Carraro, Program Manager da Alura, em entrevista ao Olhar Digital .

“Por exemplo: a palavra ‘feliz’ é um token, a palavra ‘triste’ é um token, a palavra ‘divisível’ é um token.” Então, por que chamar de subpalavra? Se a gente tem ‘indivisível’ ou ‘infeliz’, você vai ter o token ‘in’.