O que é token em IA? Quantas palavras tem um token e por que a unidade de cobrança da IA não tem padrão

Primeiro a conclusão: o token não tem uma definição unificada no setor. Ele é uma “tabela de corte” fixada no treinamento de cada modelo; o mesmo texto entregue a modelos diferentes é cortado em quantidades diferentes de tokens, e até modelos de gerações diferentes da mesma empresa podem divergir. Por isso a pergunta “quantas palavras tem um token?” só tem regras práticas, não uma medida fixa.

O que o setor de fato unificou foi a estrutura de preços (um valor por milhão de tokens, com entrada e saída cobradas separadamente), e não o token em si. Essa diferença fica crítica na hora em que você tenta montar uma planilha de custos.

O que é token: o objetivo é comprimir, não entender o significado

O token é a menor unidade de processamento em que o modelo corta o texto. O método de corte vem de uma família de algoritmos chamada BPE (Byte Pair Encoding), em três passos:

1. Analisa-se estatisticamente uma quantidade enorme de texto e fundem-se, repetidas vezes, as combinações de caracteres que mais aparecem juntas.
2. Dessas fusões sai um vocabulário, que costuma ter entre cinquenta mil e duzentas mil entradas.
3. A partir daí, toda entrada é comparada com esse vocabulário e cortada de acordo com ele.

O ponto-chave é que o objetivo desse algoritmo é comprimir, não entender o significado. Sequências frequentes (palavras inglesas como “the” e “and”, palavras chinesas comuns como 的, “de”, e 因為, “porque”, ou “function” no código) contam como um único token; palavras raras são quebradas, e nomes próprios, termos técnicos e erros de digitação muitas vezes viram de três a cinco tokens.

Ou seja, um token não é uma “letra” nem uma “palavra”: é “a menor peça que esse modelo reconhece”. Essa é a premissa para entender todos os problemas de custo que vêm depois.

Por que não dá para ter um padrão unificado

No começo eu também achei estranho: em pleno 2026, como uma unidade de cobrança tão básica pode não ter padrão?

A resposta é que o vocabulário faz parte dos pesos do modelo e não pode ser alterado depois do treinamento. Ele é, na essência, uma peça do modelo, e não uma especificação externa, então a padronização não tem nenhum ponto de apoio técnico. Não dá para exigir que duas empresas usem o mesmo vocabulário; isso seria exigir que usassem o mesmo modelo.

Daí vem uma armadilha em que é ainda mais fácil cair: a mesma empresa também troca de tokenizador quando muda de geração. O Claude trocou na geração Opus 4.7, e o mesmo texto passou a dar uma contagem de tokens diferente da geração anterior. Se o seu modelo de custos foi montado no ano passado, depois da troca de geração aquela tabela já não é exata, e ela não dá erro nenhum: sua estimativa simplesmente vai se desviando em silêncio.

Regras práticas: servem para estimar, não para orçar

Essa tabela só serve para uma coisa: decidir se algo vale a pena. Para ter uma ideia geral e decidir se você vai investir, ela basta; mas assim que entram em jogo orçamento, cotação ou compromisso com cliente, não use, porque o erro dela em texto chinês e em código pode chegar ao dobro.

Por que o chinês sai perdendo, e quanto ele perde não é fixo

Na codificação UTF-8, um caractere chinês ocupa três bytes. Se o vocabulário do modelo inclui a palavra que você está usando, dois ou três caracteres podem se fundir em um só token; se não inclui, o corte degrada para algo próximo de byte a byte, e um único caractere pode consumir dois ou três tokens.

Por isso a eficiência do chinês em tokens depende totalmente de quanto texto em chinês existe nos dados desse modelo. É uma linha de custo quase nunca explicada com clareza: o mesmo trecho em chinês pode custar mais que o dobro conforme o modelo do fornecedor, e isso não aparece de jeito nenhum na tabela de preços.

É também por isso que eu não confio muito em comparar preço unitário. Preço unitário baixo não quer dizer barato: um modelo cuja eficiência em tokens no chinês é 30% pior continua saindo mais caro mesmo com preço unitário 20% menor.

A estrutura de preços: isto, sim, é comum no setor

Tomando como exemplo a API oficial da Anthropic em meados de 2026, o Claude Opus 5 custa cerca de cinco dólares na entrada e vinte e cinco na saída; o Sonnet 5, dois e dez dólares; o Haiku 4.5, um e cinco dólares (por milhão de tokens). Os preços vão mudar; não listo esses números para você fazer cotação com eles, e sim para você enxergar a estrutura: a saída sempre custa de quatro a cinco vezes a entrada.

Essa estrutura muda diretamente as decisões de design. Uma função que gera relatórios longos e outra que só classifica e devolve três palavras podem ter uma diferença de custo de uma ordem de grandeza, mesmo com a mesma entrada. Para cortar custo, a primeira coisa a olhar é a coluna de saída.

O que mais se subestima: o custo não é linear

Este é o ponto que, na minha opinião, mais merece uma seção só para ele.

O modelo em si não tem memória. A cada rodada da conversa, é preciso reenviar todo o histórico anterior para que ele saiba do que vocês estavam falando. Então o “ok” que você digita na vigésima rodada é cobrado, na prática, como se o texto completo das dezenove rodadas anteriores fosse enviado de novo como entrada.

Em termos matemáticos, o custo de uma conversa longa cresce de forma quase quadrática, não linear. Na prática, isso leva a três conclusões:

• O custo de uma conversa longa se concentra no final, não se distribui por igual. Uma rodada que parece barata na terceira pode custar dez vezes mais na trigésima.
• O prompt de sistema é um custo fixo cobrado de novo a cada rodada, não algo que se paga uma vez no começo. Uma definição de papel bem detalhada é paga toda vez que você diz alguma coisa.
• O mecanismo de cache existe exatamente por causa disso. Fixar o prefixo que não muda e ler de volta a parte repetida por cerca de um décimo do preço é, hoje, a tática mais eficaz para conversas longas.

Para ter o número exato, só existe um método

Medir com o tokenizador do próprio modelo.

A Anthropic oferece o endpoint count_tokens, e na chamada é preciso informar o identificador do modelo que você realmente vai usar, porque cada modelo dá um número diferente. Do lado da OpenAI, o equivalente é o pacote tiktoken.

Aqui há uma fonte de erro comum: usar o tiktoken para estimar o uso do Claude subestima o resultado em cerca de 15% a 20%, e a diferença é maior em texto chinês e em código. As tabelas de corte das duas empresas são diferentes, então uma nunca deveria substituir a outra. Já vi mais de uma planilha de custos feita assim, e o resultado foi uma fatura real 20% acima da estimativa, sem que ninguém achasse a causa.

Quatro situações, quatro jeitos de calcular

A diferença entre esses quatro não é a precisão, e sim que decisão você vai tomar com esse número. Na hora de decidir se faz ou não, errar 20% não tem problema; na hora de decidir quanto cobrar de um cliente, esses 20% saem da sua margem.

Voltando à pergunta do começo: o que é um token? É a menor peça que um modelo específico reconhece, e cada modelo reconhece coisas diferentes. Aceitando isso, o seu modelo de custos fica construído sobre a base certa.

Perguntas frequentes

Quantas palavras tem um token?

Não existe resposta fixa. Em inglês, um token corresponde a cerca de 4 caracteres, ou 0,75 palavra; em chinês, um caractere corresponde a cerca de 0,6 a 1,5 token. A faixa é tão ampla porque, em UTF-8, um caractere chinês ocupa três bytes, e o fato de a palavra estar ou não no vocabulário daquele modelo pode fazer o resultado variar mais que o dobro. Esses números só servem para estimar se vale a pena fazer algo, não para cotação.

Por que não existe um padrão unificado para tokens?

Porque o vocabulário faz parte dos pesos do modelo e não pode ser alterado depois do treinamento. Ele é uma peça do modelo, não uma especificação externa, então a padronização não tem ponto de apoio técnico: pedir que duas empresas usem o mesmo vocabulário é pedir que usem o mesmo modelo. Além disso, a mesma empresa também troca de tokenizador entre gerações, e um modelo de custos montado no ano passado pode já não ser exato neste ano, sem dar erro nenhum.

Posso usar o tiktoken para estimar o uso do Claude?

Não é recomendável. O tiktoken é o tokenizador da OpenAI, e usá-lo para o Claude subestima o uso em cerca de 15% a 20%, com diferenças maiores em texto chinês e em código. Para ter o número exato, só existe um método: medir com o tokenizador do próprio modelo. No caso da Anthropic, é o endpoint count_tokens, e na chamada é preciso informar o identificador do modelo que você realmente vai usar.

Por que conversas longas ficam cada vez mais caras?

Porque o modelo não tem memória, e a cada rodada todo o histórico precisa ser reenviado. O “ok” que você digita na vigésima rodada é cobrado como se o texto completo das dezenove rodadas anteriores fosse enviado de novo como entrada, então o custo cresce de forma quase quadrática, e não linear. Daí se conclui que o prompt de sistema é um custo fixo cobrado a cada rodada, não algo que se paga uma vez no começo; o prompt caching existe justamente para reduzir essa parte.

O modelo com preço unitário mais baixo é sempre o mais econômico?

Não necessariamente. A eficiência em tokens do chinês depende de quanto texto em chinês existe nos dados do modelo, e o mesmo trecho em chinês pode dar mais que o dobro de tokens conforme o fornecedor, algo que a tabela de preços não mostra de forma alguma. Um modelo cuja eficiência em tokens no chinês é 30% pior continua saindo mais caro mesmo com preço unitário 20% menor. Para comparar preços, é preciso medir a mesma amostra com o tokenizador de cada fornecedor.

Palavras-chave do artigo: token, o que é token em IA, quantas palavras tem um token, tokenizador, BPE, custo de IA, preços de LLM, prompt caching, count_tokens