Em LLMs, token é a unidade que o modelo enxerga — subpalavra, palavra ou caractere, conforme o tokenizador. O limite de tokens define o tamanho máximo do contexto (entrada + saída). Estourar o limite corta texto ou falha a chamada.
Português costuma consumir mais tokens que inglês para o mesmo significado. APIs cobram por token; portanto contar tokens antes de enviar é obrigatório em qualquer integração com orçamento.
Use tiktoken ou tokenizers da Hugging Face para estimar. No chunking de RAG, dimensione chunks em tokens, não em caracteres, para não ultrapassar o limite do modelo de embedding nem do LLM.
Em ambientes reais, Token (LLM) aparece junto de decisões de arquitetura, custo e operação. Vale documentar no runbook do time: quando usar, quando evitar, métricas de saúde e o que fazer quando falha. Links internos do hub (comandos, erros, comparativos) ajudam a fechar o ciclo entre teoria e prática.
Antes de adotar em produção, monte um teste com dados reais do seu contexto — benchmarks genéricos raramente capturam latência, volume e casos de borda do seu sistema. Prefira evoluir em fatias pequenas, com observabilidade e critério de rollback claros.
Se você está desenhando a solução pela primeira vez, comece pelo caminho mais simples que atende o requisito e só adicione complexidade (mais serviços, mais abstrações) quando a dor for medida, não imaginada.