Objetivo
RAG (geração aumentada por recuperação) combina busca em documentos com um modelo de linguagem para responder com base em fontes. Este checklist ajuda a sair do protótipo que "parece funcionar" para um pipeline que você consegue medir, melhorar e operar.
1. Dados e fontes
- As fontes estão definidas, atualizadas e com dono?
- Há uma regra para remover duplicatas e versões obsoletas?
- Dados sensíveis ou pessoais foram tratados? Considere a LGPD
- Cada trecho guarda metadados (origem, data, seção) para citar a fonte
- Controle de acesso: o usuário só recupera o que pode ver
2. Chunking e embeddings
- O tamanho dos trechos respeita a estrutura do documento (títulos, parágrafos, tabelas)?
- Há sobreposição (overlap) suficiente para não cortar ideias no meio?
- O modelo de embeddings é adequado ao idioma e ao domínio, e sua versão está registrada
- Mudar o modelo ou o chunking exige reindexar tudo: o processo é automatizado?
3. Recuperação
- Quantos trechos (top-k) vão para o contexto, e por quê?
- Considere busca híbrida (vetorial + lexical) — veja hybrid search
- Há reranqueamento quando a precisão importa?
- Índices e armazenamento estão dimensionados (por exemplo, pgvector)
- Perguntas fora do escopo retornam "não sei", em vez de trechos irrelevantes?
4. Geração
- O prompt instrui a responder só com base no contexto e a citar as fontes
- Há tratamento para contexto insuficiente ou contraditório
- Respostas têm formato definido (por exemplo, com citações verificáveis)
- Riscos de injeção de prompt em documentos foram considerados — veja guardrails
5. Avaliação
- Existe um conjunto de perguntas de referência com respostas e documentos esperados
- A recuperação é medida separadamente da geração (a fonte certa apareceu?)
- A geração é checada quanto a fidelidade ao contexto e utilidade
- A avaliação roda a cada mudança de chunking, embedding ou prompt, para detectar regressões
- Detalhes em avaliação de RAG
6. Operação
- Registro de consultas, trechos recuperados e respostas (respeitando privacidade) para investigar falhas
- Monitoramento de latência, custo por consulta e taxa de "não sei"
- Canal de feedback do usuário e processo para incluir os casos ruins no conjunto de referência
- Plano de atualização de documentos e de reindexação
Regra Meça antes de otimizar: sem um conjunto de perguntas de referência, qualquer ajuste é palpite.
Relacionados
Avaliação de RAG · RAG com pgvector · Hybrid search · Hub de IA