Chunking
Por que isso importa
Um chunking ruim estraga o RAG em silêncio. Se os chunks são pequenos demais, perdem o contexto: um chunk que diz "esta configuração precisa ficar desativada" não serve para nada se o nome da configuração estava no chunk anterior. Se são grandes demais, o embedding fica vago, a recuperação perde precisão e você gasta janela de contexto com texto irrelevante. Um chunk que corta uma tabela ou um bloco de código ao meio pode deixar as duas metades sem sentido.
Quando um sistema de RAG dá respostas erradas, muitas equipes pensam primeiro em um modelo maior. Muitas vezes a correção de verdade está antes, na forma como os documentos foram divididos.
Em profundidade
Um sistema de geração aumentada por recuperação (RAG) não consegue transformar de forma útil um manual de 200 páginas em um único vetor. Um embedding só para tudo misturaria tudo, e mesmo que você o encontrasse, ele não caberia direito no contexto do modelo. Por isso, antes da indexação, os documentos são cortados em chunks (pedaços), muitas vezes de algumas centenas de tokens cada. Cada chunk ganha seu próprio embedding, e na hora da pergunta o sistema recupera os poucos chunks mais relevantes para a consulta.
A forma de cortar é uma das decisões mais importantes, e mais subestimadas, na construção de um RAG.
Estratégias comuns
- Tamanho fixo: cortar a cada N tokens ou caracteres. Simples e previsível, mas cego para a estrutura.
- Recursivo: tentar cortar primeiro nos limites grandes (seções, depois parágrafos, depois frases) e só descer para os menores quando um pedaço ainda estiver longo demais. Um padrão sensato para a maioria dos textos.
- Guiado pela estrutura: aproveitar a estrutura do próprio documento, como títulos de Markdown, tags HTML, layout de PDF, funções no código ou linhas de uma tabela.
- Semântico: gerar embeddings das frases e começar um chunk novo onde o assunto muda. É mais caro, mas pode produzir unidades mais limpas.
Sobreposição
A maioria das configurações acrescenta uma sobreposição entre chunks vizinhos, muitas vezes de 10% a 20%, de modo que uma frase perto de um limite apareça nos dois. Isso reduz a chance de uma informação importante ser partida entre dois chunks e se perder.
Dando contexto aos chunks
Um chunk tirado de um documento costuma perder o que estava em volta. Algumas correções eficazes:
- Acrescentar metadados no início: colocar o título do documento e o título da seção em cada chunk.
- Recuperação contextual: usar um LLM para escrever uma nota curta por chunk explicando onde ele se encaixa no documento, e gerar o embedding da nota junto com o chunk. A Anthropic relatou em 2024 que isso reduzia as falhas de recuperação mais ou menos pela metade, e ainda mais quando combinado com reranking.
- Recuperação do pequeno para o grande: buscar em chunks pequenos e precisos, mas devolver ao modelo a seção maior de onde eles vieram.
Ponto de partida prático
Comece com uma divisão recursiva de cerca de 300 a 800 tokens com alguma sobreposição, acrescente títulos e subtítulos a cada chunk e monte um pequeno conjunto de teste com perguntas reais de resposta conhecida. Depois mude uma coisa de cada vez e meça a qualidade da recuperação. O tamanho certo depende dos seus documentos e das suas perguntas: consultas factuais curtas favorecem chunks pequenos, enquanto perguntas que pedem explicações favorecem chunks maiores.