Busca híbrida
Por que isso importa
A busca puramente vetorial, que muitos tutoriais de RAG usam por padrão, sofre com correspondências exatas: códigos de produto, mensagens de erro, nomes de funções, nomes de pessoas, siglas e jargão raro. Peça "erro E-4012" e um modelo de embeddings pode devolver documentos sobre outros erros porque são "semanticamente parecidos". A busca por palavras-chave acerta isso em cheio, mas perde sinônimos e paráfrases: uma busca por "como cancelar meu plano" pode não achar uma página chamada "Encerrando sua assinatura".
Acrescentar busca por palavras-chave a um RAG só vetorial é um dos ganhos de qualidade mais baratos e confiáveis que existem. A maioria dos bancos de dados vetoriais e dos mecanismos de busca (Elasticsearch, OpenSearch, Weaviate, Qdrant, pgvector com busca de texto completo, entre outros) oferece suporte.
Em profundidade
Há duas formas principais de buscar em texto. A busca por palavras-chave (também chamada de léxica ou esparsa) procura os documentos que contêm as palavras da sua consulta, com o BM25 como método padrão de pontuação há décadas. A busca vetorial (semântica ou densa) gera embeddings da consulta e dos documentos e encontra os mais próximos em significado, mesmo que não tenham nenhuma palavra em comum.
Cada uma falha onde a outra acerta. A busca híbrida roda as duas e funde os resultados.
Como o BM25 funciona, em resumo
O BM25 dá mais pontos a um documento quando ele contém muitas vezes as palavras da consulta e quando essas palavras são raras na coleção inteira, e menos pontos a documentos muito longos, em que as correspondências de palavras significam menos. Ele não precisa de treinamento nem de GPU, e é difícil de superar em consultas com termos específicos.
Fundindo as duas listas de resultados
As duas buscas produzem pontuações em escalas diferentes, então não dá para simplesmente somá-las. Abordagens comuns:
- Reciprocal Rank Fusion (RRF): ignorar as pontuações brutas e combinar pela posição na lista. A pontuação fundida de um documento é a soma de 1 / (k + posição) nas duas listas, com k muitas vezes fixado em 60. Simples, robusto e o padrão mais comum.
- Fusão ponderada de pontuações: normalizar as duas pontuações e misturá-las com um peso (por exemplo, 70% vetorial e 30% palavras-chave). Dá mais margem de ajuste, mas normalizar bem exige cuidado.
Acrescentando um reranker
Um pipeline típico de alta qualidade: a busca por palavras-chave e a vetorial trazem, cada uma, digamos, 50 candidatos; eles são fundidos com RRF; depois um modelo de reranking lê a consulta junto com cada candidato e os reordena, ficando com os 5 a 10 melhores para o LLM. A busca híbrida maximiza a chance de o chunk certo estar entre os candidatos, e o reranker garante que ele fique no topo.
Busca esparsa aprendida
Entre os dois mundos estão os modelos esparsos aprendidos, como o SPLADE, que usam uma rede neural para decidir quais palavras (inclusive palavras relacionadas que não estão no texto) importam para cada documento. Eles mantêm a força da correspondência exata da busca por palavras-chave e acrescentam alguma compreensão de significado.
Quando usar
Se os seus usuários buscam nomes, códigos, termos técnicos ou qualquer coisa que colocariam entre aspas, use busca híbrida. Meça com consultas reais: para alguns dados puramente conversacionais, a busca vetorial sozinha basta, mas a híbrida raramente atrapalha.