Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Búsqueda híbrida
Usar AI

Búsqueda híbrida

También conocido como: Hybrid Search, BM25, Búsqueda por palabras clave + vectorial
La combinación de la búsqueda tradicional por palabras clave con la búsqueda vectorial (semántica), para que los resultados coincidan tanto con los términos exactos como con el significado general.

Por qué importa

La búsqueda puramente vectorial, que muchos tutoriales de RAG usan por defecto, sufre con las coincidencias exactas: códigos de producto, mensajes de error, nombres de funciones, nombres de personas, siglas y jerga poco común. Pide «error E-4012» y un modelo de embeddings puede devolver documentos sobre otros errores porque son «semánticamente parecidos». La búsqueda por palabras clave clava eso, pero se pierde los sinónimos y las paráfrasis: una búsqueda de «cómo cancelar mi plan» puede no encontrar una página titulada «Dar de baja tu suscripción».

Añadir búsqueda por palabras clave a un RAG solo vectorial es una de las mejoras de calidad más baratas y fiables que existen. La mayoría de las bases de datos vectoriales y de los motores de búsqueda (Elasticsearch, OpenSearch, Weaviate, Qdrant, pgvector con búsqueda de texto completo, entre otros) la admiten.

En profundidad

Hay dos formas principales de buscar en texto. La búsqueda por palabras clave (también llamada léxica o dispersa) busca los documentos que contienen las palabras de tu consulta, con BM25 como método de puntuación estándar desde hace décadas. La búsqueda vectorial (semántica o densa) genera embeddings de la consulta y de los documentos y encuentra los más cercanos en significado, aunque no compartan ninguna palabra.

Cada una falla donde la otra acierta. La búsqueda híbrida ejecuta las dos y combina los resultados.

Cómo funciona BM25, en breve

BM25 le da más puntuación a un documento cuando contiene a menudo las palabras de la consulta y cuando esas palabras son raras en toda la colección, y menos a los documentos muy largos, donde las coincidencias de palabras significan menos. No necesita entrenamiento ni GPU, y es difícil de superar en consultas con términos concretos.

Combinar las dos listas de resultados

Las dos búsquedas producen puntuaciones en escalas distintas, así que no se pueden sumar sin más. Enfoques habituales:

  • Reciprocal Rank Fusion (RRF): ignorar las puntuaciones en bruto y combinar por posición en la lista. La puntuación fusionada de un documento es la suma de 1 / (k + posición) en ambas listas, con k fijado a menudo en 60. Simple, robusto y la opción por defecto más común.
  • Fusión ponderada de puntuaciones: normalizar ambas puntuaciones y mezclarlas con un peso (por ejemplo, 70 % vectorial y 30 % palabras clave). Se puede afinar más, pero normalizar bien requiere cuidado.

Añadir un reranker

Un pipeline típico de alta calidad: la búsqueda por palabras clave y la vectorial traen cada una, digamos, 50 candidatos; se fusionan con RRF; después, un modelo de reranking lee la consulta junto con cada candidato y los reordena, quedándose con los 5 a 10 mejores para el LLM. La búsqueda híbrida maximiza la probabilidad de que el chunk correcto esté entre los candidatos, y el reranker se encarga de que quede arriba.

Búsqueda dispersa aprendida

Entre los dos mundos están los modelos dispersos aprendidos, como SPLADE, que usan una red neuronal para decidir qué palabras (incluidas palabras relacionadas que no están en el texto) importan en cada documento. Conservan la fuerza de la coincidencia exacta de la búsqueda por palabras clave y añaden algo de comprensión del significado.

Cuándo usarla

Si tus usuarios buscan nombres, códigos, términos técnicos o cualquier cosa que pondrían entre comillas, usa búsqueda híbrida. Mide con consultas reales: con algunos datos puramente conversacionales, la búsqueda vectorial sola basta, pero la híbrida rara vez perjudica.

← Todos los términos
ESC