Aller au contenu principal
Zubnet AI › Apprendre › Wiki › Recherche hybride
Utiliser l’AI

Recherche hybride

Aussi appelé : Hybrid Search, BM25, Recherche par mots-clés + vectorielle
La combinaison de la recherche classique par mots-clés et de la recherche vectorielle (sémantique), pour que les résultats correspondent à la fois aux termes exacts et au sens général.

Pourquoi c'est important

La recherche purement vectorielle, que beaucoup de tutoriels RAG utilisent par défaut, peine sur les correspondances exactes : codes produit, messages d'erreur, noms de fonctions, noms de personnes, acronymes et jargon rare. Demandez « erreur E-4012 » et un modèle d'embedding peut renvoyer des documents sur d'autres erreurs parce qu'ils sont « sémantiquement proches ». La recherche par mots-clés fait cela parfaitement, mais rate les synonymes et les paraphrases : une recherche « comment annuler mon forfait » peut manquer une page intitulée « Mettre fin à votre abonnement ».

Ajouter la recherche par mots-clés à un RAG purement vectoriel est l'un des gains de qualité les moins chers et les plus fiables qui soient. La plupart des bases de données vectorielles et des moteurs de recherche (Elasticsearch, OpenSearch, Weaviate, Qdrant, pgvector avec la recherche plein texte, entre autres) la prennent en charge.

En profondeur

Il y a deux grandes façons de chercher dans du texte. La recherche par mots-clés (dite aussi lexicale ou sparse) cherche les documents qui contiennent les mots de votre requête, avec BM25 comme méthode de score de référence depuis des décennies. La recherche vectorielle (sémantique ou dense) encode la requête et les documents et trouve ceux dont le sens est le plus proche, même s'ils n'ont aucun mot en commun.

Chacune échoue là où l'autre réussit. La recherche hybride lance les deux et fusionne les résultats.

BM25 en bref

BM25 donne un meilleur score à un document qui contient souvent les mots de la requête, quand ces mots sont rares dans l'ensemble de la collection, et un score plus bas aux documents très longs où les correspondances de mots sont moins significatives. Il ne demande ni entraînement ni GPU, et il est difficile à battre sur les requêtes aux termes précis.

Fusionner les deux listes de résultats

Les deux recherches produisent des scores sur des échelles différentes, on ne peut donc pas simplement les additionner. Approches courantes :

  • Reciprocal Rank Fusion (RRF) : ignorer les scores bruts et combiner selon le rang. Le score fusionné d'un document est la somme de 1 / (k + rang) sur les deux listes, avec k souvent fixé à 60. Simple, robuste, et le choix par défaut le plus répandu.
  • Fusion pondérée des scores : normaliser les deux scores et les mélanger avec un poids (par exemple 70 % vectoriel, 30 % mots-clés). Plus réglable, mais la normalisation demande du soin.

Ajouter un reranker

Un pipeline de qualité typique : la recherche par mots-clés et la recherche vectorielle ramènent chacune, disons, 50 candidats ; on les fusionne avec RRF ; puis un modèle de reranking lit la requête avec chaque candidat et les reclasse, en gardant les 5 à 10 premiers pour le LLM. La recherche hybride maximise les chances que le bon chunk figure parmi les candidats, et le reranker fait en sorte qu'il arrive en tête.

La recherche sparse apprise

Entre les deux mondes, il y a les modèles sparse appris comme SPLADE, qui utilisent un réseau de neurones pour décider quels mots (y compris des mots voisins absents du texte) comptent pour chaque document. Ils gardent la force de la correspondance exacte tout en ajoutant une part de compréhension du sens.

Quand l'utiliser

Si vos utilisateurs cherchent des noms, des codes, des termes techniques ou tout ce qu'ils mettraient entre guillemets, utilisez la recherche hybride. Mesurez sur de vraies requêtes : pour certaines données purement conversationnelles, la recherche vectorielle seule suffit, mais l'hybride fait rarement du tort.

← Tous les termes
ESC