Hybrid Search
La recherche hybride combine la recherche par mots-clés (BM25) et la recherche vectorielle pour une même requête, puis fusionne les deux listes classées, souvent avec Reciprocal Rank Fusion, en une seule.
La recherche hybride exécute une recherche par mots-clés et une recherche vectorielle pour la même requête, puis fusionne les deux listes classées en une seule. La recherche par mots-clés, ou recherche lexicale, évalue les correspondances exactes des termes à l’aide d’une formule comme BM25 et s’appelle recherche creuse, car elle représente chaque document par un vecteur creux de poids de termes sur l’ensemble du vocabulaire. La recherche vectorielle compare des plongements denses qui capturent le sens. BM25 retrouve le code d’erreur exact, la référence produit ou le nom d’une personne que le modèle de plongement peut brouiller. Les plongements retrouvent les paraphrases et les synonymes qui ne partagent aucun mot avec la requête. Leur combinaison est une configuration de recherche courante pour la génération augmentée par récupération (RAG) et la recherche en entreprise.
Pourquoi combiner la recherche creuse et dense#
Les systèmes de recherche denses apprennent à partir de données d’entraînement particulières, et leur avantage diminue dans les domaines qui leur sont inconnus. Le benchmark BEIR (2021) a évalué des modèles de recherche en zéro-shot sur 18 jeux de données et a montré que BM25 constituait une référence robuste que de nombreux modèles denses ne parvenaient pas à dépasser en dehors de leur domaine d’entraînement, tandis que les modèles de reclassement et à interaction tardive comme ColBERT obtenaient les meilleurs scores au prix d’un coût de calcul supérieur. Exécuter BM25 à côté d’un système de recherche dense conserve les avantages des mots-clés sans renoncer à la recherche sémantique. Les modèles creux appris comme SPLADE brouillent la frontière de l’autre côté en utilisant un transformeur pour attribuer des poids aux termes du vocabulaire, y compris à des termes apparentés absents du document.
Fusion des résultats#
Les scores BM25 ne sont pas bornés, tandis que les similarités cosinus se situent entre -1 et 1 ; les deux listes ne peuvent donc pas être additionnées directement. Deux méthodes de fusion sont courantes :
- Fusion réciproque des rangs (RRF) : Attribue à chaque document la somme de 1 / (k + rang) pour les listes où il apparaît, avec k = 60, comme dans l’article de 2009 de Cormack, Clarke et Büttcher. Cette méthode n’utilise que les rangs ; elle ne nécessite donc ni normalisation des scores ni réglage.
- Fusion pondérée des scores : Normalise les deux ensembles de scores, par exemple dans l’intervalle de 0 à 1, puis les combine selon alpha x dense + (1 - alpha) x creuse, alpha étant réglé sur des requêtes de validation.
Un modèle de reclassement réordonne souvent la liste fusionnée avant l’affichage des résultats ou leur transmission à un grand modèle de langage (LLM). L’exemple ci-dessous exécute les deux volets avec les scores de mots-clés TF-IDF de scikit-learn et les plongements de Sentence Transformers, puis les fusionne avec RRF :
import numpy as np
from sentence_transformers import SentenceTransformer
from sklearn.feature_extraction.text import TfidfVectorizer
docs = [
"Fault E-4012: hydraulic pressure low on press 7",
"Fault E-4021: hydraulic pressure low on press 2",
"Order form for E-4012 replacement sensor kits",
"Low oil pressure makes the press ram sluggish",
"Weekly cleaning checklist for the paint booth",
]
query = "E-4012 sluggish"
# Volet creux : scores de mots-clés TF-IDF, qui correspondent à des jetons exacts comme les codes de panne
tfidf = TfidfVectorizer(token_pattern=r"[\w-]+", stop_words="english").fit(docs)
sparse = (tfidf.transform(docs) @ tfidf.transform([query]).T).toarray().ravel()
# Volet dense : similarité cosinus des plongements de phrases, qui correspondent au sens
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
dense = model.similarity(model.encode(query), model.encode(docs))[0].numpy()
# Fusion réciproque des rangs : chaque liste ajoute 1 / (60 + rang) au score d’un document
fused = np.zeros(len(docs))
for scores in (sparse, dense):
fused[np.argsort(-scores)] += 1 / (60 + np.arange(1, len(docs) + 1))
for name, scores in [("sparse", sparse), ("dense", dense), ("hybrid", fused)]:
print(name, np.argsort(-scores)[:3])Le volet mots-clés classe en premier la description du symptôme (document 3), car elle contient le mot rare « sluggish », et le volet dense classe en premier l’entrée relative à la panne E-4012 (document 0), suivie du bon de commande de pièces. RRF place la panne E-4012 en tête, car elle occupe le rang 2 dans une liste et le rang 1 dans l’autre, puis la description du symptôme en deuxième position, fournissant ainsi les deux documents qui répondent ensemble à la requête.
Applications concrètes#
- Recherche de produits dans le commerce de détail : Trouve les numéros de modèle et les noms de marque exacts tout en comprenant aussi les requêtes descriptives comme « chaussures de randonnée imperméables ».
- Assistance technique et RAG sur des manuels : Récupère la page correspondant à un code d’erreur exact ainsi que les passages décrivant le même symptôme avec d’autres mots.
- Recherche juridique et conformité : Trouve textuellement les numéros de lois et les noms d’affaires, et récupère aussi les passages portant sur le même concept juridique.
La recherche hybride en pratique#
Elasticsearch, OpenSearch, Weaviate, Qdrant, Pinecone et Vespa prennent en charge nativement les requêtes hybrides, et PostgreSQL peut combiner sa recherche en texte intégral intégrée à l’extension pgvector dans une seule requête de base de données vectorielle. Les filtres de métadonnées, comme une plage de dates ou une catégorie de produits, constituent un mécanisme distinct : ils déterminent quels documents peuvent être classés avant l’exécution de l’un ou l’autre volet.
Ultralytics Platform utilise un classement hybride dans sa recherche d’images de jeux de données : les images dont le nom de fichier, la classe annotée ou les métadonnées personnalisées correspondent au texte recherché apparaissent en premier, suivies de jusqu’à 1 000 autres images ressemblant à la description, si bien qu’une recherche comme « chariot élévateur près d’une porte » renvoie aussi des images d’une telle scène sans nom, étiquette ni métadonnée correspondants. La recherche par mots-clés renforce également le RAG textuel. Lors des tests d’Anthropic sur la récupération contextuelle, l’ajout de BM25 contextuel aux plongements contextuels a fait passer le taux d’échec de récupération dans les 20 premiers résultats de 3,7 % à 2,9 %.










