Hybrid Search
Bei der hybriden Suche werden für dieselbe Anfrage eine Stichwortsuche (BM25) und ein Vektorabruf ausgeführt und die beiden Ranglisten, häufig mit Reciprocal Rank Fusion, zu einer zusammengeführt.
Die hybride Suche führt für dieselbe Anfrage eine Stichwortsuche und eine Vektorsuche durch und führt die beiden Ranglisten zu einer zusammen. Die Stichwort- oder lexikalische Suche bewertet exakte Begriffstreffer mit einer Formel wie BM25 und wird als sparse Retrieval bezeichnet, weil jedes Dokument als dünn besetzter Vektor aus Begriffgewichten über dem Wortschatz dargestellt wird. Die Vektorsuche vergleicht dichte Embeddings, die Bedeutung erfassen. BM25 findet den exakten Fehlercode, die Produkt-SKU oder den Namen einer Person, die ein Embedding-Modell möglicherweise verwischt. Embeddings finden Umschreibungen und Synonyme, die keine Wörter mit der Anfrage gemeinsam haben. Diese Kombination ist eine gängige Suchkonfiguration für Retrieval-Augmented Generation (RAG) und die Unternehmenssuche.
Warum sparse und dense Retrieval kombinieren?#
Dense Retriever lernen anhand bestimmter Trainingsdaten, und ihr Vorteil nimmt in unbekannten Fachgebieten ab. Der BEIR-Benchmark von 2021 testete Suchmodelle ohne vorheriges Training auf 18 Datensätzen. BM25 erwies sich als robuste Baseline, die viele dichte Modelle außerhalb ihres Trainingsgebiets nicht übertrafen. Reranker und Late-Interaction-Modelle wie ColBERT erzielten die besten Ergebnisse, allerdings mit höherem Rechenaufwand. Durch den parallelen Einsatz von BM25 und einem dichten Retriever bleiben die Stärken der Stichwortsuche erhalten, ohne auf semantische Suche zu verzichten. Gelernte Sparse-Modelle wie SPLADE verwischen die Grenze von der anderen Seite: Sie verwenden einen Transformer, um Begriffen aus dem Wortschatz Gewichte zuzuweisen, darunter auch verwandten Begriffen, die in einem Dokument gar nicht vorkommen.
So werden Ergebnisse zusammengeführt#
BM25-Werte sind nach oben unbegrenzt, während Kosinusähnlichkeiten zwischen -1 und 1 liegen. Deshalb können die beiden Listen nicht direkt addiert werden. Zwei Fusionsmethoden sind üblich:
- Reziproke Rangfusion (RRF): Addiert für jedes Dokument 1 / (k + Rang) über alle Listen, in denen das Dokument vorkommt, wobei k = 60 gilt, wie in der Arbeit von Cormack, Clarke und Büttcher aus dem Jahr 2009. Die Methode verwendet nur Ränge und erfordert daher weder eine Normalisierung der Werte noch eine Feinabstimmung.
- Fusion gewichteter Werte: Normalisiert beide Wertemengen, beispielsweise auf den Bereich von 0 bis 1, und kombiniert sie als alpha x dense + (1 - alpha) x sparse. alpha wird anhand von Validierungsanfragen abgestimmt.
Ein Reranker ordnet die zusammengeführte Liste häufig neu, bevor die Ergebnisse angezeigt oder an ein großes Sprachmodell (LLM) übergeben werden. Das folgende Beispiel führt beide Suchläufe mit TF-IDF-Stichwortwerten aus scikit-learn und Sentence-Transformers-Embeddings aus und führt die Ergebnisse anschließend mit RRF zusammen:
import numpy as np
from sentence_transformers import SentenceTransformer
from sklearn.feature_extraction.text import TfidfVectorizer
docs = [
"Fault E-4012: hydraulic pressure low on press 7",
"Fault E-4021: hydraulic pressure low on press 2",
"Order form for E-4012 replacement sensor kits",
"Low oil pressure makes the press ram sluggish",
"Weekly cleaning checklist for the paint booth",
]
query = "E-4012 sluggish"
# Sparse-Suchlauf: TF-IDF-Stichwortwerte, die exakte Tokens wie Fehlercodes finden
tfidf = TfidfVectorizer(token_pattern=r"[\w-]+", stop_words="english").fit(docs)
sparse = (tfidf.transform(docs) @ tfidf.transform([query]).T).toarray().ravel()
# Dense-Suchlauf: Kosinusähnlichkeit von Satz-Embeddings, die nach Bedeutung sucht
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
dense = model.similarity(model.encode(query), model.encode(docs))[0].numpy()
# Reziproke Rangfusion: Jede Liste addiert 1 / (60 + Rang) zum Wert eines Dokuments
fused = np.zeros(len(docs))
for scores in (sparse, dense):
fused[np.argsort(-scores)] += 1 / (60 + np.arange(1, len(docs) + 1))
for name, scores in [("sparse", sparse), ("dense", dense), ("hybrid", fused)]:
print(name, np.argsort(-scores)[:3])Der Stichwort-Suchlauf stuft die Symptombeschreibung (Dokument 3) an erster Stelle ein, weil sie das seltene Wort „träge“ enthält. Der dichte Suchlauf stuft den Fehler E-4012 (Dokument 0) an erster Stelle ein, gefolgt vom Bestellformular für Ersatzteile. RRF platziert den Fehler E-4012 an erster Stelle, weil er in einer Liste Rang 2 und in der anderen Rang 1 belegt. Die Symptombeschreibung folgt an zweiter Stelle. Zusammen beantworten die beiden Dokumente die Anfrage.
Anwendungen in der Praxis#
- Produktsuche im Einzelhandel: Findet genaue Modellnummern und Markennamen und versteht zugleich beschreibende Suchanfragen wie „wasserdichte Wanderschuhe“.
- Technischer Support und RAG für Handbücher: Findet die Seite zu einem exakten Fehlercode sowie Passagen, in denen dasselbe Symptom mit anderen Worten beschrieben wird.
- Rechts- und Compliance-Recherche: Findet Gesetzesnummern und Fallnamen im Wortlaut und ruft außerdem Passagen zum selben Rechtskonzept ab.
Hybride Suche in der Praxis#
Elasticsearch, OpenSearch, Weaviate, Qdrant, Pinecone und Vespa unterstützen hybride Anfragen nativ. PostgreSQL kann seine integrierte Volltextsuche zusammen mit der pgvector-Erweiterung in einer einzigen Anfrage an die Vektordatenbank nutzen. Metadatenfilter, etwa ein Datumsbereich oder eine Produktkategorie, sind davon unabhängig: Sie schränken die Dokumente ein, die berücksichtigt werden können, bevor einer der Suchläufe die Rangfolge erstellt.
Die Ultralytics Platform verwendet bei ihrer Bildsuche in Datensätzen eine hybride Sortierung: Zuerst erscheinen Bilder, deren Dateiname, annotierte Klasse oder benutzerdefinierte Metadaten zum Suchtext passen. Danach folgen bis zu 1.000 weitere Bilder, die dem Beschriebenen ähneln. So liefert eine Suche wie „Gabelstapler in der Nähe einer Tür“ auch Bilder einer solchen Szene, deren Name, Label oder Metadaten keinen passenden Treffer enthalten. Die Stichwortsuche verbessert auch textbasiertes RAG. In Tests von Anthropic zu kontextuellem Retrieval sank durch kontextuelles BM25 zusätzlich zu kontextuellen Embeddings die Ausfallrate beim Abruf der 20 besten Treffer von 3,7 % auf 2,9 %.










