Hybrid Search

Diese Suchmethodik verbindet die Präzision des traditionellen Keyword-Matchings mit dem kontextuellen Verständnis moderner KI und ruft Informationen ab sowie bewertet sie, indem sie sowohl sparsame (sparse) als auch dichte (dense) Datenrepräsentationen nutzt. Während eine Standard-Suchmaschine ausschließlich auf exakte Keyword-Übereinstimmungen (bekannt als lexikalische Suche) setzt und Vektorsuchmaschinen rein auf semantischer Ähnlichkeit basieren, führt eine hybride Suchmaschine diese beiden Ansätze zusammen, um hochpräzise und kontextbewusste Ergebnisse zu liefern.

Funktionsweise#

Eine typische Pipeline für die hybride Suche führt zwei verschiedene Abrufmethoden gleichzeitig aus und führt deren Ergebnisse in einer einzigen, optimierten Rangfolge zusammen:

• Lexikalische (Sparse-)Suche: Verwendet Algorithmen wie BM25, um exakte Keyword-Übereinstimmungen basierend auf der Termhäufigkeit zu bewerten. Dies ist entscheidend, um spezifische Entitäten, Akronyme, Produkt-SKUs oder Fachjargon abzurufen, die ein rein semantisches Modell möglicherweise nur schwer erkennen kann.
• Semantische (Dense-)Suche: Generiert mithilfe von KI-Modellen hochdimensionale Zahlenarrays, um die tiefe Bedeutung und den Kontext einer Abfrage zu verstehen. Dadurch kann das System relevante Ergebnisse finden, selbst wenn die exakten Wörter in der Suchanfrage fehlen.

Sobald beide Methoden ihre Kandidatenergebnisse ermittelt haben, kombiniert ein Fusionsalgorithmus – am häufigsten Reciprocal Rank Fusion (RRF) – die Listen. RRF berechnet einen neuen Score basierend auf dem Rang jedes Elements in den jeweiligen Sparse- und Dense-Ergebnismengen. Dadurch wird sichergestellt, dass Dokumente, die in einer oder beiden Suchen weit oben stehen, an die Spitze gelangen, wodurch breite kontextuelle Treffer mit präziser Keyword-Genauigkeit ausbalanciert werden.

Echte KI- und ML-Anwendungen#

Moderne KI-Architekturen verlassen sich stark auf diese Technik, um die Einschränkungen der Verwendung einer einzelnen Abrufmethode in Produktionsumgebungen zu überwinden.

• Hybrid RAG (Retrieval-Augmented Generation): In Unternehmenswissenssystemen ist es entscheidend, einem Large Language Model (LLM) den relevantesten Kontext bereitzustellen, um Halluzinationen zu verhindern. Ein hybrides RAG-Setup stellt sicher, dass das Modell Dokumente abruft, die exakte technische Einschränkungen erfüllen, und gleichzeitig semantisch verwandte Abschnitte einbindet.
• E-Commerce und visuelle Produktsuche: Händler nutzen die hybride Suche, um Produktkataloge zu betreiben. Ein Nutzer sucht vielleicht nach „roten Laufschuhen“. Die lexikalische Engine gleicht die exakten Marken- oder Kategorie-Keywords ab, während ein Vision-KI-Modell Bild-Embeddings verwendet, um visuell ähnliche Artikel anzuzeigen.

Heutzutage unterstützt fast jede größere Vektordatenbank – darunter Pinecone, Qdrant, OpenSearch und PostgreSQL über pgvector – die hybride Suche nativ. Dies ermöglicht es Entwicklern, sowohl spärliche Keywords als auch dichte Vektoren effizient in einer einzigen Infrastruktur zu indizieren.

Generierung von Metadaten für die hybride Suche#

In Computer Vision-Pipelines kannst du aussagekräftige Keywords aus Bildern extrahieren, um die Sparse-Komponente eines hybriden Index zu erstellen. Mit Ultralytics YOLO26 kannst du automatisch eine Objekterkennung auf einem Bild durchführen und diese Klassennamen als Metadatentags verwenden. Diese Keyword-Tags können dann mit den dichten Vektor-Embeddings des Bildes für eine umfassende Indizierung kombiniert werden.

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 object detection model
model = YOLO("yolo26n.pt")

# Run inference to detect objects in an image
results = model("store_aisle.jpg")

# Extract predicted class names to be indexed as keyword metadata (sparse data)
keywords = [model.names[int(box.cls)] for box in results[0].boxes]
print("Sparse keywords for lexical search:", keywords)

Durch die Anreicherung dichter Bild-Embeddings mit präzisen, KI-generierten Sparse-Keywords können Entwickler die Ultralytics Platform und hybridkompatible Vektordatenbanken nutzen, um robuste multimodale Suchmaschinen zu entwickeln, die sowohl die expliziten Text-Tags als auch den impliziten visuellen Kontext ihrer Daten perfekt verstehen.