Hybrid Search

Durch die Kombination der Präzision herkömmlicher Schlüsselwort-Übereinstimmungen mit dem kontextuellen Verständnis moderner KI ruft diese Suchmethode Informationen ab und bewertet sie, indem sie sowohl spärliche (sparse) als auch dichte (dense) Datenrepräsentationen nutzt. Während eine standardmäßige Suchmaschine vollständig auf exakten Schlüsselwort-Übereinstimmungen (bekannt als lexikalische Suche) basiert und Vektor-Suchmaschinen rein auf semantischer Ähnlichkeit beruhen, führt eine Hybridsuchmaschine diese beiden Ansätze zusammen, um hochpräzise und kontextbewusste Ergebnisse zu liefern.

Funktionsweise

Eine typische Hybridsuch-Pipeline führt zwei verschiedene Abrufmethoden gleichzeitig aus und führt deren Ergebnisse in ein einzelnes, optimiertes Ranking zusammen:

• Lexikalische (spärliche) Suche: Verwendet Algorithmen wie BM25, um exakte Schlüsselwort-Übereinstimmungen basierend auf der Termhäufigkeit zu bewerten. Dies ist entscheidend für das Abrufen spezifischer Entitäten, Akronyme, Produkt-SKUs oder Fachbegriffe, die ein rein semantisches Modell möglicherweise nur schwer identifizieren kann.
• Semantische (dichte) Suche: Erzeugt mithilfe von KI-Modellen hochdimensionale Zahlenarrays, um die tieferliegende Bedeutung und den Kontext einer Suchanfrage zu verstehen. Dies ermöglicht es dem System, relevante Ergebnisse zu finden, selbst wenn die exakten Wörter in der Suchanfrage fehlen.

Sobald beide Methoden ihre Kandidatenergebnisse abgerufen haben, kombiniert ein Fusionsalgorithmus – am häufigsten Reciprocal Rank Fusion (RRF) – die Listen. RRF berechnet einen neuen Score basierend auf dem Rang jedes Elements in den jeweiligen spärlichen und dichten Ergebnismengen. Dies stellt sicher, dass Dokumente, die in einer oder beiden Suchen hoch rangieren, an die Spitze gelangen und ein Gleichgewicht zwischen breiten kontextuellen Übereinstimmungen und präziser Schlüsselwortgenauigkeit herstellen.

Reale KI- und ML-Anwendungen

Moderne KI-Architekturen verlassen sich stark auf diese Technik, um die Einschränkungen der Verwendung einer einzelnen Abrufmethode in Produktionsumgebungen zu überwinden.

• Hybrid RAG (Retrieval-Augmented Generation): In Unternehmenswissenssystemen ist die Versorgung eines Large Language Model (LLM) mit dem relevantesten Kontext entscheidend, um Halluzinationen zu vermeiden. Ein Hybrid-RAG-Setup stellt sicher, dass das Modell Dokumente abruft, die exakten technischen Vorgaben entsprechen, während es gleichzeitig semantisch verwandte Absätze einbezieht.
• E-Commerce und visuelle Produktentdeckung: Einzelhändler nutzen Hybridsuche, um Produktkataloge zu betreiben. Ein Nutzer könnte nach "roten Laufschuhen" suchen. Die lexikalische Engine findet die exakten Marken- oder Kategoriewörter, während ein Vision-KI-Modell Bild-Embeddings nutzt, um visuell ähnliche Artikel anzuzeigen.

Heute unterstützt fast jede wichtige Vektordatenbank – einschließlich Pinecone, Qdrant, OpenSearch und PostgreSQL via pgvector – die Hybridsuche nativ. Dies ermöglicht es Entwicklern, sowohl spärliche Schlüsselwörter als auch dichte Vektoren effizient in einer einzigen Infrastruktur zu indexieren.

Generierung von Metadaten für die Hybridsuche

In Pipelines für Computer Vision kannst du aussagekräftige Schlüsselwörter aus Bildern extrahieren, um die spärliche Komponente eines Hybrid-Indexes zu erstellen. Mit Ultralytics YOLO26 kannst du automatisch eine Objekterkennung auf einem Bild durchführen und diese Klassennamen als Metadaten-Tags verwenden. Diese Schlüsselwort-Tags können dann mit den dichten Vektor-Embeddings des Bildes für eine umfassende Indizierung kombiniert werden.

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 object detection model
model = YOLO("yolo26n.pt")

# Run inference to detect objects in an image
results = model("store_aisle.jpg")

# Extract predicted class names to be indexed as keyword metadata (sparse data)
keywords = [model.names[int(box.cls)] for box in results[0].boxes]
print("Sparse keywords for lexical search:", keywords)

Durch die Anreicherung dichter Bild-Embeddings mit präzisen, KI-generierten spärlichen Schlüsselwörtern können Entwickler die Ultralytics Platform und hybride, kompatible Vektordatenbanken nutzen, um robuste multimodale Suchmaschinen aufzubauen, die sowohl die expliziten textuellen Tags als auch den impliziten visuellen Kontext ihrer Daten perfekt verstehen.