Hybrid Search

Durch die Kombination der Präzision klassischer Schlagwortsuche mit dem kontextuellen Verständnis moderner KI ruft diese Suchmethodik Informationen ab und ordnet sie, indem sie sowohl spärliche (sparse) als auch dichte (dense) Datenrepräsentationen nutzt. Während eine standardmäßige Suchmaschine vollständig auf exakten Schlagwortübereinstimmungen (bekannt als lexikalische Suche) basiert und Vektorsuchmaschinen rein auf semantischer Ähnlichkeit beruhen, führt eine Hybrid-Suchmaschine diese beiden Ansätze zusammen, um hochpräzise und kontextbezogene Ergebnisse zu liefern.

Link to this sectionFunktionsweise#

Eine typische Pipeline für die hybride Suche führt zwei verschiedene Abrufmethoden gleichzeitig aus und führt deren Ergebnisse in einer einzigen, optimierten Rangfolge zusammen:

• Lexikalische (Sparse) Suche: Verwendet Algorithmen wie BM25, um exakte Schlagwortübereinstimmungen basierend auf der Termhäufigkeit zu bewerten. Dies ist entscheidend für das Auffinden spezifischer Entitäten, Akronyme, Produkt-SKUs oder Fachbegriffe, die ein rein semantisches Modell möglicherweise nur schwer identifizieren kann.
• Semantische (Dense) Suche: Erzeugt hochdimensionale Zahlenarrays unter Verwendung von KI-Modellen, um die tiefere Bedeutung und den Kontext einer Suchanfrage zu verstehen. Dadurch kann das System relevante Ergebnisse finden, selbst wenn die exakten Wörter in der Suchanfrage fehlen.

Sobald beide Methoden ihre Kandidatenergebnisse abgerufen haben, kombiniert ein Fusionsalgorithmus—am häufigsten Reciprocal Rank Fusion (RRF)—die Listen. RRF berechnet einen neuen Score basierend auf dem Rang jedes Elements in den jeweiligen Sparse- und Dense-Ergebnismengen. Dies stellt sicher, dass Dokumente, die in einer oder beiden Suchvorgängen weit oben rangieren, an die Spitze gelangen, wodurch breite kontextuelle Übereinstimmungen mit präziser Schlagwortgenauigkeit in Einklang gebracht werden.

Link to this sectionEchte KI- und ML-Anwendungen#

Moderne KI-Architekturen verlassen sich stark auf diese Technik, um die Einschränkungen der Verwendung einer einzelnen Abrufmethode in Produktionsumgebungen zu überwinden.

• Hybrid RAG (Retrieval-Augmented Generation): In Unternehmenswissenssystemen ist es entscheidend, ein Large Language Model (LLM) mit dem relevantesten Kontext zu versorgen, um Halluzinationen zu vermeiden. Ein hybrides RAG-Setup stellt sicher, dass das Modell Dokumente abruft, die exakten technischen Anforderungen entsprechen, während gleichzeitig semantisch verwandte Absätze einbezogen werden.
• E-Commerce und visuelle Produktentdeckung: Einzelhändler nutzen die hybride Suche, um Produktkataloge zu unterstützen. Ein Benutzer sucht möglicherweise nach "roten Laufschuhen". Die lexikalische Suchmaschine findet die exakten Marken- oder Kategorie-Schlagworte, während ein Vision-KI-Modell Bild-Embeddings verwendet, um visuell ähnliche Artikel anzuzeigen.

Heute unterstützt nahezu jede große Vektordatenbank—einschließlich Pinecone, Qdrant, OpenSearch und PostgreSQL via pgvector—die hybride Suche nativ. Dies ermöglicht es Entwicklern, sowohl spärliche Schlagworte als auch dichte Vektoren effizient in einer einzigen Infrastruktur zu indizieren.

Link to this sectionGenerierung von Metadaten für die hybride Suche#

In Computer Vision Pipelines kannst du aussagekräftige Schlagworte aus Bildern extrahieren, um die Sparse-Komponente eines hybriden Indexes zu erstellen. Mit Ultralytics YOLO26 kannst du automatisch eine Objekterkennung auf einem Bild durchführen und diese Klassennamen als Metadaten-Tags verwenden. Diese Schlagwort-Tags können dann mit den dichten Vektor-Embeddings des Bildes für eine umfassende Indizierung kombiniert werden.

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 object detection model
model = YOLO("yolo26n.pt")

# Run inference to detect objects in an image
results = model("store_aisle.jpg")

# Extract predicted class names to be indexed as keyword metadata (sparse data)
keywords = [model.names[int(box.cls)] for box in results[0].boxes]
print("Sparse keywords for lexical search:", keywords)

Durch die Anreicherung dichter Bild-Embeddings mit präzisen, KI-generierten Sparse-Schlagworten können Entwickler die Ultralytics Platform und hybrid-kompatible Vektordatenbanken nutzen, um robuste, multimodale Suchmaschinen zu erstellen, die sowohl die expliziten Text-Tags als auch den impliziten visuellen Kontext ihrer Daten perfekt verstehen.