Hybrid Search
Hibrit arama, aynı sorgu için anahtar sözcük (BM25) ve vektör tabanlı getirme yöntemlerini çalıştırır ve sıralanmış iki listeyi çoğunlukla Karşılıklı Sıra Birleştirme ile tek bir listede birleştirir.
Hibrit arama, aynı sorgu için anahtar sözcük erişimi ve vektör araması yürütür, ardından sıralanmış iki listeyi birleştirir. Sözcüksel arama olarak da adlandırılan anahtar sözcük araması, tam terim eşleşmelerini BM25 gibi bir formülle puanlar ve sözcük dağarcığı üzerindeki seyrek terim ağırlıkları vektörüyle her belgeyi temsil ettiği için seyrek erişim olarak adlandırılır. Vektör araması, anlamı yakalayan yoğun gömme vektörlerini karşılaştırır. BM25, gömme modeli tarafından belirsizleştirilebilecek tam hata kodunu, ürün SKU'sunu veya kişi adını bulur. Gömme vektörleri ise sorgudaki hiçbir sözcükle ortak sözcük içermeyen eş anlamlıları ve başka ifadelerle anlatılmış sorguları bulur. Bu yöntemleri birleştirmek, erişimle artırılmış üretim (RAG) ve kurumsal arama için yaygın bir erişim yapılandırmasıdır.
Seyrek ve Yoğun Erişimi Neden Birleştirmeli?#
Yoğun erişim sistemleri belirli eğitim verilerinden öğrenir ve bu sistemlerin üstünlüğü yabancı alanlarda azalır. BEIR kıyaslaması (2021), erişim modellerini 18 veri kümesinde sıfır örnekle test etti ve BM25'in sağlam bir temel çizgi olduğunu, birçok yoğun modelin eğitim alanı dışında bu çizgiyi geçemediğini ortaya koydu. ColBERT gibi yeniden sıralayıcılar ve geç etkileşimli modeller daha yüksek hesaplama maliyetiyle en iyi puanları aldı. BM25'i yoğun bir erişim sisteminin yanında çalıştırmak, anlamsal aramadan vazgeçmeden anahtar sözcüklerin güçlü yönlerini korur. SPLADE gibi öğrenilmiş seyrek modeller ise sözcük dağarcığındaki terimlere, belgenin hiç içermediği ilgili terimler de dâhil olmak üzere, ağırlık atamak için bir transformer kullanarak çizgiyi diğer yönden bulanıklaştırır.
Sonuçlar Nasıl Birleştirilir?#
BM25 puanlarının üst sınırı yoktur; kosinüs benzerlikleri ise -1 ile 1 arasında kalır. Bu nedenle iki liste doğrudan toplanamaz. İki birleştirme yöntemi yaygındır:
- Karşılıklı Sıra Birleştirme (RRF): Her belgeye, göründüğü listelerdeki 1 / (k + sıra) değerlerinin toplamını verir; k değeri, Cormack, Clarke ve Büttcher'in 2009 tarihli makalesindeki gibi 60'tır. Yalnızca sıraları kullandığı için puan normalleştirme veya ayarlama gerektirmez.
- Ağırlıklı puan birleştirme: Her iki puan kümesini, örneğin 0 ile 1 aralığına normalleştirir ve doğrulama sorgularına göre ayarlanan alfa değeriyle alfa x yoğun + (1 - alfa) x seyrek şeklinde birleştirir.
Bir yeniden sıralayıcı, birleştirilmiş liste sonuçlar gösterilmeden veya bir büyük dil modeline (LLM) aktarılmadan önce genellikle listeyi yeniden sıralar. Aşağıdaki örnek, scikit-learn TF-IDF anahtar sözcük puanlarını ve Sentence Transformers gömme vektörlerini kullanarak her iki erişim kolunu çalıştırır, ardından sonuçları RRF ile birleştirir:
import numpy as np
from sentence_transformers import SentenceTransformer
from sklearn.feature_extraction.text import TfidfVectorizer
docs = [
"Fault E-4012: hydraulic pressure low on press 7",
"Fault E-4021: hydraulic pressure low on press 2",
"Order form for E-4012 replacement sensor kits",
"Low oil pressure makes the press ram sluggish",
"Weekly cleaning checklist for the paint booth",
]
query = "E-4012 sluggish"
# Seyrek kol: arıza kodları gibi tam token'ları eşleştiren TF-IDF anahtar sözcük puanları
tfidf = TfidfVectorizer(token_pattern=r"[\w-]+", stop_words="english").fit(docs)
sparse = (tfidf.transform(docs) @ tfidf.transform([query]).T).toarray().ravel()
# Yoğun kol: anlamı eşleştiren cümle gömme vektörlerinin kosinüs benzerliği
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
dense = model.similarity(model.encode(query), model.encode(docs))[0].numpy()
# Karşılıklı Sıra Birleştirme: her liste, bir belgenin puanına 1 / (60 + sıra) ekler
fused = np.zeros(len(docs))
for scores in (sparse, dense):
fused[np.argsort(-scores)] += 1 / (60 + np.arange(1, len(docs) + 1))
for name, scores in [("sparse", sparse), ("dense", dense), ("hybrid", fused)]:
print(name, np.argsort(-scores)[:3])Anahtar sözcük kolu, nadir görülen "yavaş" sözcüğünü içerdiği için belirti açıklamasını (belge 3) ilk sıraya koyar. Yoğun kol ise E-4012 arıza kaydını (belge 0) ilk sıraya, ardından parça sipariş formunu koyar. RRF, E-4012 arızasını ilk sıraya yerleştirir; çünkü bu kayıt bir listede 2., diğerinde 1. sıradadır. Sorguyu birlikte yanıtlayan iki belgeyi döndürerek belirti açıklamasını ikinci sıraya koyar.
Gerçek Dünya Uygulamaları#
- Perakende ürün araması: Tam model numaralarını ve marka adlarını eşleştirirken "su geçirmez arazi ayakkabıları" gibi betimleyici sorguları da anlar.
- Teknik destek ve kılavuzlar üzerinde RAG: Tam bir hata koduna ait sayfayı ve aynı belirtiyi başka sözcüklerle açıklayan bölümleri getirir.
- Hukuk ve uyumluluk araştırması: Kanun numaralarını ve dava adlarını aynen bulur, ayrıca aynı hukuki kavram hakkındaki bölümleri de getirir.
Uygulamada Hibrit Arama#
Elasticsearch, OpenSearch, Weaviate, Qdrant, Pinecone ve Vespa hibrit sorguları yerleşik olarak destekler. PostgreSQL ise yerleşik tam metin aramasını pgvector uzantısıyla tek bir vektör veritabanı sorgusunda birleştirebilir. Tarih aralığı veya ürün kategorisi gibi meta veri filtreleri ayrı bir mekanizmadır: Her iki erişim kolu da sıralama yapmadan önce hangi belgelerin seçilebileceğini kısıtlar.
Ultralytics Platform, veri kümesinde görsel arama için hibrit bir sıralama kullanır: Dosya adı, etiketlenmiş sınıfı veya özel meta verisi arama metniyle eşleşen görselleri önce gösterir, ardından metnin tarif ettiğine benzeyen en fazla 1.000 görseli sunar. Böylece "kapı yakınındaki forklift" gibi bir arama, eşleşen adı, etiketi veya meta verisi olmayan ancak bu sahneyi gösteren görselleri de getirir. Anahtar sözcük erişimi metin RAG'ini de güçlendirir. Anthropic'in bağlamsal erişim testlerinde bağlamsal gömme vektörlerine bağlamsal BM25 eklemek, ilk 20 sonuçtaki erişim başarısızlığı oranını %3,7'den %2,9'a düşürdü.










