Reranker

Yeniden Sıralayıcılar Nasıl Çalışır?

Bir reranker kullanmanın temel nedeni hız ve doğruluğu dengelemektir. Anahtar kelime tabanlı arama veya katıştırmalar üzerinde yaklaşık en yakın komşu (YSA) araması gibi ilk erişim sistemleri, potansiyel olarak alakalı öğeleri belirlemek için potansiyel olarak büyük veri kümelerini (web belgeleri, ürün katalogları veya görüntü veritabanları gibi) hızlı bir şekilde taramalıdır. Bu ilk aşama sistemleri hıza ve yüksek geri çağırmaya öncelik verir, yani daha az alakalı olanları dahil etmek anlamına gelse bile potansiyel olarak alakalı tüm öğeleri almayı hedeflerler. Genellikle ihtiyaç duyulandan daha büyük bir aday kümesi döndürürler.

Bir yeniden sıralayıcı daha sonra bu en iyi adayların daha küçük bir alt kümesini alır (örneğin, ilk aramadan elde edilen en iyi 100 sonuç) ve daha güçlü, hesaplama açısından zorlu bir model uygular. Bu model, kullanıcının sorgusu ile her bir aday öğe arasındaki ilişkinin daha derin bir analizini gerçekleştirebilir. Yaygın teknikler, Transformers gibi karmaşık derin öğrenme (DL) modellerinin, özellikle de çapraz kodlayıcılar olarak bilinen varyantların kullanılmasını içerir. Çapraz kodlayıcılar sorguyu ve bir aday öğeyi birlikte değerlendirerek bağlamsal alaka düzeyinin zengin bir şekilde anlaşılmasını sağlar ve genellikle sorgu ve öğe katıştırmalarını ayrı ayrı değerlendirebilen ilk erişim aşamasından daha üstündür. Yeniden sıralayıcı, her aday için yeni, rafine bir ilgililik puanı çıkararak sistemin en alakalı öğeleri ilk olarak sunmasını sağlar ve böylece nihai sonuçların kesinliğini artırır.

Yeniden Sıralama ve İlk Erişim

Yeniden sıralayıcıları ilk erişim veya sıralama aşamasından ayırmak çok önemlidir:

• İlk Alım (İlk Aşama):
  • Amaç: Büyük bir derlemden potansiyel olarak ilgili adayların geniş bir kümesini hızlı bir şekilde bulmak. Hız ve geri çağırmaya öncelik verir.
  • Yöntemler: Genellikle ters çevrilmiş dizinler(Apache Lucene, Elasticsearch), katıştırmalar üzerinde YSA araması veya daha basit puanlama işlevleri gibi teknikler kullanır.
  • Karmaşıklık: Öğe başına hesaplama açısından daha ucuz, milyarlarca öğeye ölçeklenebilir.
• Yeniden Sıralama (İkinci Aşama):
  • Hedef: İlk aşama tarafından sağlanan daha küçük bir üst aday kümesini doğru bir şekilde yeniden sıralamak. Hassasiyet ve alaka düzeyine öncelik verir.
  • Yöntemler: BERT tabanlı çapraz kodlayıcılar, Transformatörler veya diğer sofistike özellik etkileşimleri gibi daha karmaşık modeller kullanır. Teknikler genellikle optimum performans için hiperparametre ayarını içerir.
  • Karmaşıklık: Öğe başına hesaplama açısından daha pahalıdır, ancak yalnızca sınırlı sayıda adaya uygulanır (örneğin, ilk 50-200).

Uygulamalar ve Örnekler

Yeniden sıralayıcılar birçok modern yapay zeka uygulamasında hayati öneme sahiptir:

• Web Arama Motorları: Gibi şirketler Google ve Microsoft Bing, basit anahtar kelime eşleşmesinin ötesinde nüanslı faktörleri göz önünde bulundurarak kullanıcılara sunulan en iyi arama sonuçlarının iyileştirilmesinde yeniden sıralayıcıların önemli bir rol oynadığı çok aşamalı sıralama sistemleri kullanmaktadır. Bu, bilgi erişim araştırmasının temel bir parçasıdır.
• E-ticaret Platformları: Amazon gibi siteler, ürün önerilerini ve arama sonuçlarını iyileştirmek için yeniden sıralayıcıları kullanır ve kullanıcılara, karmaşık kullanıcı davranışı modellerine ve ürün özelliklerine dayalı olarak satın alma olasılıkları daha yüksek olan ürünleri gösterir. Bu konu, Amazon Science gibi yerlerde yapılan araştırmalarda ayrıntılı olarak açıklanmaktadır.
• Geri Alım-Artırılmış Üretim (RAG): Büyük Dil Modelleri (LLM'ler) kullanan sistemlerde, RAG ilk olarak bağlam sağlamak için ilgili belgeleri alır. Daha sonra bir yeniden sıralayıcı, alınan bu belgeleri iyileştirerek daha doğru ve bilgili bir yanıt oluşturmak için en alakalı bağlamın LLM'ye aktarılmasını sağlayabilir. Cohere Rerank API gibi hizmetler özellikle bu amaç için tasarlanmıştır.
• Bilgisayarla Görme Sonrası İşleme: Geleneksel olarak "yeniden sıralayıcılar" olarak adlandırılmasa da, aşağıdaki gibi nesne algılama modellerinde kullanılan Maksimal Olmayan Bastırma (NMS) gibi teknikler Ultralytics YOLO benzer bir felsefeyi paylaşmaktadır. NMS, güven puanlarına ve örtüşmeye(IoU) dayalı olarak tahmin edilen sınırlayıcı kutuların ilk kümesini rafine eder, en olası tespitleri tutar ve ilk adayları rafine etmeye benzer şekilde gereksiz olanları bastırır. Model eğitimi ipuçlarını bulabilir ve bu tür modeller için performans kıyaslamalarını keşfedebilirsiniz. Bu modellerin eğitimi genellikle veri kümelerini ve deneyleri yönetmek için Ultralytics HUB gibi platformlardan yararlanır.