ColBERT

ColBERT (BERT Üzerinde Bağlamsallaştırılmış Geç Etkileşim), bir sorguyu ve her belgeyi her token için bir gömme vektörü olarak temsil eden ve belgeleri geç etkileşimle puanlayan bir sinir ağı tabanlı bilgi erişim modelidir: Her sorgu token'ı, en benzer belge token'ını bulur ve MaxSim adı verilen bu en yüksek benzerlikler toplanarak alaka puanı elde edilir. Stanford Üniversitesi'nden Omar Khattab ve Matei Zaharia, modeli SIGIR 2020 makalesi ColBERT: BERT Üzerinde Bağlamsallaştırılmış Geç Etkileşimle Verimli ve Etkili Paragraf Arama ile tanıttı. Belge token'larının gömme vektörleri çevrimdışı olarak yalnızca bir kez hesaplanır; böylece sorgu sırasında her aday belge için tam bir BERT geçişi yerine düşük maliyetli bir benzerlik hesabı yapılır.

Geç Etkileşimin Yeri#

Sinir ağı tabanlı erişim modelleri, sorgu ve belgenin ne zaman bir araya geldiğine göre farklılaşır. Çift kodlayıcılar her metni tek bir vektöre sıkıştırır; bu, vektör arama için standart yaklaşımdır: Belge vektörleri önceden hesaplanır ve arama hızlıdır, ancak tek vektör tek tek terimler arasındaki ayrımları bulanıklaştırır. Çapraz kodlayıcılar sorguyu ve belgeyi birlikte bir Transformer üzerinden geçirir; böylece dikkat her token çiftini karşılaştırır. Bunlar en yüksek doğruluğu sağlar ve her sorgu-belge çifti için bir kez çalıştırılmalıdır; bu da kullanımlarını kısa aday listelerinin yeniden sıralanmasıyla sınırlar.

ColBERT, tıpkı çift kodlayıcı gibi sorguyu ve belgeyi ayrı ayrı kodlar; ancak token başına 128 boyutlu bir vektör tutar ve iki tarafın yalnızca son MaxSim adımında etkileşmesine izin verir. Sorgular, sorguyu ilişkili terimlerle genişletmek için modele ek yerler sağlayan sabit 32 uzunluğuna ulaşmak üzere BERT'in maske token'ıyla doldurulur. MS MARCO ve TREC CAR paragraf arama kıyaslamalarında ColBERT, BERT tabanlı sıralayıcılarla rekabet edebilirken iki kat mertebesi daha hızlı çalıştı ve sorgu başına dört kat mertebesi daha az FLOP kullandı.

MaxSim Puanının Hesaplanması#

MaxSim işleci birkaç satır PyTorch koduyla uygulanabilir. Bu örnek, küçük bir BERT ailesi kodlayıcısından alınan bağlamsal token gömme vektörlerine işleci uygular:

import torch.nn.functional as F
from sentence_transformers import SentenceTransformer

encoder = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
query = "who wrote the novel Dune"
docs = [
    "Frank Herbert published the science fiction novel Dune in 1965.",
    "A dune is a hill of sand shaped by the wind.",
]

# One L2-normalized contextual embedding per query token
q = F.normalize(encoder.encode(query, output_value="token_embeddings"), dim=-1)
for doc in docs:
    d = F.normalize(encoder.encode(doc, output_value="token_embeddings"), dim=-1)

    # MaxSim: each query token keeps its best-matching document token, and the maxima are summed
    score = (q @ d.T).max(dim=1).values.sum()
    print(f"{score.item():.2f}  {doc}")

Roman paragrafı 5.90, kum tepesi paragrafı ise 4.33 puan alıyor. Her ikisinde de "dune" geçiyor ve bu sözcük her iki paragrafta da güçlü biçimde eşleşiyor; ancak ilk paragrafta sorgudaki "wrote" token'ı, 0.72 kosinüs benzerliği ile "published" sözcüğünü buluyor ve "novel" kendisiyle eşleşiyor. İkinci paragrafta ise "wrote" için en iyi eşleşme yalnızca 0.29'a ulaşıyor.

ColBERT ve İlişkili Terimler#

• BERT'in kendisi: ColBERT'in bilgi erişimi için ince ayar yaptığı önceden eğitilmiş kodlayıcıdır; her token'ı 128 boyuta yansıtan doğrusal bir katman ekler.
• Geç parçalama: Metni bölmeden önce bağlam içinde kodlar, ardından her parçada token'ların ortalamasını alarak tek bir vektör oluşturur; ColBERT ise her token vektörünü korur.
• Anlamsal arama: ColBERT'in yaptığı görevdir; paragrafları ortak anahtar sözcüklere göre değil, anlamlarına göre sıralar.
• Hibrit arama: Tam terim eşleşmesiyle anlamı bir araya getirmek için anahtar sözcük sonuçlarını tek vektörlü arama sonuçlarıyla birleştirir. ColBERT'in token düzeyindeki eşleştirmesi, bu tamlığın bir bölümünü tek bir sinir ağı modelinde yakalar.

Görüntülerde Geç Etkileşim#

Geç etkileşim görüntülerde de işe yarar. ColPali (2024), her belge sayfasının ekran görüntüsünü bir görme-dil modeli ile yama vektörlerinden oluşan bir ızgara olarak kodlar ve MaxSim kullanarak sorgu token'larıyla puanlar; böylece PDF'ler üzerinde çok modlu RAG için geç etkileşimden yararlanır. Açık kelime dağarcıklı algılama, benzer bir nedenle görüntü özelliklerini ayrıntılı tutar: Ultralytics YOLOE, "çift katlı otobüs" gibi istemle belirtilen her sınıf için bir metin gömme vektörü saklar ve bunu özellik haritalarının her konumundaki bölge özellikleriyle karşılaştırır. Böylece kısa bir istem, tüm görüntüyü özetleyen tek bir vektör yerine küçük bir nesneyle eşleşebilir.

ColBERTv2 ve PLAID#

Her token için bir vektör saklamak, ColBERT dizinini tek vektörlü bir dizinden yaklaşık bir kat mertebesi daha büyük hâle getirir. Bu maliyet, ColBERT'in bir getirmeyle zenginleştirilmiş üretim (RAG) işlem hattında ilk aşama erişim modeli veya yeniden sıralayıcı olarak kullanılması durumunda önem taşır. Stanford ColBERT deposu bu soruna iki çözüm sunar. PLAID, tam MaxSim'i çalıştırmadan önce adayları küme merkezlerine göre puanlayan bir arama motorudur. ColBERTv2 (NAACL 2022), her token vektörünü en yakın küme merkezinin kimliği ve boyut başına 1 veya 2 bite nicemlenmiş bir artık değer olarak saklar ve çapraz kodlayıcıdan damıtılan, gürültüsü giderilmiş denetimle eğitilir. Artık değer sıkıştırması, geç etkileşimin depolama alanı gereksinimini 6 ila 10 kat azalttı.