ColBERT
ColBERT codiert Suchanfragen und Dokumente als BERT-Einbettungen für einzelne Tokens und bewertet sie durch späte Interaktion (MaxSim), um schnelle und präzise Suche sowie RAG zu ermöglichen.
ColBERT (kontextualisierte späte Interaktion über BERT) ist ein neuronales Abrufmodell, das eine Anfrage und jedes Dokument mit jeweils einer Einbettung pro Token darstellt und ein Dokument durch späte Interaktion bewertet: Jedes Anfrage-Token sucht das ähnlichste Dokument-Token, und diese maximalen Ähnlichkeiten, MaxSim genannt, werden zum Relevanzwert addiert. Omar Khattab und Matei Zaharia von der Stanford University stellten das Modell im SIGIR-2020-Beitrag ColBERT: Effiziente und effektive Suche nach Passagen durch kontextualisierte späte Interaktion über BERT vor. Die Einbettungen der Dokument-Tokens werden einmalig offline berechnet. Zur Anfragezeit ist daher nur eine einfache Ähnlichkeitsberechnung nötig, statt jedes Kandidatendokument vollständig durch BERT zu verarbeiten.
Wo die späte Interaktion ihren Platz hat#
Neuronale Abrufmodelle unterscheiden sich darin, wann Anfrage und Dokument zusammengeführt werden. Bi-Encoder komprimieren jeden Text zu einem einzigen Vektor. Das ist der übliche Ansatz für die Vektorsuche: Dokumentvektoren werden vorab berechnet und die Suche ist schnell, aber ein einzelner Vektor verwischt die Unterschiede zwischen einzelnen Begriffen. Cross-Encoder verarbeiten Anfrage und Dokument gemeinsam durch einen Transformer, sodass die Aufmerksamkeit jedes Tokenpaar vergleicht. Sie sind am genauesten und müssen für jedes Anfrage-Dokument-Paar einmal ausgeführt werden, weshalb sie sich auf das Umsortieren kurzer Kandidatenlisten beschränken.
ColBERT codiert Anfrage und Dokument getrennt wie ein Bi-Encoder, behält aber einen 128-dimensionalen Vektor pro Token bei und lässt die beiden Seiten erst im abschließenden MaxSim-Schritt interagieren. Anfragen werden mit dem Maskierungstoken von BERT auf eine feste Länge von 32 aufgefüllt. Dadurch erhält das Modell zusätzliche Plätze, um die Anfrage um verwandte Begriffe zu erweitern. Bei den Benchmarks für die Passagensuche MS MARCO und TREC CAR war ColBERT mit BERT-basierten Rankern konkurrenzfähig, lief aber zwei Größenordnungen schneller und benötigte pro Anfrage vier Größenordnungen weniger FLOPs.
Berechnung eines MaxSim-Werts#
Der MaxSim-Operator lässt sich mit wenigen Zeilen PyTorch implementieren. Dieses Beispiel wendet ihn auf kontextualisierte Token-Einbettungen eines kleinen Encoders aus der BERT-Familie an:
import torch.nn.functional as F
from sentence_transformers import SentenceTransformer
encoder = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
query = "who wrote the novel Dune"
docs = [
"Frank Herbert published the science fiction novel Dune in 1965.",
"A dune is a hill of sand shaped by the wind.",
]
# One L2-normalized contextual embedding per query token
q = F.normalize(encoder.encode(query, output_value="token_embeddings"), dim=-1)
for doc in docs:
d = F.normalize(encoder.encode(doc, output_value="token_embeddings"), dim=-1)
# MaxSim: each query token keeps its best-matching document token, and the maxima are summed
score = (q @ d.T).max(dim=1).values.sum()
print(f"{score.item():.2f} {doc}")Die Passage über den Roman erreicht einen Wert von 5,90, die Passage über die Sanddüne 4,33. Beide enthalten „dune“, das in beiden stark übereinstimmt. In der ersten Passage findet das Anfrage-Token „wrote“ jedoch „published“ mit einer Kosinusähnlichkeit von 0,72, und „novel“ findet sich selbst. In der zweiten Passage erreicht die beste Übereinstimmung für „wrote“ nur 0,29.
ColBERT im Vergleich zu verwandten Begriffen#
- BERT selbst: Der vortrainierte Encoder, den ColBERT für das Abrufen feinabstimmt und um eine lineare Schicht erweitert, die jedes Token auf 128 Dimensionen projiziert.
- Spätes Chunking: Codiert Text ebenfalls im Kontext, bevor er aufgeteilt wird, und mittelt anschließend die Tokens zu einem Vektor pro Chunk. ColBERT behält dagegen jeden Token-Vektor bei.
- Semantische Suche: Die Aufgabe, die ColBERT ausführt: Passagen werden nach ihrer Bedeutung statt nach gemeinsamen Schlüsselwörtern sortiert.
- Hybride Suche: Führt Ergebnisse aus der Schlüsselwortsuche und der Suche mit Einzelvektoren zusammen, um sowohl genaue Begriffstreffer als auch Bedeutung zu berücksichtigen. ColBERTs Abgleich auf Token-Ebene erfasst einen Teil dieser Genauigkeit innerhalb eines neuronalen Modells.
Späte Interaktion bei Bildern#
Späte Interaktion funktioniert auch mit Bildern. ColPali (2024) bettet den Screenshot jeder Dokumentseite mithilfe eines Bild-Sprach-Modells als Raster aus Patch-Vektoren ein und bewertet die Vektoren mithilfe von MaxSim anhand der Anfrage-Tokens. Damit bringt das Modell späte Interaktion in die multimodale RAG-Suche über PDFs. Die Erkennung mit offenem Vokabular hält Bildmerkmale aus einem ähnlichen Grund feinkörnig: Ultralytics YOLOE speichert für jede angefragte Klasse, etwa „Doppeldeckerbus“, eine Texteinbettung und vergleicht sie mit den Regionsmerkmalen an jeder Position seiner Merkmalskarten. So kann ein kurzer Prompt ein einzelnes kleines Objekt erkennen, statt auf einen einzigen Vektor angewiesen zu sein, der das gesamte Bild zusammenfasst.
ColBERTv2 und PLAID#
Da für jedes Token ein Vektor gespeichert wird, ist ein ColBERT-Index ungefähr eine Größenordnung größer als ein Einzelvektor-Index. Das ist relevant, wenn ColBERT in einer Retrieval-Augmented-Generation-Pipeline (RAG) als Abrufmodell der ersten Stufe oder zum Umsortieren dient. Das Stanford-ColBERT-Repository setzt zwei Lösungen um. PLAID ist eine Suchmaschine, die Kandidaten anhand von Clusterzentroiden bewertet, bevor sie vollständiges MaxSim ausführt. ColBERTv2 (NAACL 2022) speichert jeden Token-Vektor als ID seines nächsten Zentroids sowie als Residuum, das auf 1 oder 2 Bit pro Dimension quantisiert wird, und trainiert mit entrauschter, von einem Cross-Encoder destillierter Supervision. Die Residuenkomprimierung verringerte den Speicherbedarf der späten Interaktion um das Sechs- bis Zehnfache.










