Licenza YOLO
Torna al glossario di Ultralytics

ColBERT

ColBERT codifica query e documenti come embedding BERT per ciascun token e li valuta tramite interazione tardiva (MaxSim), per ricerche rapide e accurate e per RAG.

ColBERT (Contextualized Late Interaction over BERT) è un modello neurale di recupero che rappresenta una query e ciascun documento con un embedding per token e assegna un punteggio al documento tramite interazione tardiva: ogni token della query trova il token del documento più simile e le similarità massime, chiamate MaxSim, vengono sommate nel punteggio di pertinenza. Omar Khattab e Matei Zaharia della Stanford University lo hanno presentato nell'articolo SIGIR 2020 ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT. Gli embedding dei token dei documenti vengono calcolati una volta, offline, quindi al momento della query basta un calcolo di similarità economico, invece di un passaggio completo attraverso BERT per ogni documento candidato.

Dove si colloca l'interazione tardiva#

I sistemi neurali di recupero differiscono per il momento in cui query e documento entrano in contatto. I bi-encoder comprimono ogni testo in un singolo vettore, la configurazione standard per la ricerca vettoriale: i vettori dei documenti vengono precalcolati e la ricerca è veloce, ma un unico vettore sfuma le differenze tra i singoli termini. I cross-encoder elaborano insieme query e documento attraverso un transformer, così l'attenzione confronta ogni coppia di token. Sono i più accurati e devono essere eseguiti una volta per ogni coppia query-documento, il che li limita al riordinamento di brevi elenchi di candidati.

ColBERT codifica separatamente query e documento, come un bi-encoder, ma conserva un vettore a 128 dimensioni per token e fa interagire le due parti solo nel passaggio MaxSim finale. Le query vengono completate con il token di mascheramento di BERT fino a raggiungere una lunghezza fissa di 32, offrendo al modello posizioni aggiuntive per espanderle con termini correlati. Nei benchmark di ricerca di passaggi MS MARCO e TREC CAR, ColBERT è risultato competitivo con i sistemi di ranking basati su BERT, pur essendo due ordini di grandezza più veloce e usando quattro ordini di grandezza in meno di FLOP per query.

Calcolo di un punteggio MaxSim#

L'operatore MaxSim si implementa in poche righe di PyTorch. Questo esempio lo applica a embedding contestuali dei token ottenuti da un piccolo encoder della famiglia BERT:

import torch.nn.functional as F
from sentence_transformers import SentenceTransformer

encoder = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
query = "who wrote the novel Dune"
docs = [
    "Frank Herbert published the science fiction novel Dune in 1965.",
    "A dune is a hill of sand shaped by the wind.",
]

# One L2-normalized contextual embedding per query token
q = F.normalize(encoder.encode(query, output_value="token_embeddings"), dim=-1)
for doc in docs:
    d = F.normalize(encoder.encode(doc, output_value="token_embeddings"), dim=-1)

    # MaxSim: each query token keeps its best-matching document token, and the maxima are summed
    score = (q @ d.T).max(dim=1).values.sum()
    print(f"{score.item():.2f}  {doc}")

Il passaggio sul romanzo ottiene 5.90 e quello sulle dune di sabbia 4.33. Entrambi contengono «dune», che corrisponde molto bene in ciascun caso, ma nel primo passaggio il token della query «wrote» trova «published» con una similarità coseno di 0.72 e «novel» trova sé stesso, mentre nel secondo passaggio la corrispondenza migliore per «wrote» raggiunge solo 0.29.

  • BERT stesso: l'encoder preaddestrato che ColBERT perfeziona per il recupero, aggiungendo un livello lineare che proietta ciascun token a 128 dimensioni.
  • Late chunking: codifica anch'esso il testo nel suo contesto prima di suddividerlo, poi calcola la media dei token per ottenere un vettore per blocco, mentre ColBERT conserva tutti i vettori dei token.
  • Ricerca semantica: l'attività svolta da ColBERT, che ordina i passaggi in base al significato anziché alle parole chiave condivise.
  • Ricerca ibrida: combina i risultati basati su parole chiave e su un singolo vettore per ottenere insieme corrispondenze esatte dei termini e affinità semantica. La corrispondenza a livello di token di ColBERT cattura parte di questa precisione all'interno di un unico modello neurale.

Interazione tardiva per le immagini#

L'interazione tardiva funziona anche con le immagini. ColPali (2024) codifica ogni schermata di pagina di un documento come una griglia di vettori di patch usando un modello visione-linguaggio e la confronta con i token della query tramite MaxSim, portando l'interazione tardiva nel RAG multimodale sui PDF. Il rilevamento a vocabolario aperto mantiene le caratteristiche delle immagini dettagliate per un motivo correlato: Ultralytics YOLOE memorizza un embedding testuale per ogni classe indicata, come «autobus a due piani», e lo confronta con le caratteristiche delle regioni in ogni posizione delle sue mappe delle caratteristiche, così una breve descrizione può corrispondere a un singolo oggetto piccolo, invece di usare un unico vettore che riassume l'intera immagine.

ColBERTv2 e PLAID#

Memorizzare un vettore per ogni token rende un indice ColBERT circa un ordine di grandezza più grande di un indice a vettore singolo, un costo rilevante quando ColBERT funge da sistema di recupero di primo livello o da riordinatore in una pipeline di generazione aumentata dal recupero (RAG). Il repository Stanford ColBERT implementa due soluzioni. PLAID è un motore di ricerca che assegna punteggi ai candidati confrontandoli con i centroidi dei cluster prima di eseguire MaxSim completo. ColBERTv2 (NAACL 2022) memorizza ciascun vettore di token come ID del centroide più vicino, più un residuo quantizzato a 1 o 2 bit per dimensione, e si addestra con supervisione denoised distillata da un cross-encoder; la compressione dei residui ha ridotto l'ingombro in memoria dell'interazione tardiva da 6 a 10 volte.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning