Late Chunking

Il late chunking è un metodo per generare embedding di blocchi documentali: un modello di embedding con contesto lungo codifica prima l'intero documento, poi i vettori dei token risultanti vengono suddivisi ai confini dei blocchi e raggruppati tramite media in un embedding per blocco. Quando si calcola la media, ogni token ha già elaborato l'intero documento, quindi un blocco che dice «deve essere sostituito» conserva ancora il riferimento di «deve». Ricercatori di Jina AI hanno introdotto il metodo nel 2024, nell'articolo Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models, applicandolo a modelli di embedding esistenti senza ulteriore addestramento.

Perché gli embedding dei blocchi perdono il contesto#

I sistemi di generazione con recupero aumentato (RAG) suddividono i documenti in blocchi affinché ciascun vettore rappresenti un passaggio mirato e il testo recuperato rientri nella finestra di contesto del modello. Il chunking convenzionale genera l'embedding di ogni blocco separatamente, interrompendo ogni collegamento con il testo precedente. Considera due frasi consecutive di un manuale: «La pompa XR-12 fa circolare il refrigerante nella pressa.» e «Deve essere sostituita dopo 10.000 ore di funzionamento.» Se generato da solo, l'embedding della seconda frase non menziona mai la pompa XR-12, quindi una domanda sulla sua sostituzione la abbina solo debolmente nella ricerca vettoriale, benché contenga la risposta.

Come funziona il late chunking#

Il documento viene tokenizzato per intero e si registrano gli intervalli di token di ciascun blocco; i confini possono essere definiti con qualsiasi metodo di suddivisione, inclusi i blocchi di dimensione fissa e il chunking semantico. L'intera sequenza di token passa quindi nel modello di embedding Transformer, dove l'attenzione di sé mescola le informazioni di ogni token con quelle di tutti gli altri. Infine, i vettori dei token di ciascun intervallo vengono mediati per ottenere l'embedding del blocco. I documenti più lunghi del limite di input del modello, ad esempio gli 8.192 token dei modelli jina-embeddings-v2 di Jina, vengono codificati in macroblocchi sovrapposti, un metodo che l'articolo chiama late chunking esteso.

L'esempio qui sotto genera in entrambi i modi l'embedding della frase sulla pompa, con un piccolo modello Sentence Transformers, e confronta ogni versione con la domanda:

import torch
from sentence_transformers import SentenceTransformer

model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
chunks = [
    "The XR-12 pump circulates coolant through the press line.",
    "It must be replaced after 10,000 operating hours.",
]
query = model.encode("When should the XR-12 pump be replaced?", convert_to_tensor=True)

# Chunking convenzionale: genera l'embedding del secondo blocco separatamente
naive = model.encode(chunks[1], convert_to_tensor=True)

# Late chunking: codifica l'intero documento, poi calcola la media solo sui token del secondo blocco
tokens = model.encode(" ".join(chunks), output_value="token_embeddings")
start = len(model.tokenizer(chunks[0])["input_ids"]) - 1  # token di [CLS] + blocco 1
late = tokens[start:-1].mean(dim=0)  # elimina il [SEP] finale

for name, emb in [("naive", naive), ("late", late)]:
    print(name, round(torch.cosine_similarity(query, emb, dim=0).item(), 3))

L'embedding generato separatamente per il blocco ottiene un punteggio di 0,382 rispetto alla domanda, mentre la versione della stessa frase con late chunking ottiene 0,62, perché prima del calcolo della media i suoi token hanno prestato attenzione a «La pompa XR-12».

Anche il rilevamento di oggetti ha subito lo stesso cambiamento nel 2015. R-CNN eseguiva una rete convoluzionale separatamente su ogni regione candidata ritagliata; Fast R-CNN la eseguiva una volta sull'intera immagine ed eseguiva il pooling di ogni regione dalle mappe delle caratteristiche condivise, rendendo il rilevamento in fase di test 213 volte più veloce con un backbone VGG16. Anche Ultralytics YOLO26 esegue il backbone una volta sull'intera immagine e prevede ogni riquadro a partire da quelle caratteristiche condivise, quindi nessun rilevamento viene calcolato da un ritaglio isolato.

Late chunking e metodi correlati#

• Recupero contestuale: Aggiunge a ogni blocco, prima dell'indicizzazione, una nota scritta da un LLM. Richiede una chiamata all'LLM per blocco e aiuta anche la ricerca per parole chiave, perché il contesto aggiunto è testo.
• Interazione tardiva ColBERT: Mantiene un vettore per token e li confronta con la query al momento della ricerca. Il late chunking riduce il risultato a un solo vettore per blocco, compatibile con qualsiasi indice vettoriale standard.
• Sovrapposizione dei blocchi: Ripete alcune frasi nei blocchi adiacenti. Conserva solo il contesto vicino e aumenta le dimensioni dell'indice.
• Modelli di reranking: Riordinano i candidati recuperati con un modello più potente dopo la prima ricerca e si combinano bene con il late chunking.

Quando il late chunking è utile#

I vantaggi sono maggiori quando i blocchi dipendono dal testo precedente, come nel caso di pronomi, abbreviazioni definite una sola volta e narrazioni quali rapporti e manuali; sono minori per record brevi e autonomi, come i titoli dei prodotti. Il metodo richiede un modello di embedding che raggruppi i token calcolandone la media e renda accessibili gli output a livello di token; inoltre, è necessario ricodificare l'intero documento ogni volta che cambia una sua parte. I vettori dei blocchi ottenuti con late chunking si inseriscono senza modifiche in un normale database vettoriale. L'API di embedding di Jina espone il metodo tramite un parametro late_chunking che genera l'embedding di un elenco di blocchi consecutivi come se fossero un unico documento.