Late Chunking

Il late chunking è una tecnica di embedding dei documenti che preserva il contesto circostante codificando un documento lungo prima di produrre gli embedding per le sue sezioni più piccole. Invece di dividere prima il testo ed effettuare l'embedding di ogni chunk in modo indipendente, utilizza un modello a contesto lungo per creare rappresentazioni di token consapevoli del contesto, aggregando poi i token appartenenti a ciascun chunk in un vettore separato. I relativi embeddings rimangono adatti al recupero pur trasportando informazioni provenienti dal documento più ampio.

Come funziona il Late Chunking#

Una pipeline di recupero convenzionale segue normalmente questo ordine: divisione, codifica, archiviazione. Questo approccio è efficiente, ma un chunk isolato potrebbe contenere frasi come “il componente”, “questo risultato” o “non ha funzionato” senza specificare a cosa si riferiscano.

Il late chunking modifica l'ordine:

1. Il documento viene suddiviso in tokens, mentre vengono registrati i confini desiderati dei chunk.
2. La sequenza completa dei token, o la porzione più ampia che rientra nel context window del modello, passa attraverso un transformer a contesto lungo.
3. Attraverso il attention mechanism del modello, la rappresentazione di ciascun token incorpora informazioni provenienti dagli altri token presenti in quel contesto.
4. I vettori dei token vengono raggruppati in base ai confini registrati e combinati, solitamente tramite mean pooling, per produrre un embedding per ciascun chunk.

La distinzione chiave risiede nel momento in cui avviene l'operazione: i confini esistono ancora, ma vengono applicati dopo la codifica contestuale anziché prima di essa. La Jina AI explanation of late chunking offre un confronto visivo di questi due ordini di elaborazione.

Perché la conservazione del contesto è importante#

Il chunking aiuta i documenti a rientrare nei limiti dei modelli e consente ai sistemi di ricerca di recuperare passaggi precisi. La Microsoft’s document chunking guidance osserva che rappresentare un intero documento di grandi dimensioni con un unico vettore può anche comprimere troppe idee in un'unica rappresentazione.

Tuttavia, chunk più piccoli aumentano il rischio di perdita di contesto. Considera questi passaggi adiacenti:

• “La pompa XR-12 è installata accanto al collettore di raffreddamento.”
• “Deve essere sostituita dopo 10.000 ore di funzionamento.”

Sottoposto a embedding in modo indipendente, il secondo passaggio non identifica a cosa si riferisca “essa”. Con il late chunking, le sue rappresentazioni di token hanno già tenuto conto della “pompa XR-12”, rendendo il passaggio più utile per una query come “Quando deve essere sostituita la pompa XR-12?”

Il late chunking è particolarmente rilevante per il retrieval-augmented generation, in cui i passaggi selezionati forniscono un contesto di ancoraggio a un modello linguistico. La più ampia Google Cloud RAG overview spiega come il recupero colleghi embedding, ricerca vettoriale e generazione ancorata.

Metodi di chunking e recupero correlati#

Il late chunking risolve un problema diverso rispetto a diverse tecniche dai nomi simili:

• Semantic chunking sceglie i confini in base ai cambiamenti di significato. Il late chunking determina quando avviene la codifica contestuale, quindi le due tecniche possono essere combinate.
• Contextual retrieval arricchisce i chunk con ulteriore testo esplicativo o metadati prima dell'indicizzazione. Il late chunking trasferisce invece il contesto in modo implicito attraverso le rappresentazioni dei token.
• Chunk overlap ripete il testo vicino ai confini adiacenti. Può preservare indizi locali ma aumenta le dimensioni dell'indice e può generare risultati duplicati. La Cohere’s chunking strategy guide discute di come le dimensioni e la sovrapposizione dei chunk influenzino il recupero.
• Late interaction archivia più vettori a livello di token e li confronta durante il recupero. Il late chunking memorizza in genere un vettore aggregato per chunk, rendendolo compatibile con un vector database convenzionale.

Anche un reranker è complementare anziché equivalente: riordina i candidati recuperati dopo la ricerca iniziale, come illustrato dal Google Cloud ranking workflow.

Implementazione pratica#

Alcune API di embedding espongono il late chunking direttamente. La seguente richiesta invia passaggi ordinati da un documento alla Jina Embedding API e restituisce un embedding contestuale per ciascun passaggio:

import os

import requests

chunks = [
    "The XR-12 pump is installed beside the cooling manifold.",
    "It must be replaced after 10,000 operating hours.",
]

payload = {
    "model": "jina-embeddings-v3",
    "task": "retrieval.passage",
    "late_chunking": True,
    "input": chunks,
}
headers = {"Authorization": f"Bearer {os.environ['JINA_API_KEY']}"}

response = requests.post(
    "https://api.jina.ai/v1/embeddings",
    headers=headers,
    json=payload,
    timeout=30,
)
response.raise_for_status()
print(len(response.json()["data"]))

Il numero di output corrisponde al numero di chunk in input, ma ciascun vettore riflette il contesto condiviso del documento. Un flusso di lavoro alternativo autogestito codifica la sequenza completa dei token e aggrega gli intervalli in un secondo momento, come dimostrato nell'late chunking implementation for vector search di Elastic.

Applicazioni reali e linee guida#

Due applicazioni pratiche mostrano dove questo contesto risulta importante:

• Assistenti di conoscenza tecnica: I manuali dei prodotti spesso introducono un componente una sola volta per poi fare riferimento ad esso in modo indiretto. Il late chunking aiuta un sistema di supporto a recuperare la fase di manutenzione corretta anziché un altro passaggio contenente un linguaggio generico simile.
• Ricerca di report di computer vision: Un computer vision and RAG workflow può combinare rilevamenti, note di ispezione, didascalie e registri di manutenzione. Dopo che Ultralytics YOLO26 ha rilevato apparecchiature o difetti, il late chunking può migliorare il recupero nel report testuale associato. È inoltre possibile esplorare i record visivi utilizzando un image similarity search workflow.

Usa il late chunking quando i documenti contengono riferimenti incrociati, pronomi, definizioni o dipendenze narrative. Mantieni i chunk correlati nell'ordine del documento, rispetta il limite di contesto del modello di embedding, conserva le intestazioni e i metadati di origine e valuta il recupero con query realistiche. Questa tecnica comporta un costo di elaborazione aggiuntivo poiché un numero maggiore di token viene elaborato insieme, pertanto gli embedding di chunk indipendenti possono rimanere preferibili per record brevi e autosufficienti.