Late Chunking

Le late chunking est une technique de vectorisation de documents qui préserve le contexte environnant en encodant un document long avant de produire des embeddings pour ses sections plus petites. Au lieu de diviser d'abord le texte et de vectoriser chaque bloc de manière indépendante, elle utilise un modèle à contexte long pour créer des représentations de jetons tenant compte du contexte, puis regroupe les jetons appartenant à chaque bloc dans un vecteur distinct. Les embeddings obtenus restent adaptés à la recherche tout en transportant des informations provenant du document plus large.

Comment fonctionne le Late Chunking#

Un pipeline de recherche conventionnel suit généralement cet ordre : diviser, encoder, stocker. C'est efficace, mais un bloc isolé peut contenir des expressions telles que « le composant », « ce résultat » ou « il a échoué » sans identifier à quoi elles font référence.

Le late chunking modifie l'ordre :

1. Le document est divisé en tokens et les limites de blocs souhaitées sont enregistrées.
2. La séquence complète de jetons, ou la plus grande partie s'adaptant à la context window du modèle, passe par un transformer à contexte long.
3. Grâce au attention mechanism du modèle, chaque représentation de jeton intègre des informations provenant d'autres jetons de ce contexte.
4. Les vecteurs de jetons sont regroupés selon les limites enregistrées et combinés, généralement par le biais d'un moyennage (mean pooling), pour produire un embedding par bloc.

La distinction clé réside dans le timing : les limites existent toujours, mais elles sont appliquées après l'encodage contextuel plutôt qu'avant. L'Jina AI explanation of late chunking fournit une comparaison visuelle de ces deux ordres de traitement.

Pourquoi la préservation du contexte est importante#

Le découpage en blocs aide les documents à respecter les limites des modèles et permet aux systèmes de recherche de récupérer des passages précis. Le Microsoft’s document chunking guidance note que représenter un grand document entier avec un seul vecteur peut également compresser trop d'idées dans une seule représentation.

Cependant, des blocs plus petits augmentent le risque de perte de contexte. Considérez ces passages adjacents :

• « La pompe XR-12 est installée à côté du collecteur de refroidissement. »
• « Elle doit être remplacée après 10 000 heures de fonctionnement. »

Vectorisé de manière indépendante, le second passage n'identifie pas ce que « elle » signifie. Avec le late chunking, ses représentations de jetons ont déjà pris en compte la « pompe XR-12 », rendant le passage plus utile pour une requête telle que « Quand la pompe XR-12 doit-elle être remplacée ? »

Le late chunking est particulièrement pertinent pour la retrieval-augmented generation, où les passages sélectionnés fournissent un contexte de mise à la terre à un modèle linguistique. Le Google Cloud RAG overview plus large explique comment la recherche connecte les embeddings, la recherche vectorielle et la génération ancrée.

Méthodes de découpage et de recherche associées#

Le late chunking résout un problème différent de plusieurs techniques aux noms similaires :

• Semantic chunking choisit les limites en fonction des changements de sens. Le late chunking détermine quand l'encodage contextuel se produit, de sorte que les deux techniques peuvent être combinées.
• Contextual retrieval enrichit les blocs avec du texte explicatif ou des métadonnées supplémentaires avant l'indexation. Le late chunking transfère plutôt le contexte implicitement par le biais de représentations de jetons.
• Le chevauchement de blocs répète le texte près des limites voisines. Il peut préserver des indices locaux mais augmente la taille de l'index et peut créer des résultats en double. Le Cohere’s chunking strategy guide examine comment la taille des blocs et le chevauchement affectent la recherche.
• L'interaction tardive (late interaction) stocke plusieurs vecteurs au niveau des jetons et les compare lors de la recherche. Le late chunking stocke généralement un vecteur regroupé par bloc, ce qui le rend compatible avec une vector database conventionnelle.

Un ré-classeur (reranker) est également complémentaire plutôt qu'équivalent : il réordonne les candidats récupérés après la recherche initiale, comme l'illustre le Google Cloud ranking workflow.

Mise en œuvre pratique#

Certaines API d'embedding exposent directement le late chunking. La requête suivante envoie des passages ordonnés d'un document à l'Jina Embedding API et renvoie un embedding contextuel pour chaque passage :

import os

import requests

chunks = [
    "The XR-12 pump is installed beside the cooling manifold.",
    "It must be replaced after 10,000 operating hours.",
]

payload = {
    "model": "jina-embeddings-v3",
    "task": "retrieval.passage",
    "late_chunking": True,
    "input": chunks,
}
headers = {"Authorization": f"Bearer {os.environ['JINA_API_KEY']}"}

response = requests.post(
    "https://api.jina.ai/v1/embeddings",
    headers=headers,
    json=payload,
    timeout=30,
)
response.raise_for_status()
print(len(response.json()["data"]))

Le nombre de sorties correspond au nombre de blocs d'entrée, mais chaque vecteur reflète le contexte partagé du document. Un autre flux de travail autogéré encode la séquence complète de jetons et regroupe les étendues par la suite, comme le montre l'late chunking implementation for vector search d'Elastic.

Applications concrètes et conseils#

Deux applications pratiques montrent où ce contexte est important :

• Assistants de connaissances techniques : Les manuels de produits introduisent souvent une pièce une fois et y font référence plus tard de manière indirecte. Le late chunking aide un système de support à récupérer la bonne étape de maintenance plutôt qu'un autre passage contenant un langage générique similaire.
• Recherche dans les rapports de vision par ordinateur : Un flux de travail de vision par ordinateur et RAG peut combiner des détections, des notes d'inspection, des légendes et des registres de maintenance. Une fois que Ultralytics YOLO26 a détecté des équipements ou des défauts, le late chunking peut améliorer la récupération dans le rapport textuel associé. Les dossiers visuels peuvent également être explorés à l'aide d'un flux de travail de recherche par similarité d'images.

Utilise le late chunking lorsque les documents contiennent des renvois, des pronoms, des définitions ou des dépendances narratives. Conserve les blocs associés dans l'ordre du document, respecte la limite de contexte du modèle d'embedding, retiens les titres et les métadonnées source, et évalue la recherche avec des requêtes réalistes. Cela ajoute un coût d'encodage car davantage de jetons sont traités ensemble, de sorte que les embeddings de blocs indépendants peuvent rester préférables pour les enregistrements courts et autonomes.