Late Chunking

El fragmentado tardío es un método para generar representaciones vectoriales de fragmentos de documentos: primero, un modelo de representación vectorial con contexto largo codifica el documento completo y, después, los vectores de los tokens resultantes se dividen en los límites de los fragmentos y se agrupan mediante la media para obtener una representación vectorial por fragmento. Cuando se agrupan, todos los tokens ya han tenido acceso al documento completo; por eso, un fragmento que dice «hay que sustituirlo» sigue indicando a qué se refiere «lo». Investigadores de Jina AI presentaron el método en el artículo de 2024 Fragmentado tardío: representaciones vectoriales contextuales de fragmentos mediante modelos con contexto largo, que lo aplica a modelos de representación vectorial existentes sin entrenamiento adicional.

Por qué las representaciones vectoriales de fragmentos pierden el contexto#

Los sistemas de generación aumentada por recuperación (RAG) dividen los documentos en fragmentos para que cada vector represente un pasaje concreto y el texto recuperado quepa en la ventana de contexto del modelo. El fragmentado convencional genera la representación de cada fragmento por separado, lo que elimina todos los vínculos con el texto anterior. Considera dos frases consecutivas de un manual: «La bomba XR-12 hace circular refrigerante por la prensa» y «Hay que sustituirla después de 10.000 horas de funcionamiento». Si se genera la representación vectorial de la segunda frase por separado, no se menciona la bomba XR-12; por eso, una pregunta sobre la sustitución de esa bomba solo la relaciona débilmente en una búsqueda vectorial, aunque contiene la respuesta.

Cómo funciona la fragmentación tardía#

El documento se tokeniza por completo y se registra el intervalo de tokens de cada fragmento; los límites pueden proceder de cualquier segmentador, incluido el de tamaño fijo o el fragmentado semántico. Después, toda la secuencia de tokens pasa por el modelo de representación vectorial Transformer, donde la autoatención mezcla la información de cada token con la de todos los demás. Por último, se calcula la media de los vectores de los tokens de cada intervalo para obtener la representación del fragmento. Los documentos que superan el límite de entrada del modelo —por ejemplo, los 8.192 tokens de los modelos jina-embeddings-v2 de Jina— se codifican en macrobloques solapados, un método que el artículo denomina fragmentado tardío largo.

El ejemplo siguiente genera de las dos formas la representación vectorial de la frase sobre la bomba con un modelo pequeño de Sentence Transformers y compara cada versión con la pregunta:

import torch
from sentence_transformers import SentenceTransformer

model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
chunks = [
    "The XR-12 pump circulates coolant through the press line.",
    "It must be replaced after 10,000 operating hours.",
]
query = model.encode("When should the XR-12 pump be replaced?", convert_to_tensor=True)

# Fragmentado convencional: genera la representación del segundo fragmento por separado
naive = model.encode(chunks[1], convert_to_tensor=True)

# Fragmentado tardío: codifica el documento completo y calcula después la media solo de los tokens del segundo fragmento
tokens = model.encode(" ".join(chunks), output_value="token_embeddings")
start = len(model.tokenizer(chunks[0])["input_ids"]) - 1  # tokens de [CLS] + fragmento 1
late = tokens[start:-1].mean(dim=0)  # elimina el [SEP] final

for name, emb in [("naive", naive), ("late", late)]:
    print(name, round(torch.cosine_similarity(query, emb, dim=0).item(), 3))

El fragmento cuya representación se generó por separado obtiene una puntuación de 0,382 frente a la pregunta; la versión de la misma frase fragmentada de forma tardía obtiene 0,62, porque sus tokens atendieron a «La bomba XR-12» antes de agruparse.

La detección de objetos experimentó el mismo cambio en 2015. R-CNN ejecutaba una red convolucional por separado en cada región propuesta recortada; Fast R-CNN la ejecutaba una sola vez en toda la imagen y agrupaba cada región a partir de mapas de características compartidos, lo que aceleró 213 veces la detección durante las pruebas con un backbone VGG16. Ultralytics YOLO26 también ejecuta su backbone una sola vez en toda la imagen y predice cada cuadro a partir de esas características compartidas; por tanto, no calcula detecciones a partir de recortes aislados.

Fragmentado tardío y métodos relacionados#

• Recuperación contextual: Añade a cada fragmento una nota escrita por un LLM antes de indexarlo. Cuesta una llamada al LLM por fragmento y también ayuda en las búsquedas por palabras clave, ya que el contexto añadido es texto.
• Interacción tardía de ColBERT: Mantiene un vector por token y los compara con la consulta durante la búsqueda. El fragmentado tardío agrupa los tokens en un único vector por fragmento, así que el resultado encaja en cualquier índice vectorial estándar.
• Solapamiento de fragmentos: Repite algunas frases en fragmentos contiguos. Solo conserva el contexto cercano y aumenta el tamaño del índice.
• Modelos de reordenación: Reordenan los candidatos recuperados con un modelo más potente después de la primera búsqueda y combinan bien con el fragmentado tardío.

Cuándo conviene el fragmentado tardío#

Las mejoras son mayores cuando los fragmentos dependen del texto anterior, como ocurre con los pronombres, las abreviaturas definidas una sola vez y las narraciones de informes y manuales; son menores en registros breves y autónomos, como los títulos de productos. El método requiere un modelo de representación vectorial que agrupe los tokens calculando su media y permita acceder a los resultados a nivel de token; además, hay que volver a codificar todo el documento cada vez que cambia una parte. Los vectores de fragmentos generados mediante fragmentado tardío se incorporan sin modificaciones a una base de datos vectorial estándar. La API de representación vectorial de Jina ofrece el método mediante un parámetro late_chunking que representa una lista de fragmentos consecutivos como un único documento.