Late Chunking

Geç parçalama (late chunking), daha küçük bölümleri için gömmeler (embeddings) üretmeden önce uzun bir belgeyi kodlayarak çevredeki bağlamı koruyan bir belgeyi gömme tekniğidir. Metni önce bölüp her parçayı bağımsız olarak gömmek yerine, bağlama duyarlı belirteç temsilleri oluşturmak için uzun bağlamlı bir model kullanır, ardından her bir parçaya ait belirteçleri ayrı bir vektörde havuzlar (pools). Elde edilen gömmeler, daha geniş belgedeki bilgileri taşırken getirme (retrieval) için uygun kalmaya devam eder.

Geç Parçalama Nasıl Çalışır?#

Geleneksel bir getirme hattı normalde şu sırayı takip eder: böl, kodla, sakla. Bu verimlidir, ancak izole edilmiş bir parça, neye atıfta bulunduklarını belirtmeden “bileşen”, “bu sonuç” veya “başarısız oldu” gibi ifadeler içerebilir.

Geç parçalama sırayı değiştirir:

1. Belge, istenen parça sınırları kaydedilirken belirteçlere ayrılır.
2. Tam belirteç dizisi veya modelin bağlam penceresine uyan en büyük kısmı, uzun bağlamlı bir transformer üzerinden geçer.
3. Modelin dikkat mekanizması aracılığıyla her belirteç temsili, bu bağlamdaki diğer belirteçlerden gelen bilgileri bünyesine katar.
4. Belirteç vektörleri, kaydedilen sınırlara göre gruplandırılır ve parça başına bir gömme üretmek için yaygın olarak ortalama havuzlama (mean pooling) yoluyla birleştirilir.

Temel fark zamanlamadır: sınırlar hala mevcuttur, ancak önceden değil, bağlamsal kodlamadan sonra uygulanır. Jina AI'ın geç parçalama açıklaması, bu iki işleme sırasının görsel bir karşılaştırmasını sunar.

Bağlam Koruma Neden Önemlidir?#

Parçalama, belgelerin model sınırlarına uymasına yardımcı olur ve arama sistemlerinin hassas pasajları getirmesini sağlar. Microsoft'un belge parçalama kılavuzu, büyük bir belgenin tamamını tek bir vektörle temsil etmenin çok fazla fikri tek bir temsilde sıkıştırabileceğini belirtir.

Ancak, daha küçük parçalar bağlam kaybı riskini artırır. Bu bitişik pasajları düşünün:

• “XR-12 pompas soğutma manifoldunun yanına monte edilmiştir.”
• “10.000 çalışma saatinden sonra değiştirilmelidir.”

Bağımsız olarak gömüldüğünde, ikinci pasaj “o” zamirinin ne anlama geldiğini belirtmez. Geç parçalama ile belirteç temsilleri halihazırda “XR-12 pompası” ile ilgilenmiştir, bu da pasajı “XR-12 pompası ne zaman değiştirilmelidir?” gibi bir sorgu için daha yararlı hale getirir.

Geç parçalama, seçilen pasajların bir dil modeline dayanak bağlamı sağladığı getirme artırımlı üretime (RAG) özellikle uygundur. Daha geniş kapsamlı Google Cloud RAG genel bakışı, getirmenin gömmeleri, vektör aramasını ve dayanaklı üretimi nasıl bağladığını açıklar.

İlgili Parçalama ve Getirme Yöntemleri#

Geç parçalama, benzer şekilde adlandırılmış birkaç teknikten farklı bir sorunu çözer:

• Anlamsal parçalama, sınırları anlamdaki değişikliklere göre seçer. Geç parçalama, bağlamsal kodlamanın ne zaman gerçekleşeceğini belirler, böylece iki teknik birleştirilebilir.
• Bağlamsal getirme, dizine eklemeden önce parçaları ek açıklayıcı metin veya meta verilerle zenginleştirir. Geç parçalama bunun yerine bağlamı belirteç temsilleri aracılığıyla dolaylı olarak aktarır.
• Parça örtüşmesi (Chunk overlap), komşu sınırlar yakınındaki metni yineler. Yerel ipuçlarını koruyabilir ancak dizin boyutunu artırır ve yinelenen sonuçlar oluşturabilir. Cohere'in parçalama stratejisi kılavuzu, parça boyutunun ve örtüşmesinin getirmeyi nasıl etkilediğini tartışır.
• Geç etkileşim (Late interaction), birden çok belirteç düzeyinde vektör depolar ve getirme sırasında bunları karşılaştırır. Geç parçalama tipik olarak parça başına bir havuzlanmış vektör depolar, bu da onu geleneksel bir vektör veritabanıyla uyumlu hale getirir.

Yeniden sıralayıcı (reranker) da eşdeğer olmaktan ziyade tamamlayıcıdır: Google Cloud sıralama iş akışının gösterdiği gibi, ilk aramadan sonra getirilen adayları yeniden sıralar.

Pratik Uygulama#

Bazı gömme API'leri geç parçalamayı doğrudan sunar. Aşağıdaki istek, bir belgeden sıralı pasajları Jina Gömme API'sine gönderir ve her pasaj için bir bağlamsal gömme döndürür:

import os

import requests

chunks = [
    "The XR-12 pump is installed beside the cooling manifold.",
    "It must be replaced after 10,000 operating hours.",
]

payload = {
    "model": "jina-embeddings-v3",
    "task": "retrieval.passage",
    "late_chunking": True,
    "input": chunks,
}
headers = {"Authorization": f"Bearer {os.environ['JINA_API_KEY']}"}

response = requests.post(
    "https://api.jina.ai/v1/embeddings",
    headers=headers,
    json=payload,
    timeout=30,
)
response.raise_for_status()
print(len(response.json()["data"]))

Çıktı sayısı girdi parçalarının sayısı ile eşleşir, ancak her vektör paylaşılan belge bağlamını yansıtır. Alternatif bir kendi kendine yönetilen iş akışı, Elastic'in vektör araması için geç parçalama uygulamasında gösterildiği gibi, tam belirteç dizisini kodlar ve ardından aralıkları havuzlar.

Gerçek Dünya Uygulamaları ve Kılavuzlar#

İki pratik uygulama, bu bağlamın nerede önemli olduğunu göstermektedir:

• Teknik bilgi asistanları: Ürün kılavuzları genellikle bir parçayı bir kez tanıtıp daha sonra ona dolaylı olarak atıfta bulunur. Geç parçalama, bir destek sisteminin benzer genel dil içeren başka bir pasaj yerine doğru bakım adımını getirmesine yardımcı olur.
• Bilgisayarlı görü ve RAG iş akışı, tespitleri, inceleme notlarını, açıklamaları ve bakım kayıtlarını birleştirebilir. Ultralytics YOLO26 ekipman veya kusurları tespit ettikten sonra, geç parçalama ilişkili metin raporu üzerindeki getirmeyi iyileştirebilir. Görsel kayıtlar ayrıca bir görüntü benzerliği arama iş akışı kullanılarak incelenebilir.

Belgeler çapraz referanslar, zamirler, tanımlar veya anlatım bağımlılıkları içerdiğinde geç parçalama kullan. İlgili parçaları belge sırasına göre tut, gömme modelinin bağlam sınırına saygı duy, başlıkları ve kaynak meta verilerini koru ve getirmeyi gerçekçi sorgularla değerlendir. Daha fazla belirteç birlikte işlendiği için kodlama maliyeti ekler, bu nedenle kısa, kendi kendine yeterli kayıtlar için bağımsız parça gömmeleri tercih edilebilir olmaya devam edebilir.