Semantic Chunking

Anlamsal parçalama, makine öğrenimi (ML) ve yapay zeka (AI) alanlarında büyük veri kümelerini daha küçük, anlamlı bölümlere ayırmak için kullanılan gelişmiş bir veri ön işleme tekniğidir. Yapay zeka bağlamında "parçalama nedir" diye merak ediyorsan, bu işlem belgeler, videolar veya ses gibi uzun yapılandırılmamış veri dizilerini yönetilebilir parçalara veya segmentlere ayırma sürecidir. Standart parçalama tanımı genellikle veriyi sabit bir karakter sayısı veya zaman aralığına göre bölmeyi içerir. Ancak "anlam parçalama" veya anlamsal parçalama, bağlamı analiz edip ilgili bilgileri bir araya getirerek daha ileri gider. Bu, temel mesajın bozulmadan kalmasını sağlar ve rastgele bölme yöntemlerinde sıklıkla görülen bağlam kaybını önler.

Link to this sectionAnlamsal Parçalama Nasıl Çalışır?#

Anlamsal parçalamanın nasıl yapıldığını anlamak için modern üretken veri hatlarındaki rolüne bakmak faydalıdır. Peki, RAG'de anlamsal parçalama nedir? Bir vektör veritabanı için veri hazırlarken, bir gömme modeli bitişik cümleleri veya görsel öğeleri analiz eder ve aralarındaki ilişkiyi hesaplar. Kosinüs benzerliği gibi istatistiksel metrikleri kullanarak, sistem konunun değiştiği noktaları —genellikle kesme noktaları olarak adlandırılır— tanımlar ve veriyi buralardan böler. Bu, bir Büyük Dil Modeli (LLM) tarafından sorgu sırasında getirilen veri parçalarının eksiksiz, tutarlı düşünceler içermesini sağlar ve üretilen yanıtın doğruluğunu önemli ölçüde artırır. RAPTOR ve uyarlanabilir grafik kümeleme üzerine yapılan son çalışmalar, bu bağlama duyarlı stratejinin sabit boyutlu bölmeden nasıl daha iyi performans gösterdiğini vurgulamaktadır.

Link to this sectionBilgisayarlı Görüde Anlamsal Parçalama#

Geleneksel olarak Doğal Dil İşleme (NLP) ile ilişkilendirilse de, anlamsal parçalama bilgisayarlı görü ve çok modlu yapay zeka alanlarında oldukça önemlidir. Örneğin, belge analizinde, görsel bir anlamsal parça, bir tabloyu ve açıklayıcı metnini katı sayfa sınırlarına göre ayırmak yerine bir arada tutabilir. Gelişmiş bulut sağlayıcıları ve API araçları, bu karmaşık veri türlerini yönetmek için özel anlamsal parçalama yapılandırmaları sunar.

Geliştiriciler, bu görsel parçaların çıkarılmasını otomatikleştirmek için Ultralytics YOLO26 modelinden yararlanabilirler. Bir görüntü veya video içindeki nesneleri tespit ederek, sahnenin temel içeriğini temsil eden yerelleştirilmiş anlam parçaları oluşturabilirsin.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual semantics
model = YOLO("yolo26n.pt")

# Run inference to detect objects within a visual scene
results = model("scene.jpg")

# Group detected object classes to form a semantic visual chunk
visual_chunk = [model.names[int(cls)] for cls in results[0].boxes.cls]
print(f"Semantic visual chunk elements: {visual_chunk}")

Link to this sectionGerçek Dünya Uygulamaları#

Anlamsal parçalama, çeşitli yapay zeka iş akışlarındaki kritik zorlukları çözer. İşte iki somut örnek:

• Belge Yapay Zekası için Çok Modlu RAG: Finansal raporlar gibi karmaşık PDF'leri ayrıştırırken, görsel parçalama, tabloları çevreleyen sınırlayıcı kutuların ilgili metin özetleriyle gruplandırılmasını sağlar. Bu, yapay zeka asistanlarının sayısal bağlamı kaybetmeden son derece spesifik soruları doğru bir şekilde yanıtlamasına olanak tanır.
• Otomatik Video Özetleme: Güvenlik ve gözetim sistemlerinde, sürekli video akışları, kısıtlı bir alana giren kişi gibi tespit edilen olaylara göre anlamsal olarak parçalara ayrılır. Nesne takibi kullanarak, sistem ilgili kareleri rastgele 10 saniyelik bir dilim döndürmek yerine eyleme dönüştürülebilir bir video klibinde gruplandırır. Bu devasa veri kümelerini yöneten ekipler, bu tür karmaşık olay güdümlü hatları sorunsuz bir şekilde etiketlemek, eğitmek ve dağıtmak için genellikle Ultralytics Platform kullanır.

Link to this sectionİlgili Kavramlar#

Bu tekniği benzer yapay zeka terimlerinden ayırmak önemlidir:

• Eylem Parçalama: Anlamsal parçalama, optimum erişim için verileri anlamına göre gruplandırırken, eylem parçalama, fiziksel hareket dizilerini (bir robotik kolun yörüngesi gibi) robotikte tek yürütülebilir eylemler halinde gruplandırır.
• Anlamsal Arama: Anlamsal parçalama, doğru bilgi erişimini mümkün kılan hayati veri hazırlama aşamasıdır; anlamsal arama ise kullanıcı niyetine dayalı olarak hazırlanan bu parçaları getiren gerçek sorgulama sürecidir.