Semantic Chunking

Semantik parçalama, makine öğrenimi (ML) ve yapay zekâ (AI) alanlarında büyük veri kümelerini daha küçük, anlamlı segmentlere ayırmak için kullanılan gelişmiş bir veri ön işleme tekniğidir. Yapay zekâ bağlamında "parçalama nedir" diye merak ediyorsan bu, belgeler, videolar veya ses gibi uzun yapılandırılmamış veri dizilerini yönetilebilir parçalara veya segmentlere ayırma işlemidir. Standart parçalama tanımı genellikle verilerin sabit bir karakter sayısına veya zaman aralığına göre bölünmesini içerir. Ancak "anlam parçalama" veya semantik parçalama, bağlamı analiz edip ilişkili bilgileri birlikte gruplayarak bunun ötesine geçer. Bu, temel mesajın bütünlüğünü koruyarak rastgele bölme yöntemlerinde sıkça görülen bağlam kaybını önler.

Semantik Parçalama Nasıl Çalışır?#

Semantik parçalamanın nasıl yapılacağını anlamak için modern üretken işlem hatlarındaki rolüne bakmak faydalıdır. Peki RAG'de semantik parçalama nedir? Bir vektör veritabanı için veri hazırlanırken bir gömme modeli, ardışık cümleleri veya görsel öğeleri analiz eder ve aralarındaki ilişkiyi hesaplar. Kosinüs benzerliği gibi istatistiksel ölçümleri kullanarak sistem, konunun değiştiği noktaları—genellikle kesme noktaları olarak adlandırılır—belirler ve verileri bu noktalardan böler. Bu, bir sorgu sırasında Büyük Dil Modeli (LLM) tarafından alınan veri parçalarının eksiksiz ve tutarlı düşünceler içermesini sağlayarak oluşturulan yanıtın doğruluğunu büyük ölçüde artırır. RAPTOR ve uyarlamalı grafik kümeleme üzerine yapılan güncel çalışmalar, bu bağlam farkındalıklı stratejinin sabit boyutlu bölmeden daha iyi performans gösterdiğini vurgulamaktadır.

Bilgisayarlı Görmede Semantik Parçalama#

Geleneksel olarak Doğal Dil İşleme (NLP) ile ilişkilendirilse de semantik parçalama, bilgisayarlı görü ve çok modlu yapay zekâ alanlarında da son derece önemlidir. Örneğin belge analizinde, görsel bir semantik parça, katı sayfa sınırlarına göre birbirinden ayrılmak yerine bir grafiği ve açıklayıcı başlığını birlikte tutabilir. Gelişmiş bulut sağlayıcıları ve API araçları, bu karmaşık veri türlerini yönetmek için özel semantik parçalama yapılandırmaları sunar.

Geliştiriciler, bu görsel parçaların çıkarılmasını otomatikleştirmek için Ultralytics YOLO26 modelinden yararlanabilir. Bir görüntü veya video içindeki nesneleri tespit ederek sahnenin temel içeriğini temsil eden yerelleştirilmiş anlam segmentleri oluşturabilirsin.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual semantics
model = YOLO("yolo26n.pt")

# Run inference to detect objects within a visual scene
results = model("scene.jpg")

# Group detected object classes to form a semantic visual chunk
visual_chunk = [model.names[int(cls)] for cls in results[0].boxes.cls]
print(f"Semantic visual chunk elements: {visual_chunk}")

Gerçek Dünya Uygulamaları#

Semantik parçalama, çeşitli yapay zekâ iş akışlarındaki kritik zorlukları çözer. İşte iki somut örnek:

• Belge yapay zekâsı için çok modlu RAG: Finansal raporlar gibi karmaşık PDF'leri ayrıştırırken görsel parçalama, tabloları çevreleyen sınırlayıcı kutuların ilgili metin özetleriyle gruplanmasını sağlar. Bu, yapay zekâ asistanlarının sayısal bağlamı kaybetmeden son derece spesifik soruları doğru şekilde yanıtlamasına olanak tanır.
• Otomatik Video Özetleme: Güvenlik ve gözetim alanlarında sürekli video akışları, kısıtlı bir alana giren kişi gibi tespit edilen olaylara göre semantik olarak parçalara ayrılır. Nesne takibini kullanan sistem, rastgele bir 10 saniyelik kesit döndürmek yerine ilgili kareleri eyleme geçirilebilir bir video klibinde gruplar. Bu devasa veri kümelerini yöneten ekipler, bu tür karmaşık, olay odaklı işlem hatlarını sorunsuz şekilde açıklamak, eğitmek ve dağıtmak için genellikle Ultralytics Platformu'na güvenir.

İlgili Kavramlar#

Bu tekniği benzer yapay zekâ terimlerinden ayırt etmek önemlidir:

• Eylem Parçalama: Semantik parçalama, en iyi erişim için verileri anlamlarına göre gruplarken eylem parçalama, robotikte fiziksel hareket dizilerini (örneğin bir robotik kolun yörüngesini) tek bir çalıştırılabilir eylem hâlinde gruplar.
• Semantik Arama: Semantik parçalama, doğru bilgi erişimini mümkün kılan hayati veri hazırlama aşamasıdır; semantik arama ise kullanıcı amacına göre hazırlanmış bu parçaları getiren gerçek sorgulama sürecidir.