Semantic Chunking

التجزئة الدلالية هي تقنية متقدمة للمعالجة المسبقة للبيانات تُستخدم في التعلم الآلي (ML) والذكاء الاصطناعي (AI) لتقسيم مجموعات البيانات الكبيرة إلى أجزاء أصغر وذات معنى. إذا كنت تتساءل «ما المقصود بالتجزئة» في سياق الذكاء الاصطناعي، فهي عملية تفكيك التسلسلات الطويلة من البيانات غير المهيكلة—مثل المستندات أو مقاطع الفيديو أو الصوت—إلى أجزاء أو مقاطع يمكن إدارتها. غالبًا ما يتضمن التعريف القياسي للتجزئة تقسيم البيانات وفق عدد ثابت من الأحرف أو فترة زمنية محددة. إلا أن «تجزئة المعنى» أو التجزئة الدلالية تتجاوز ذلك من خلال تحليل السياق وتجميع المعلومات ذات الصلة معًا. ويضمن هذا بقاء الرسالة الأساسية متماسكة، ويمنع فقدان السياق الذي غالبًا ما يترتب على أساليب التقسيم العشوائية.

كيف تعمل التجزئة الدلالية؟#

لفهم كيفية إجراء التجزئة الدلالية، من المفيد النظر في دورها ضمن مسارات العمل التوليدية الحديثة. إذًا، ما التجزئة الدلالية في RAG؟ عند إعداد البيانات لقاعدة بيانات متجهية، يحلل نموذج التضمين الجمل المتجاورة أو العناصر المرئية، ويحسب العلاقة بينها. وباستخدام مقاييس إحصائية مثل التشابه الجيبي، يحدد النظام النقاط التي يتحول عندها الموضوع—والتي تُسمى غالبًا نقاط الفصل—ويقسم البيانات عندها. ويضمن هذا أن أجزاء البيانات التي يسترجعها نموذج لغوي كبير (LLM) أثناء الاستعلام تتضمن أفكارًا كاملة ومترابطة، مما يحسن بدرجة كبيرة دقة الاستجابة المُنشأة. وتُبرز الدراسات الحديثة حول RAPTOR وتجميع الرسوم البيانية التكيفي كيف تتفوق هذه الاستراتيجية المدركة للسياق على التقسيم ذي الحجم الثابت.

التجزئة الدلالية في الرؤية الحاسوبية#

رغم ارتباط التجزئة الدلالية تقليديًا بـمعالجة اللغة الطبيعية (NLP)، فإنها وثيقة الصلة بـالرؤية الحاسوبية والذكاء الاصطناعي متعدد الوسائط. ففي تحليل المستندات، على سبيل المثال، قد يحافظ الجزء الدلالي المرئي على مخطط وتعليقه التوضيحي معًا بدلًا من فصلهما استنادًا إلى حدود الصفحات الصارمة. ويوفر مزودو الخدمات السحابية المتقدمون وأدوات API إعدادات متخصصة للتجزئة الدلالية لإدارة أنواع البيانات المعقدة هذه.

يمكن للمطورين الاستفادة من نموذج Ultralytics YOLO26 لأتمتة استخراج هذه الأجزاء المرئية. ومن خلال اكتشاف الكائنات داخل صورة أو مقطع فيديو، يمكنك إنشاء مقاطع موضعية ذات معنى تمثل المحتوى الأساسي للمشهد.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual semantics
model = YOLO("yolo26n.pt")

# Run inference to detect objects within a visual scene
results = model("scene.jpg")

# Group detected object classes to form a semantic visual chunk
visual_chunk = [model.names[int(cls)] for cls in results[0].boxes.cls]
print(f"Semantic visual chunk elements: {visual_chunk}")

التطبيقات الواقعية#

تحل التجزئة الدلالية تحديات أساسية في مختلف مسارات عمل الذكاء الاصطناعي. فيما يلي مثالان ملموسان:

• RAG متعدد الوسائط للذكاء الاصطناعي الخاص بالمستندات: عند تحليل ملفات PDF المعقدة، مثل التقارير المالية، تضمن التجزئة المرئية تجميع مربعات الإحاطة المحيطة بالجداول مع ملخصاتها النصية المقابلة. ويتيح هذا للمساعدين المدعومين بالذكاء الاصطناعي الإجابة عن أسئلة محددة للغاية بدقة، من دون فقدان السياق الرقمي.
• التلخيص الآلي لمقاطع الفيديو: في مجالي الأمن والمراقبة، تُجزّأ تدفقات الفيديو المستمرة دلاليًا استنادًا إلى الأحداث المكتشفة—مثل دخول شخص إلى منطقة محظورة. وباستخدام تتبع الكائنات، يجمع النظام الإطارات ذات الصلة في مقطع فيديو قابل للتنفيذ بدلًا من إرجاع مقتطف عشوائي مدته 10 ثوانٍ. وغالبًا ما تعتمد الفرق التي تدير مجموعات البيانات الضخمة هذه على منصة Ultralytics لإضافة التعليقات التوضيحية إلى مسارات العمل المعقدة القائمة على الأحداث هذه، وتدريبها ونشرها بسلاسة.

المفاهيم ذات الصلة#

من المهم التمييز بين هذه التقنية ومصطلحات الذكاء الاصطناعي المشابهة:

• تجزئة الإجراءات: بينما تجمع التجزئة الدلالية البيانات حسب المعنى لتحقيق الاسترجاع الأمثل، تجمع تجزئة الإجراءات تسلسلات الحركات الجسدية (مثل مسار ذراع روبوتية) في إجراءات قابلة للتنفيذ ضمن الروبوتات.
• البحث الدلالي: تُعد التجزئة الدلالية مرحلة إعداد البيانات الأساسية التي تجعل استرجاع المعلومات بدقة ممكنًا، في حين أن البحث الدلالي هو عملية الاستعلام الفعلية التي تجلب تلك الأجزاء المُعدّة استنادًا إلى نية المستخدم.