التجزئة الشاملة

تقسيم المشهد الشامل هو مهمة متقدمة في الرؤية الحاسوبية (CV) توفر فهمًا شاملاً على مستوى البكسل للمشهد بأكمله. إنه يوحد مهمتين منفصلتين: التقسيم الدلالي و تقسيم المثيلات. الهدف هو تعيين كل بكسل في الصورة تسمية فئة (مثل سيارة أو شخص أو سماء) ومعرف مثيل فريد للكائنات المتميزة. ينتج عن هذا إخراج أكثر شمولية وتفصيلاً مما يمكن أن تحققه أي من طريقتي التقسيم بمفردهما، مما يمكّن الآلات من إدراك البيئات المرئية بمستوى من التفاصيل أقرب إلى الرؤية البشرية. تم تقديم المصطلح في ورقة عام 2018 الرائدة "تقسيم المشهد الشامل" من قبل باحثين من FAIR.

تجزئة المشهد الشامل مقابل أنواع التجزئة الأخرى

لفهم تجزئة المشهد الشامل بشكل كامل، من المفيد مقارنته بأجزائه المكونة:

• التجزئة الدلالية: تصنف هذه التقنية كل بكسل في الصورة إلى فئة معينة. على سبيل المثال، سيتم تصنيف جميع وحدات البكسل التي تنتمي إلى السيارات على أنها "سيارة" وجميع وحدات البكسل الخاصة بالطريق على أنها "طريق". ومع ذلك، فإنه لا يميز بين الحالات المختلفة لنفس فئة الكائن. ستكون السيارتان المنفصلتان بجوار بعضهما البعض جزءًا من نفس خريطة بكسل "السيارة".
• تجزئة المثيل: تكتشف هذه الطريقة الأجسام الفردية وتقوم بتقسيمها، والتي يشار إليها غالبًا باسم "الأشياء" (مثل السيارات والمشاة والحيوانات). وهي تحدد قناعًا فريدًا لكل نسخة جسم يتم اكتشافها، مثل car_1, car_2، و pedestrian_1. ومع ذلك، يتجاهل تقسيم المثيلات (instance segmentation) عادةً مناطق الخلفية غير المتبلورة، أو "المادة" (مثل السماء والطريق والعشب والجدران)، التي تفتقر إلى شكل أو عدد مميز.
• تجزئة المشهد الشامل (Panoptic Segmentation): يجمع هذا بين نقاط القوة في كل من التجزئة الدلالية وتجزئة المثيل. يقوم بتقسيم كل بكسل في الصورة، مما يوفر تسمية فئة لكل من "الأشياء" و "المواد". والأهم من ذلك، أنه يعين أيضًا معرف مثيل فريدًا لكل "شيء"، مما يوفر تفسيرًا كاملاً وموحدًا للمشهد. على سبيل المثال، لن يقوم نموذج بانوبتيك بتسمية السماء والطريق فحسب، بل سيحدد أيضًا ويرسم car_1, car_2، و pedestrian_1 كيانات منفصلة. هذا النهج الشامل ضروري لل تطبيقات الذكاء الاصطناعي.

تطبيقات تجزئة المشهد الشامل (Panoptic Segmentation)

إن الفهم التفصيلي للمشهد الذي يوفره تقسيم المشهد الشامل لا يقدر بثمن في مختلف المجالات:

• المركبات ذاتية القيادة: تتطلب السيارات ذاتية القيادة فهمًا كاملاً لمحيطها من أجل التنقل الآمن. يسمح تجزئة المشهد الشامل بتحديد الأسطح غير المتبلورة مثل الطريق والأرصفة ("أشياء") مع تمييز السيارات الفردية والمشاة وراكبي الدراجات ("كائنات")، حتى عندما تتداخل. هذا الإدراك التفصيلي، كما هو موضح في الأنظمة من شركات مثل Waymo، ضروري لتخطيط المسار الآمن واتخاذ القرارات. تعرف على كيف تساهم Ultralytics في حلول الذكاء الاصطناعي في مجال السيارات.
• تحليل الصور الطبية: في تحليل الفحوصات الطبية مثل التصوير بالرنين المغناطيسي (MRI) أو التصوير المقطعي المحوسب (CT)، يمكن لتجزئة المشهد الشامل التمييز بين أنواع الأنسجة المختلفة ("أشياء") مع تحديد حالات معينة من الهياكل مثل الأورام أو الخلايا الفردية ("أشياء"). وهذا يدعم تشخيصات أكثر دقة، ويساعد في التخطيط الجراحي، ويساعد في مراقبة تطور المرض. يمكنك قراءة المزيد عن المهام ذات الصلة مثل استخدام YOLO11 للكشف عن الأورام.
• الروبوتات: لكي تتفاعل الروبوتات بفعالية مع بيئتها، يجب أن تفهم كلاً من التخطيط العام (الجدران والأرضيات) والأشياء المحددة التي يمكنها معالجتها (الأدوات والأجزاء). يوفر تجزئة المشهد الشامل هذه الرؤية الموحدة، مما يحسن التنقل والتفاعل بين الإنسان والروبوت في البيئات المعقدة مثل المستودعات والمصانع. تعرف على المزيد حول دور الذكاء الاصطناعي في الروبوتات.
• الواقع المعزز (AR): تستخدم تطبيقات الواقع المعزز تجزئة بانورامية لدمج الكائنات الافتراضية بسلاسة مع العالم الحقيقي. من خلال فهم موقع كل من أسطح الخلفية وكائنات المقدمة، يمكن لأنظمة الواقع المعزز وضع محتوى افتراضي بشكل واقعي، والتعامل مع الانسدادات بشكل صحيح. وقد أدى ذلك إلى تطورات كبيرة في تكنولوجيا الواقع المعزز.
• تحليل صور الأقمار الصناعية: تُستخدم هذه التقنية لرسم خرائط تفصيلية للغطاء الأرضي، والتمييز بين أنواع المناطق الكبيرة مثل الغابات أو المسطحات المائية ("أشياء") والهياكل الفردية مثل المباني أو المركبات ("عناصر"). تستخدم الوكالات الحكومية مثل USGS هذه البيانات للمراقبة البيئية والتخطيط الحضري.

النماذج والتنفيذ

عادةً ما تُبنى نماذج تجزئة المشهد الشامل باستخدام أُطر التعلم العميق مثل PyTorch وتُدرَّب على مجموعات بيانات واسعة النطاق مثل COCO-Panoptic و Cityscapes. في حين أن نماذج Ultralytics مثل YOLO11 تقدم أداءً متطورًا في المهام الأساسية مثل اكتشاف الكائنات و تجزئة الحالات، والتي تعد لبنات بناء أساسية، فإن تجزئة المشهد الشامل تمثل المستوى التالي من فهم المشهد المتكامل. مع استمرار البحث في مؤسسات مثل Google AI و Meta AI، تتحسن قدرات هذه النماذج الشاملة باستمرار، مما يمهد الطريق لأنظمة ذكاء اصطناعي أكثر تطوراً ووعياً. يمكنك إدارة وتدريب النماذج للمهام ذات الصلة باستخدام منصات مثل Ultralytics HUB.