التجزئة الشاملة
اكتشف كيف يوحد التجزئة البانوبتيكية بين التجزئة الدلالية وتجزئة المثيل لفهم المشهد بدقة على مستوى البكسل في تطبيقات الذكاء الاصطناعي.
التجزئة الشاملة هي مهمة متقدمة للرؤية الحاسوبية (CV) توفر فهماً شاملاً على مستوى البكسل لمشهد كامل. وهي توحّد مهمتين منفصلتين: التجزئة الدلالية وتجزئة المثيل. ويتمثل الهدف في تعيين كل بكسل في الصورة بتسمية فئة (مثل سيارة أو شخص أو سماء)، وبالنسبة للأجسام المميزة، معرّف فريد للمثيل. ويؤدي ذلك إلى الحصول على مخرجات أكثر شمولية وتفصيلاً مما يمكن أن تحققه أي من طريقتَي التجزئة بمفردها، مما يمكّن الآلات من إدراك البيئات المرئية بمستوى من التفاصيل أقرب إلى الرؤية البشرية. تم تقديم هذا المصطلح في الورقة البحثية الرائدة لعام 2018 بعنوان "التجزئة البانوبتيكية" من قبل باحثين من FAIR.
التقسيم الشمولي مقابل أنواع التقسيم الأخرى
ولفهم التجزئة البانوبتيكية بشكل كامل، من المفيد مقارنتها بالأجزاء المكونة لها:
- التقسيم الدلالي: تصنف هذه التقنية كل بكسل في الصورة إلى فئة محددة. على سبيل المثال، تصنف جميع البكسلات التي تنتمي إلى السيارات على أنها "سيارة" وجميع بكسلات الطريق على أنها "طريق". ومع ذلك، فإنه لا يميز بين الحالات المختلفة لنفس فئة الكائن. ستكون كلتا السيارتين المنفصلتين المتجاورتين جزءًا من نفس خريطة بكسل "السيارة".
- تجزئة المثيل: تكتشف هذه الطريقة الأجسام الفردية وتجزئها، والتي يشار إليها غالبًا باسم "الأشياء" (مثل السيارات والمشاة والحيوانات). تقوم بتعيين قناع فريد لكل مثيل كائن مكتشف، مثل
car_1
, car_2
و pedestrian_1
. ومع ذلك، عادةً ما يتجاهل تجزئة المثيل عادةً مناطق الخلفية غير المتبلورة أو "الأشياء" (مثل السماء والطريق والعشب والجدران)، والتي تفتقر إلى شكل أو عدد مميز. - التجزئة الشاملة: يجمع هذا بين نقاط القوة في كلٍ من التجزئة الدلالية وتجزئة المثيل. فهو يقسم كل بكسل في الصورة، مما يوفر تصنيفًا لكل من "الأشياء" و"الأشياء". والأهم من ذلك أنه يعيّن أيضًا معرّف مثيل فريد لكل "شيء"، مما يوفر تفسيرًا كاملاً وموحدًا للمشهد. على سبيل المثال، لن يكتفي النموذج البانوبتيكي بتسمية السماء والطريق فحسب، بل سيحدد ويحدد أيضًا
car_1
, car_2
و pedestrian_1
ككيانات منفصلة. يعد هذا النهج الشامل أمرًا حيويًا بالنسبة للكيانات المتقدمة تطبيقات الذكاء الاصطناعي.
تطبيقات التجزئة الشاملة
إن فهم المشهد التفصيلي للمشهد الذي يوفره التجزئة البانوبتيكية لا يقدر بثمن في مختلف المجالات:
- السيارات ذاتية القيادة: تتطلب السيارات ذاتية القيادة فهماً كاملاً لمحيطها من أجل التنقل الآمن. يسمح لها التقسيم البانوبتيكي بالتعرف على الأسطح غير المتبلورة مثل الطريق والأرصفة ("الأشياء") مع تمييز السيارات الفردية والمشاة وراكبي الدراجات ("الأشياء")، حتى عندما تتداخل. هذا الإدراك التفصيلي، كما هو موضح في أنظمة شركات مثل Waymo، أمر بالغ الأهمية لتخطيط المسار الآمن واتخاذ القرارات. تعرّف على كيفية مساهمة Ultralytics في الذكاء الاصطناعي في حلول السيارات.
- تحليل الصور الطبية: في تحليل الفحوصات الطبية مثل التصوير بالرنين المغناطيسي أو التصوير المقطعي المحوسب، يمكن للتقسيم الشامل أن يميّز بين أنواع الأنسجة المختلفة ("الأشياء") مع تحديد حالات معينة من البنى مثل الأورام أو الخلايا الفردية ("الأشياء"). وهذا يدعم التشخيص الأكثر دقة ويساعد في التخطيط الجراحي ويساعد في مراقبة تطور المرض. يمكنك القراءة عن المهام ذات الصلة مثل استخدام YOLO11 للكشف عن الأورام.
- الروبوتات: لكي تتفاعل الروبوتات بفعالية مع بيئتها، يجب أن تفهم كلاً من التخطيط العام (الجدران والأرضيات) والأشياء المحددة التي يمكنها التعامل معها (الأدوات والأجزاء). يوفر التجزئة البانوبتيكية هذه الرؤية الموحدة، مما يحسن التنقل والتفاعل بين الإنسان والروبوت في البيئات المعقدة مثل المستودعات والمصانع. تعرّف على المزيد حول دور الذكاء الاصطناعي في الروبوتات.
- الواقع المعزز (AR): تستخدم تطبيقات الواقع المعزز التجزئة البانوبتيكية لمزج الأجسام الافتراضية بسلاسة مع العالم الحقيقي. من خلال فهم موقع كل من أسطح الخلفية والأشياء الأمامية، يمكن لأنظمة الواقع المعزز وضع المحتوى الافتراضي بشكل واقعي، والتعامل مع حالات الانسداد بشكل صحيح. وقد أدى ذلك إلى تطورات كبيرة في تكنولوجيا الواقع المعزز.
- تحليل صور الأقمار الصناعية: تُستخدم هذه التقنية لرسم خرائط مفصلة للغطاء الأرضي، والتمييز بين أنواع المساحات الكبيرة مثل الغابات أو المسطحات المائية ("الأشياء") والهياكل الفردية مثل المباني أو المركبات ("الأشياء"). وتستخدم الوكالات الحكومية مثل هيئة المسح الجيولوجي الأمريكية هذه البيانات للرصد البيئي والتخطيط الحضري.
النماذج والتنفيذ
عادةً ما يتم بناء نماذج التجزئة البانوبتيكية باستخدام أطر التعلم العميق مثل PyTorch ويتم تدريبها على مجموعات بيانات واسعة النطاق مثل COCO-Panoptic و Cityscapes. في حين أن النماذج الفوقية مثل YOLO11 تقدم أحدث أداء في المهام الأساسية مثل اكتشاف الكائنات وتجزئة النماذج، والتي تعد لبنات بناء أساسية، فإن التجزئة البانوبتيكية تمثل المستوى التالي من الفهم المتكامل للمشهد. مع استمرار الأبحاث في مؤسسات مثل Google AI و Meta AI، تتحسن قدرات هذه النماذج الشاملة باستمرار، مما يمهد الطريق لأنظمة ذكاء اصطناعي أكثر تطوراً ووعياً. يمكنك إدارة وتدريب النماذج للمهام ذات الصلة باستخدام منصات مثل Ultralytics HUB.