Panoptic Segmentation

تعد تجزئة بانوبتيك (Panoptic segmentation) مهمة شاملة في رؤية الحاسوب (CV) توحد شكلين متميزين من تحليل الصور: التجزئة الدلالية (semantic segmentation) وتجزئة الأجزاء (instance segmentation). في حين تعالج الطرق التقليدية هذه المهام بشكل منفصل - إما تصنيف مناطق الخلفية مثل "السماء" أو "العشب" بشكل عام، أو اكتشاف كائنات محددة مثل "سيارة" أو "شخص" - تجمع تجزئة بانوبتيك بينهما في إطار عمل واحد متماسك. يقوم هذا النهج بتعيين قيمة فريدة لكل بكسل في الصورة، مما يوفر فهماً كاملاً للمشهد يميز بين الكائنات القابلة للعد (المشار إليها باسم "أشياء"/things) ومناطق الخلفية غير المحددة (المشار إليها باسم "عناصر"/stuff). من خلال ضمان حساب كل بكسل وتصنيفه، تحاكي هذه التقنية الإدراك البصري البشري بشكل أوثق من طرق الاكتشاف المعزولة.

Link to this sectionالمفهوم الأساسي: العناصر مقابل الأشياء#

لاستيعاب تجزئة بانوبتيك بشكل كامل، من المفيد فهم ثنائية المعلومات المرئية التي تعالجها. تقسم هذه المهمة العالم المرئي إلى فئتين رئيسيتين:

• فئات العناصر (Stuff Categories): تمثل هذه الفئات مناطق غير محددة ذات نسيج أو مادة متشابهة لا يمكن عدّها. تشمل الأمثلة الطرق، والمياه، والعشب، والسماء، والجدران. في تحليل بانوبتيك، يتم تجميع جميع البكسلات التي تنتمي إلى "طريق" في منطقة دلالية واحدة لأن التمييز بين "قطعة الطريق أ" و "قطعة الطريق ب" غير ذي صلة بشكل عام.
• فئات الأشياء (Things Categories): هذه هي كائنات قابلة للعد ذات هندسة وحدود محددة. تشمل الأمثلة المشاة، والمركبات، والحيوانات، والأدوات. يجب على نماذج بانوبتيك تحديد كل "شيء" ككيان فريد، مما يضمن التعرف على شخصين يقفان جنباً إلى جنب ككيانين منفصلين (على سبيل المثال، "الشخص أ" و "الشخص ب") بدلاً من كتلة مدمجة.

هذا التمييز أمر بالغ الأهمية لأنظمة الذكاء الاصطناعي (AI) المتقدمة، مما يسمح لها بالتنقل في البيئات مع التفاعل في نفس الوقت مع كائنات محددة.

Link to this sectionكيف تعمل معماريات بانوبتيك#

تستخدم معماريات تجزئة بانوبتيك الحديثة عادةً هيكلاً قوياً لـ التعلم العميق (DL)، مثل الشبكة العصبية التلافيفية (CNN) أو محول الرؤية (ViT)، لاستخراج تمثيلات ميزات غنية من الصورة. تنقسم الشبكة عموماً إلى فرعين أو "رأسين":

1. الرأس الدلالي (Semantic Head): يتنبأ هذا الفرع بتسمية فئة لكل بكسل، مما يولد خريطة كثيفة لـ "العناصر" (stuff) في المشهد.

2. رأس الأجزاء (Instance Head): في الوقت نفسه، يستخدم هذا الفرع تقنيات مشابهة لـ اكتشاف الكائنات لتحديد موقع "الأشياء" (things) وتوليد أقنعة لها.

ثم تقوم وحدة دمج أو خطوة معالجة لاحقة بحل النزاعات بين هذه المخرجات - على سبيل المثال، تحديد ما إذا كان البكسل ينتمي إلى جزء "شخص" أو جدار "الخلفية" خلفه - لإنتاج خريطة تجزئة بانوبتيك نهائية غير متداخلة.

Link to this sectionتطبيقات العالم الحقيقي#

تجعل الطبيعة الشمولية لتجزئة بانوبتيك منها أمراً لا غنى عنه للصناعات التي تعتبر فيها السلامة والسياق أمراً بالغ الأهمية.

• المركبات ذاتية القيادة: تعتمد السيارات ذاتية القيادة على إدراك بانوبتيك للتنقل بأمان. يحدد المكون الدلالي الأسطح القابلة للقيادة (الطرق) والحدود (الأرصفة)، بينما يتتبع مكون الأجزاء العوائق الديناميكية مثل المشاة والمركبات الأخرى. تساعد هذه الرؤية الموحدة خوارزميات التخطيط الخاصة بالمركبة على اتخاذ قرارات أكثر أماناً في سيناريوهات إدارة المرور المعقدة.
• تحليل الصور الطبية: في علم الأمراض الرقمي، يتطلب تحليل عينات الأنسجة غالباً تجزئة بنية النسيج العامة (العناصر) مع حساب وقياس أنواع خلايا معينة أو أورام (الأشياء) في نفس الوقت. يساعد هذا التقسيم التفصيلي الأطباء في قياس الأمراض وتشخيصها بدقة.
• الروبوتات: تحتاج روبوتات الخدمة التي تعمل في بيئات غير منظمة، مثل المنازل أو المستودعات، إلى التمييز بين الأرضية التي يمكنها اجتيازها (الخلفية) والكائنات التي تحتاج إلى التعامل معها أو تجنبها (الأجزاء).

Link to this sectionتنفيذ التجزئة باستخدام Ultralytics#

بينما قد يكون تدريب بانوبتيك الكامل معقداً، يمكن للمطورين تحقيق تجزئة أجزاء عالية الدقة - وهي مكون أساسي في لغز بانوبتيك - باستخدام Ultralytics YOLO26. يوفر هذا النموذج المتطور أداءً في الوقت الفعلي وهو مُحسَّن للنشر على الحافة (edge deployment).

يوضح مثال Python التالي كيفية تحميل نموذج تجزئة مدرب مسبقاً وتشغيل الاستنتاج لعزل كائنات متميزة:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image to segment individual instances
# The model identifies 'things' and generates pixel-perfect masks
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with overlaid segmentation masks
results[0].show()

بالنسبة للفرق التي تتطلع إلى إدارة بيانات التدريب الخاصة بها وأتمتة عملية التعليق التوضيحي، توفر Ultralytics Platform مجموعة من الأدوات لإدارة مجموعات البيانات وتدريب النماذج. يعد التعليق التوضيحي للبيانات عالي الجودة أمراً بالغ الأهمية لمهام التجزئة، حيث تتطلب النماذج تسميات دقيقة على مستوى البكسل للتعلم بفعالية.

Link to this sectionالتمييز بين المصطلحات ذات الصلة#

يعد فهم الفروق الدقيقة بين أنواع التجزئة أمراً حيوياً لاختيار النموذج المناسب لمشروعك:

• التجزئة الدلالية: تركز فقط على تصنيف البكسلات إلى فئات. تجيب على "ما هي فئة هذا البكسل؟" (مثل: شجرة، سماء) ولكنها لا تستطيع فصل الكائنات الفردية من نفس الفئة. إذا كانت هناك سيارتان متداخلتان، فإنهما تظهران ككتلة "سيارة" واحدة كبيرة.
• تجزئة الأجزاء: تركز فقط على اكتشاف الكائنات القابلة للعد وتغطيتها بالأقنعة. تجيب على "أي كائن هذا؟" ولكنها تتجاهل عادةً سياق الخلفية تماماً.
• تجزئة بانوبتيك: تجمع بين الاثنين. تجيب على "ما هذا البكسل؟" و "أي جزء من الكائنات ينتمي إليه؟" للصورة بأكملها، مما يضمن عدم ترك أي بكسل دون تصنيف.

لمزيد من الاستكشاف لتنسيقات مجموعات البيانات المستخدمة في هذه المهام، يمكنك مراجعة وثائق مجموعة بيانات COCO، وهي معيار قياسي لقياس أداء التجزئة.