Panoptic Segmentation

التجزئة البانوبتيقية هي مهمة شاملة في الرؤية الحاسوبية (CV) توحّد شكلين متميزين من تحليل الصور: التجزئة الدلالية وتجزئة الكائنات. في حين تتعامل الأساليب التقليدية مع هاتين المهمتين كلٌّ على حدة—إما بتصنيف مناطق الخلفية مثل "السماء" أو "العشب" عمومًا، أو باكتشاف كائنات محددة مثل "السيارة" أو "الشخص"—فإن التجزئة البانوبتيقية تجمع بينهما ضمن إطار واحد متماسك. يعيّن هذا النهج قيمة فريدة لكل بكسل في الصورة، موفّرًا فهمًا كاملًا للمشهد يميّز بين الكائنات القابلة للعد (التي يُشار إليها باسم "الأشياء") ومناطق الخلفية غير المتشكلة (التي يُشار إليها باسم "المواد"). ومن خلال ضمان احتساب كل بكسل وتصنيفه، تحاكي هذه التقنية الإدراك البصري البشري بدرجة أكبر من أساليب الكشف المنعزلة.

المفهوم الأساسي: المواد مقابل الأشياء#

لفهم التجزئة البانوبتيقية فهمًا كاملًا، من المفيد استيعاب ثنائية المعلومات المرئية التي تعالجها. تقسّم المهمة العالم المرئي إلى فئتين أساسيتين:

• فئات المواد: تمثل هذه الفئات مناطق غير متشكلة ذات نسيج أو مادة متشابهة، ولا يمكن عدّها. ومن أمثلتها الطرق والمياه والعشب والسماء والجدران. في التحليل البانوبتيقي، تُجمّع جميع وحدات البكسل التي تنتمي إلى "طريق" في منطقة دلالية واحدة، لأن التمييز بين "مقطع الطريق A" و"مقطع الطريق B" لا يكون ذا صلة عامة.
• فئات الأشياء: هي كائنات قابلة للعد ذات هندسة وحدود محددة. ومن أمثلتها المشاة والمركبات والحيوانات والأدوات. يجب على النماذج البانوبتيقية تحديد كل "شيء" بوصفه كيانًا فريدًا، بما يضمن التعرّف على شخصين يقفان جنبًا إلى جنب بوصفهما مثيلين منفصلين (مثل "الشخص A" و"الشخص B") بدلًا من دمجهما في كتلة واحدة.

يُعد هذا التمييز بالغ الأهمية لأنظمة الذكاء الاصطناعي (AI) المتقدمة، إذ يتيح لها التنقل في البيئات مع التفاعل في الوقت نفسه مع كائنات محددة.

آلية عمل البنى المعمارية البانوبتيقية#

تستخدم البنى المعمارية الحديثة للتجزئة البانوبتيقية عادةً شبكة أساسية قوية من التعلّم العميق (DL)، مثل الشبكة العصبية الالتفافية (CNN) أو محوّل الرؤية (ViT)، لاستخراج تمثيلات غنية للسمات من الصورة. وتنقسم الشبكة عمومًا إلى فرعين أو "رأسين":

1. الرأس الدلالي: يتنبأ هذا الفرع بتسمية فئة لكل بكسل، مولّدًا خريطة كثيفة لـ"المواد" الموجودة في المشهد.

2. رأس المثيلات: يستخدم هذا الفرع في الوقت نفسه تقنيات شبيهة بـكشف الكائنات لتحديد مواضع "الأشياء" وإنشاء أقنعة لها.

تعمل وحدة دمج أو خطوة معالجة لاحقة بعد ذلك على حلّ التعارضات بين هذه المخرجات—فعلى سبيل المثال، تحدد ما إذا كان البكسل ينتمي إلى مثيل "شخص" أم إلى جدار "الخلفية" خلفه—لإنتاج خريطة التجزئة البانوبتيقية النهائية غير المتداخلة.

التطبيقات الواقعية#

تجعل الطبيعة الشاملة للتجزئة البانوبتيقية منها أمرًا لا غنى عنه في القطاعات التي تكون فيها السلامة والسياق من الأولويات.

• المركبات ذاتية القيادة: تعتمد السيارات ذاتية القيادة على الإدراك البانوبتيقي للتنقل بأمان. يحدد المكوّن الدلالي الأسطح القابلة للقيادة (الطرق) والحدود (الأرصفة)، بينما يتتبع مكوّن المثيلات العوائق المتحركة مثل المشاة والمركبات الأخرى. وتساعد هذه الرؤية الموحدة خوارزميات تخطيط المركبة على اتخاذ قرارات أكثر أمانًا في سيناريوهات إدارة حركة المرور المعقدة.
• تحليل الصور الطبية: في علم الأمراض الرقمي، يتطلب تحليل عينات الأنسجة غالبًا تجزئة البنية العامة للنسيج (المواد)، مع عدّ أنواع محددة من الخلايا أو الأورام وقياسها (الأشياء) في الوقت نفسه. ويساعد هذا التفصيل الأطباء على التحديد الكمي الدقيق للمرض وتشخيصه.
• الروبوتات: تحتاج روبوتات الخدمة التي تعمل في بيئات غير منظمة، مثل المنازل أو المستودعات، إلى التمييز بين الأرضية التي يمكنها اجتيازها (الخلفية) والكائنات التي تحتاج إلى التعامل معها أو تجنبها (المثيلات).

تنفيذ التجزئة باستخدام Ultralytics#

رغم أن التدريب البانوبتيقي الكامل قد يكون معقدًا، يمكن للمطورين تحقيق تجزئة المثيلات عالية الدقة—وهي مكوّن بالغ الأهمية في لغز التجزئة البانوبتيقية—باستخدام Ultralytics YOLO26. يوفّر هذا النموذج المتطور أداءً في الوقت الفعلي، وهو مُحسّن للنشر على الأجهزة الطرفية.

يوضح مثال Python التالي كيفية تحميل نموذج تجزئة مُدرَّب مسبقًا وتشغيل الاستدلال لعزل الكائنات المتميزة:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image to segment individual instances
# The model identifies 'things' and generates pixel-perfect masks
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with overlaid segmentation masks
results[0].show()

بالنسبة إلى الفرق التي تتطلع إلى إدارة بيانات التدريب وأتمتة عملية التعليق التوضيحي، توفر Ultralytics Platform مجموعة من الأدوات لإدارة مجموعات البيانات وتدريب النماذج. يُعد التعليق التوضيحي للبيانات عالي الجودة أمرًا بالغ الأهمية لمهام التجزئة، إذ تحتاج النماذج إلى تسميات دقيقة على مستوى البكسل لتتعلم بفاعلية.

التمييز بين المصطلحات ذات الصلة#

يُعد فهم الفروق الدقيقة بين أنواع التجزئة أمرًا حيويًا لاختيار النموذج المناسب لمشروعك:

• التجزئة الدلالية: تركز فقط على تصنيف وحدات البكسل ضمن فئات. وتجيب عن سؤال "ما فئة هذا البكسل؟" (مثل شجرة أو سماء)، لكنها لا تستطيع فصل الكائنات الفردية من الفئة نفسها. فإذا تداخلت سيارتان، فستظهران على هيئة كتلة واحدة كبيرة لـ"سيارة".
• تجزئة المثيلات: تركز فقط على اكتشاف الكائنات القابلة للعد ووضع أقنعة لها. وتجيب عن سؤال "أي كائن هذا؟" لكنها تتجاهل عادةً سياق الخلفية بالكامل.
• التجزئة البانوبتيقية: تجمع بين الطريقتين. فهي تجيب عن السؤالين "ما هذا البكسل؟" و"إلى أي مثيل من الكائنات ينتمي؟" بالنسبة إلى الصورة بأكملها، بما يضمن عدم ترك أي بكسل دون تصنيف.

لمزيد من الاستكشاف حول تنسيقات مجموعات البيانات المستخدمة في هذه المهام، يمكنك مراجعة وثائق مجموعة بيانات COCO، التي تُعد معيارًا مرجعيًا لقياس أداء التجزئة.