Panoptic Segmentation

التقسيم الشامل هو مهمة في الرؤية الحاسوبية تسند إلى كل بكسل في الصورة قيمتين: تسمية فئة، ومعرّف حالة للبكسلات التي تنتمي إلى جسم قابل للعد. وهو يجمع بين التقسيم الدلالي، الذي يصنّف كل بكسل بحسب فئته لكنه يدمج الأجسام من الفئة نفسها، وتقسيم الحالات، الذي يفصل الأجسام الفردية لكنه يترك الخلفية بلا تصنيف. والنتيجة خريطة واحدة غير متداخلة للمشهد كله، تُصنّف فيها الطريق والسماء والعشب كمناطق، وتمثّل فيها كل سيارة وكل شخص بمقطع مستقل. وقد عرّف ألكسندر كيريليف وزملاؤه في Facebook AI Research وجامعة هايدلبرغ المهمة ومقياسها في ورقة التقسيم الشامل، المنشورة في CVPR 2019، واختاروا المصطلح ليعبّر عن تعريفها: تضمين كل ما يظهر في مشهد واحد.

الأشياء والمواد#

يقسّم التقسيم الشامل الفئات إلى نوعين:

• الأشياء: أجسام قابلة للعد ذات شكل محدد، مثل الأشخاص والسيارات والحيوانات وحقائب اليد. ويُمنح كل جسم منها معرّف حالة خاصًا به، بحيث يصبح شخصان متجاوران مقطعين منفصلين.
• المواد: مناطق غير متشكلة ذات نسيج أو مادة متشابهة، مثل الطريق والسماء والعشب والماء والجدران. تشكّل جميع بكسلات فئة المادة مقطعًا واحدًا، إذ لا معنى لتقسيم السماء إلى حالات.

يستخدم معيار التقسيم الشامل في COCO 133 فئة، منها 80 فئة للأشياء و53 للمواد، ويقيّم معيار القيادة Cityscapes 19 فئة، منها 8 للأشياء و11 للمواد. وتُعلّم البكسلات الملتبسة أو التي لا تنتمي إلى أي فئة على أنها غير محددة، وتُستبعد من التقييم. ويخزّن تنسيق التقسيم الشامل في COCO كل صورة بصيغة PNG، بحيث يكون لكل مقطع معرّف فريد، إلى جانب ملف JSON يربط كل معرّف بفئته.

كيفية عمل نماذج التقسيم الشامل#

شغّلت الأنظمة المبكرة فرعًا دلاليًا وفرعًا للحالات على عمود فقري مشترك، ثم دمجت مخرجاتهما وفق قواعد ثابتة. فعلى سبيل المثال، تعالج Panoptic FPN التداخلات بين الحالات بحسب درجة الثقة، وتعطي الأولوية للحالات على المواد، ثم تزيل مناطق المواد التي تقل عن حد المساحة:

تتنبأ النماذج التصاعدية مثل Panoptic-DeepLab بخريطة دلالية إلى جانب مركز كل جسم وإزاحة كل بكسل إلى مركزه، ثم تجمع بكسلات الأشياء بحسب المركز الذي تشير إليه. وتستخدم النماذج الشاملة بنية تصنيف قناع واحدة للتقسيم الدلالي وتقسيم الحالات والتقسيم الشامل. وتتنبأ Mask2Former بمجموعة ثابتة من الاستعلامات، ينتج كل منها قناعًا وفئة واحدة، فتغطي الأشياء والمواد على حد سواء، وحققت 57.8 PQ في التقسيم الشامل لـCOCO وفق ورقتها في CVPR 2022. ويشغّل مسار Hugging Face Transformers أدناه نقطة تحقق لـMask2Former مدرّبة على التقسيم الشامل لـCOCO:

import numpy as np
from transformers import pipeline

# Load Mask2Former trained on COCO panoptic: 80 thing and 53 stuff classes
segmenter = pipeline("image-segmentation", model="facebook/mask2former-swin-tiny-coco-panoptic")

# Each returned segment is one non-overlapping region with a class label and a binary mask
segments = segmenter("https://ultralytics.com/images/bus.jpg", subtask="panoptic")

for segment in segments:
    share = np.array(segment["mask"]).mean() / 255
    print(f"{segment['label']}: {share:.1%} of pixels")

تعرض المخرجات 10 مقاطع. يظهر الأشخاص الأربعة وحقيبتا اليد والحافلة (30.7% من الصورة) كلٌّ منها مقطعًا مستقلًا للأشياء، إلى جانب مقطع واحد لكل من المواد: الرصيف المدمج (30.9%)، والمباني الأخرى المدمجة (19.5%)، والأشجار المدمجة (4.8%)؛ وتشير اللاحقة "-merged" إلى فئات المواد في COCO الناتجة عن دمج تسميات أدق. لا ينتمي أي بكسل إلى مقطعين، أما نسبة 0.4% من البكسلات التي لا ينسبها أي مقطع فتُعد غير محددة.

جودة التقسيم الشامل (PQ)#

تُقيّم تنبؤات التقسيم الشامل بمقياس جودة التقسيم الشامل. يطابق المقطع المتوقّع مقطعًا مرجعيًا صحيحًا من الفئة نفسها عندما تتجاوز نسبة التقاطع إلى الاتحاد (IoU) بينهما 0.5؛ وبما أن المقاطع لا تتداخل، فلا يمكن أن يكون لكل مقطع أكثر من تطابق واحد. وتُعد التطابقات إيجابيات حقيقية (TP)، والتنبؤات غير المطابقة إيجابيات كاذبة (FP)، والمقاطع المرجعية الصحيحة غير المطابقة سلبيات كاذبة (FN). وتساوي PQ مجموع قيم IoU لكل التطابقات مقسومًا على TP + ½FP + ½FN، ويمكن تحليلها إلى جزأين:

• جودة التقسيم (SQ): متوسط IoU للمقاطع المتطابقة، ويقيس مدى جودة ملاءمة الأقنعة.
• جودة التعرّف (RQ): ‏TP / (TP + ½FP + ½FN)، وهي درجة F1 لكشف المقاطع.

تُحسب PQ لكل فئة ثم يُحسب متوسطها، كما تعرض المعايير قيمتها منفصلةً للأشياء والمواد.

التقسيم الشامل مقارنةً بالتقسيم الدلالي وتقسيم الحالات#

• التقسيم الدلالي: يجيب عن سؤال «إلى أي فئة ينتمي هذا البكسل؟» لكل بكسل. وتتحول ثلاث سيارات متجاورة إلى منطقة واحدة للسيارات.
• تقسيم الحالات: يجيب عن سؤال «إلى أي جسم ينتمي هذا البكسل؟» للأجسام المكتشفة فقط. ولا تحصل بكسلات الخلفية على أي تسمية، وقد تتداخل أقنعة الأجسام المختلفة.
• التقسيم الشامل: يجيب عن السؤالين لكل بكسل، مع تخصيص مقطع واحد بالضبط لكل بكسل.

يوفّر Ultralytics YOLO26 الشقين بوصفهما مهمتين منفصلتين: إذ تُرجع نماذج -seg قناعًا وفئةً لكل جسم، وتُرجع نماذج -sem لـالتقسيم الدلالي فئةً لكل بكسل، وهي مدرّبة مسبقًا على فئات Cityscapes الـ19 أو فئات ADE20K الـ150.

تطبيقات عملية#

• المركبات ذاتية القيادة: يوفّر مخرج واحد الطرق القابلة للقيادة والأرصفة بوصفها مواد، وكل مشاة ومركبة بوصفها جسمًا منفصلًا يمكن لنظام التتبّع متابعته.
• الروبوتات: يحتاج الروبوت المتنقل إلى خريطة متسقة واحدة تعرض الأرضية القابلة للقيادة وكل جسم قد يلتقطه أو يتجنبه.
• تحليل الصور الطبية: يقسّم علم الأمراض الرقمي مناطق الأنسجة بوصفها مواد، ويحصي الأنوية والخلايا الفردية بوصفها أشياء.
• ثلاثي الأبعاد والفيديو: يحافظ التقسيم الشامل للفيديو على اتساق معرّفات الحالات عبر الإطارات، بينما يصنّف التقسيم الشامل لبيانات LiDAR، الذي يُقيّم باستخدام SemanticKITTI وnuScenes، كل نقطة ثلاثية الأبعاد في المسح بفئة ومعرّف حالة.