Semantic Segmentation

التقسيم الدلالي مهمة في الرؤية الحاسوبية تعيّن تسمية فئة لكل بكسل في الصورة. ويكون الخرج خريطة فئات كثيفة بارتفاع المدخل وعرضه نفسيهما، حيث تمثل كل قيمة معرّف فئة مثل طريق أو رصيف أو مبنى أو سماء أو شخص. فبينما يعيّن تصنيف الصور تسمية واحدة لكل صورة، ويرسم كشف الأجسام مربعًا لكل جسم، يصف التقسيم الدلالي المشهد بأكمله منطقةً تلو الأخرى، بما في ذلك مناطق الخلفية غير المنتظمة مثل العشب والسماء التي لا تتضمن عناصر قابلة للعد.

آلية عمل التجزئة الدلالية#

نموذج التقسيم الدلالي مصنّف يعمل على مستوى البكسل. ينتج شبكة عصبية التفافية (CNN) أو محوّل رؤية خريطة درجات لكل فئة، عادةً بدقة مخفّضة؛ ثم تُرفع دقة الخرائط إلى حجم الصورة، ويُسنَد إلى كل بكسل تصنيف الفئة ذات الدرجة الأعلى. يقارن التدريب تنبؤ كل بكسل بـقناع موسوم باستخدام الإنتروبيا المتقاطعة، وتُستثنى من الخسارة البكسلات المعيّنة بقيمة تجاهل، وغالبًا ما تكون 255.

تكمن الصعوبة الأساسية في أن التعرّف على ماهية منطقة ما يتطلب مجال استقبال واسعًا وتقليلًا كبيرًا للدقة، في حين يتطلب رسم حدود دقيقة تفاصيل مكانية دقيقة. حوّلت الشبكات الالتفافية بالكامل (FCN) شبكات التصنيف إلى متنبئات كثيفة للمرة الأولى عام 2014. ثم استعادت تصاميم المرمّز ومفكّك الترميز مثل U-Net الحدود عبر تمرير سمات المرمّز عالية الدقة إلى مفكّك الترميز من خلال وصلات تخطٍّ، واستخدمت DeepLab الالتفافات الموسّعة (atrous) لتوسيع السياق من دون تقليص خريطة السمات. تدمج النماذج الآنية السياق الخشن مع التفاصيل الدقيقة بهذه الطريقة:

تتبع نماذج التقسيم الدلالي من Ultralytics YOLO26، التي يميّزها اللاحقة -sem، هذا النمط: إذ تصنّف البكسلات انطلاقًا من سمات العنق بمقياس 1/8، التي تحمل بالفعل سياقًا مدمجًا، ثم ترفع دقة القيم اللوغاريتمية 8× إلى حجم المدخل. تأتي النماذج مدرّبة مسبقًا على فئات Cityscapes الـ19 أو فئات ADE20K الـ150، ويجري تدريبها على صور الأقنعة أو على تسميات مضلعات YOLO التي تُحوّل إلى أقنعة أثناء التشغيل.

from ultralytics import YOLO

# Load a YOLO26 semantic segmentation model trained on the 19 Cityscapes classes
model = YOLO("yolo26n-sem.pt")

# Predict one class ID for every pixel of a street image
results = model("https://ultralytics.com/images/bus.jpg")
class_map = results[0].semantic_mask.data

# Measure how much of the image each class covers
ids, counts = class_map.unique(return_counts=True)
for class_id, count in zip(ids.tolist(), counts.tolist()):
    print(f"{results[0].names[class_id]}: {count / class_map.numel():.1%}")

يسرد ناتج الطباعة كل فئة موجودة ونسبتها من الصورة. ويندرج جميع الأشخاص في الصورة ضمن نسبة واحدة لفئة الشخص، لأن خريطة الفئات تخزّن فئة لكل بكسل ولا تتضمن معلومات عن الجسم الذي ينتمي إليه البكسل.

التقسيم الدلالي مقابل تقسيم العناصر والتقسيم الشامل#

التقسيم الدلالي أحد مهام تقسيم الصور الثلاث:

• تقسيم العناصر: يعيّن لكل جسم قابل للعد قناعه ومعرّفه الخاص، بحيث تصبح السيارات الثلاث «السيارة 1» و«السيارة 2» و«السيارة 3»، ويترك بكسلات الخلفية بلا تسمية.
• التقسيم الشامل: يعيّن فئة لكل بكسل، كما يفعل التقسيم الدلالي، ويضيف معرّف عنصر إلى بكسلات الأجسام القابلة للعد.

يناسب التقسيم الدلالي المشاهد التي تكون فيها المناطق أهم من أعداد الأجسام، مثل مساحة الطريق القابلة للقيادة أو الغطاء الأرضي.

للمساعدة في الاختيار بين التجزئة الدلالية وتجزيء الكائنات، راجع دليل مقارنة التجزئة الدلالية وتجزيء الكائنات، كما يشرح درس Ultralytics Academy التجزئة الدلالية: توسيم كل بكسل خطوات توسيم البيانات وتدريب نموذج لهذه المهمة.

تطبيقات عملية#

• المركبات ذاتية القيادة: تقسّم أنظمة القيادة إطارات الكاميرا إلى طريق ورصيف وعلامات مسارات ومركبات ومشاة لتحديد المساحة القابلة للقيادة والعوائق.
• التصوير الطبي: تحدد النماذج حدود الأعضاء والأورام والآفات في صور CT وMRI كي يتمكن الأطباء من قياس الأحجام والتخطيط للعلاج؛ وقد صُمّم U-Net في الأصل للصور الطبية الحيوية.
• تحليل صور الأقمار الصناعية: تصنّف خرائط الغطاء الأرضي كل بكسل على أنه ماء أو غابة أو أرض زراعية أو منطقة مبنية لتتبع إزالة الغابات والتوسع الحضري.
• الزراعة: تصنّف الروبوتات الميدانية والطائرات المسيّرة البكسلات على أنها محصول أو عشب ضار أو تربة، كي ترشّ الرشاشات الأعشاب الضارة وحدها.

المقاييس ومعايير التقييم#

تُقيّم النماذج باستخدام متوسط التقاطع على الاتحاد (IoU)، أو mIoU: يُحسب التداخل بين البكسلات المتنبأ بها والبكسلات الحقيقية لكل فئة، ثم يؤخذ متوسطها، بحيث يكون وزن الفئات النادرة مثل الأعمدة وإشارات المرور مساويًا لوزن الطريق والسماء. تغطي ADE20K عددًا من الفئات الداخلية والخارجية يبلغ 150 فئة لتحليل المشاهد عمومًا، أما Cityscapes، أشهر معيار لتقييم القيادة، فتضم 5,000 صورة شارع من 50 مدينة مع تسميات دقيقة على مستوى البكسل، ويُرتّب الأداء فيها استنادًا إلى mIoU عبر 19 فئة تقييم.