Image Segmentation

تجزئة الصور مهمة في الرؤية الحاسوبية، تقسم الصورة إلى مناطق عبر إسناد تسميات إلى وحدات البكسل. ويتكون ناتجها من مجموعة أقنعة توضّح بدقة وحدات البكسل التابعة لكل فئة أو كائن. وبالمقارنة مع كشف الكائنات، الذي يحدد موقع كل كائن باستخدام صندوق إحاطة مستطيل يتضمن الخلفية أيضًا، ترسم التجزئة الحدود الحقيقية لكل كائن أو منطقة، وهي أكثر تفصيلًا بكثير من تصنيف الصور، الذي يسند تسمية واحدة إلى الصورة بأكملها. وتكمن أهمية هذه الدقة كلما كان المساحة أو المحيط أو التلامس بين الكائنات مؤثرًا في القرار، بدءًا من قياس ورم وصولًا إلى تحديد المساحة الخالية أمام سيارة.

أنواع تجزئة الصور#

تختلف مهام التجزئة في معنى تسمية البكسل. ويميّز مجال الرؤية الحاسوبية بين «الكائنات» القابلة للعد، مثل الأشخاص والسيارات، و«المناطق» عديمة الشكل، مثل الطرق والعشب والسماء.

• التجزئة الدلالية: تسند فئة إلى كل بكسل، وتشمل الكائنات والمناطق، وتدمج جميع الكائنات من الفئة نفسها في منطقة واحدة.
• تجزئة الكائنات المنفردة: تكشف كل كائن قابل للعد وتمنحه قناعه ومعرّفه الخاصين، بحيث يظل شخصان متلامسان منفصلين؛ وتبقى وحدات بكسل الخلفية بلا تسمية.
• التجزئة الشاملة: تسند فئة إلى كل بكسل، وتضيف معرّفًا للكائنات القابلة للعد، موحّدةً بذلك النوعين الآخرين.
• التجزئة التفاعلية: تعيد قناعًا لما تشير إليه نقرة المستخدم أو صندوقه أو موجّهه النصي، على غرار عمل النماذج القابلة للتوجيه مثل نموذج تقسيم أي شيء (SAM).

تجيب الأنواع الثلاثة الأولى عن أسئلة مختلفة، ما يجعل الاختيار بينها قرارًا مباشرًا:

آلية عمل نماذج التجزئة#

تجمع الأساليب التقليدية وحدات البكسل استنادًا إلى مؤشرات منخفضة المستوى مثل الشدة واللون والحواف: تحديد العتبة باستخدام طريقة Otsu، ونمو المناطق، وتحويل مستجمعات المياه، وتجميع الألوان باستخدام k-means، وقطع الرسوم البيانية. وتنفّذ OpenCV عددًا من هذه الأساليب، ولا تزال مفيدة للصور النظيفة المضبوطة مثل الأجزاء المضاءة من الخلف على ناقل؛ فهي تجمع وحدات البكسل دون أن تعرف ما تمثله كل مجموعة.

تتعلم نماذج التعلّم العميق الحدود ودلالات المناطق من الأقنعة الموسومة. وتُخفّض شبكات المرمّز وفكّ الترميز مثل U-Net دقة الصورة لالتقاط السياق، ثم تعيد رفعها إلى الدقة الكاملة لإجراء تنبؤات لكل بكسل. وتضيف نماذج الكائنات المنفردة مثل Mask R-CNN ونماذج تجزئة YOLO رأس أقنعة إلى كاشف الكائنات، بينما تتعامل نماذج المحوّلات مثل Mask2Former مع التجزئة الدلالية وتجزئة الكائنات المنفردة والتجزئة الشاملة ببنية واحدة. وقد وسّعت النماذج التأسيسية القابلة للتوجيه التجزئة لتشمل كائنات اعتباطية: ظهر SAM في عام 2023 بعد تدريبه على 1.1 مليار قناع مستمد من 11 مليون صورة، وأضاف SAM 2 دعم الفيديو في عام 2024، ثم صدر SAM 3 في نوفمبر 2025، ليجزّئ كل نسخة من مفهوم يحدده موجّه نصي. ولأن تسميات التجزئة مضلعات أو أقنعة لكل بكسل يستغرق رسمها وقتًا أطول بكثير من الصناديق، أصبحت هذه النماذج القابلة للتوجيه تنشئ مسودات لكثير من أقنعة التدريب انطلاقًا من نقرة واحدة.

يحدد نوع المهمة أيضًا شكل الناتج. وتُطرح عائلتا نماذج منفصلتان من YOLO26 من Ultralytics: -seg لتجزئة الكائنات المنفردة، و-sem لـالتجزئة الدلالية. ويبيّن تشغيلهما على الصورة نفسها الفرق بينهما:

from ultralytics import YOLO

# ⁨حمّل نموذجًا لتجزئة الكائنات المنفردة ونموذجًا للتجزئة الدلالية⁩
instance_model = YOLO("yolo26n-seg.pt")
semantic_model = YOLO("yolo26n-sem.pt")

# ⁨جزّئ صورة الشارع نفسها باستخدام النموذجين⁩
image = "https://ultralytics.com/images/bus.jpg"
instance_results = instance_model(image)
semantic_results = semantic_model(image)

# ⁨ناتج الكائنات المنفردة: قناع ثنائي واحد لكل كائن مكتشف، بالشكل (الكائنات، الارتفاع، العرض)⁩
print(instance_results[0].masks.data.shape)

# ⁨الناتج الدلالي: خريطة فئات واحدة للصورة كلها، بالشكل (الارتفاع، العرض)⁩
print(semantic_results[0].semantic_mask.data.shape)

يساوي البُعد الأول لناتج الكائنات المنفردة عدد الكائنات المكتشفة، ما يتيح عدّ نتائج هذه المهمة. ولكل نوع من النواتج مقياسه الخاص: متوسط الدقة المتوسط (mAP) للأقنعة في تجزئة الكائنات المنفردة، ومتوسط التقاطع على الاتحاد (IoU) للتجزئة الدلالية، وجودة التجزئة الشاملة (PQ) للتجزئة الشاملة.

تطبيقات عملية#

• تحليل الصور الطبية: تحدد أدوات الأشعة الأعضاء والأورام والآفات في صور التصوير المقطعي والتصوير بالرنين المغناطيسي، لقياس أحجامها والتخطيط للجراحة أو العلاج الإشعاعي.
• القيادة الذاتية: تجزّئ أنظمة الإدراك الطرق والأرصفة والمركبات والمشاة في كل إطار لتحديد المساحة القابلة للقيادة.
• تحليل صور الأقمار الصناعية: تضع خرائط الغطاء الأرضي تسمية لكل بكسل: ماء أو غابة أو أرض زراعية أو مبانٍ، لمتابعة التغير بمرور الوقت.
• تحرير الصور والفيديو: تعتمد إزالة الخلفية وتمويه نمط البورتريه واستبدال السماء على أقنعة الأشخاص والسماء المحسوبة على الجهاز.
• الروبوتات والتصنيع: تستخدم الروبوتات أقنعة الكائنات لحساب نقاط الإمساك بالأجزاء غير المنتظمة، وتقيس أنظمة الفحص المساحة الدقيقة للعيوب مثل الخدوش والشقوق.