Instance Segmentation

تجزئة الكائنات هي مهمة في الرؤية الحاسوبية تحدد كل جسم في الصورة، وتُسند إليه فئة، وترسم حدوده بقناع خاص به على مستوى البكسل. وهي تجمع بين الاستدلال على مستوى كل جسم في كشف الأجسام ودقة البكسل في تجزئة الصور: فبينما يرسم الكاشف مربع إحاطة مستطيلًا يتضمن الخلفية أيضًا، يحدد نموذج تجزئة الكائنات البكسلات التي تنتمي إلى كل جسم بدقة. ويصبح شخصان يقفان متلاصقين قناعين منفصلين بتسميتين مختلفتين، ما يتيح عدّ الأجسام الفردية وقياسها واقتطاعها.

تجزئة الكائنات مقارنةً بالتجزئة الدلالية والشاملة#

تجزئة الكائنات واحدة من ثلاث مهام للتجزئة تختلف في معنى التسمية:

• التجزئة الدلالية: تُسند تسمية فئة إلى كل بكسل، وتدمج جميع الأجسام من الفئة نفسها في منطقة واحدة؛ لذا تصبح السيارات الثلاث المتوقفة منطقة واحدة باسم «سيارة». كما تُسند تسميات إلى مناطق الخلفية مثل الطريق والسماء.
• تجزئة الكائنات: تمنح كل جسم قابل للعد، أو «شيء»، قناعه ومعرّفه الخاصين، لذا تصبح السيارات الثلاث: السيارة 1 والسيارة 2 والسيارة 3. وتبقى البكسلات التي لا تنتمي إلى أي جسم مكتشف بلا تسمية.
• التجزئة الشاملة: تُسند فئة إلى كل بكسل، كما تُسند معرّف كائن إلى الأجسام القابلة للعد، فتجمع المنظورين في مخرج واحد.

تُجري النماذج القابلة للتوجيه مثل نموذج Meta للتجزئة الشاملة (SAM) تجزئة تفاعلية: إذ تعيد قناعًا للعنصر الذي تشير إليه نقرة أو مربع أو مطالبة نصية، من دون قائمة ثابتة من الفئات.

كيف تعمل نماذج تجزئة الكائنات#

تكتشف النماذج ثنائية المرحلة الأجسام أولًا ثم تجزّئها. ويقترح Mask R-CNN، وهو التصميم المرجعي المعتمد منذ عام 2017، مناطق مرشحة، ثم يصنّف كل مربع ويحسّنه، ويتنبأ بقناع صغير بحجم 28×28 داخل كل مربع باستخدام فرع أقنعة منفصل.

تتنبأ النماذج أحادية المرحلة بالمربعات والأقنعة في تمريرة واحدة، ما يجعلها مناسبة لـالاستدلال الآني. وقد قدم YOLACT تصميم النماذج الأولية الذي تستخدمه أيضًا نماذج تجزئة YOLO: تتنبأ الشبكة بمجموعة مشتركة من الأقنعة النموذجية للصورة بأكملها، إضافةً إلى متجه قصير من معاملات القناع لكل جسم مكتشف. ويتكون قناع كل جسم من مجموع النماذج الأولية المرجّح بالمعاملات، ثم يُقص وفقًا لمربعه ويُحوّل بعتبة إلى قناع ثنائي.

تسلك النماذج القائمة على Transformer مثل Mask2Former نهجًا ثالثًا: إذ تتنبأ بمجموعة ثابتة من استعلامات الأقنعة، وتستخدم البنية نفسها للتجزئة الدلالية وتجزئة الكائنات والتجزئة الشاملة.

الأقنعة والمضلعات والمقاييس#

عادةً ما تكون تسميات التدريب مضلعات مرسومة حول كل جسم، وتُخزّن بتنسيقات مثل JSON الخاص بـCOCO أو ملفات YOLO النصية، مع معرّف فئة واحد وقائمة بالرؤوس المطبّعة لكل جسم. وعند الاستدلال، تُخرج النماذج كل كائن على هيئة قناع ثنائي يمكن تحويله إلى مخطط مضلع للتخزين أو الرسم. ويُبلّغ عن الدقة بمتوسط الدقة المتوسط للأقنعة (mAP)، ويُحسب كما في mAP للمربعات، باستثناء أن التقاطع على الاتحاد (IoU) يُقاس بين الأقنعة المتنبأ بها والأقنعة المرجعية الصحيحة. ويستغرق رسم مضلع حول كل جسم وقتًا أطول بكثير من رسم مربع، لذا تُستخدم النماذج القابلة للتوجيه مثل SAM على نطاق واسع لتحويل نقرة واحدة إلى قناع أولي يصححه المعلّق بعد ذلك.

تستخدم نماذج التجزئة Ultralytics YOLO26، التي يُشار إليها باللاحقة -seg، تصميم النماذج الأولية مع 32 نموذجًا أوليًا و32 معاملًا لكل كشف، وتعيد كل كائن مع فئته ومربعه وقناعه ومخطط مضلعه:

from ultralytics import YOLO

# Load a YOLO26 instance segmentation model pretrained on the 80 COCO classes
model = YOLO("yolo26n-seg.pt")

# Segment every object instance in the image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Each instance has its own class and mask outline, even when classes repeat
for class_id, polygon in zip(result.boxes.cls.int().tolist(), result.masks.xy):
    print(f"{result.names[class_id]}: outline with {len(polygon)} points")

result.save(filename="instance_segmentation.jpg")

يُطبع كل شخص مكتشف في سطر منفصل مع حدوده الخاصة، وتلوّن الصورة المحفوظة قناع كل كائن على حدة.

تطبيقات عملية#

تكتسب أقنعة الكائنات أهمية في كل موضع يعتمد فيه القرار على الشكل الدقيق للأجسام الفردية أو عددها:

• الالتقاط الروبوتي: يحتاج ذراع الروبوت الذي يلتقط قطعًا من حاوية مزدحمة إلى حدود دقيقة لكل قطعة، ليختار نقطة إمساك بعيدة عن القطع المجاورة.
• بيولوجيا الخلية: تجزّئ مسارات عمل المجهر الخلايا والأنوية الفردية، بما فيها المتلامسة، لعدّها وقياس أحجامها وأشكالها.
• الزراعة: تفصل روبوتات الحصاد وأنظمة تقدير المحصول الثمار الفردية في التيجان النباتية الكثيفة لعدّها وتقدير أحجامها من مساحة الأقنعة.
• تتبّع الأجسام في الفيديو: يتيح الجمع بين أقنعة الكائنات وأداة التتبّع متابعة الهيئة الدقيقة لكل جسم من إطار إلى آخر.
• المركبات ذاتية القيادة: توفر مجموعات بيانات القيادة مثل Cityscapes تسميات على مستوى الكائن لثماني فئات من الأشخاص والمركبات، ما يمكّن نماذج الإدراك من فصل كل مشاة في الحشود.