Two-Stage Object Detectors

كواشف الأجسام ذات المرحلتين هي نماذج لكشف الأجسام تقسّم المهمة إلى خطوتين: تقترح المرحلة الأولى مناطق من الصورة قد تحتوي على جسم، ثم تصنّف المرحلة الثانية كل منطقة وتحسّن مربع الإحاطة الخاص بكل منطقة. وقد حدّدت عائلة R-CNN هذا التصميم بين عامي 2014 و2018، وتصدّرت لسنوات معايير تقييم كشف الأجسام وتجزئة المثيلات. وتتخطى كواشف الأجسام أحادية المرحلة خطوة اقتراح المناطق وتتنبأ بكل مربع انطلاقًا من شبكة كثيفة في تمريرة واحدة، ولهذا تستخدمها معظم الأنظمة التي تعمل في الوقت الفعلي.

آلية عمل كواشف المرحلتين#

تحسب الشبكة الأساسية، وهي شبكة عصبية التفافية، خرائط السمات للصورة بأكملها مرة واحدة، وعادةً ما توضع فوقها شبكة هرم السمات (FPN). تحسب المرحلة الأولى، وهي شبكة اقتراح المناطق (RPN)، درجات مجموعة من مربعات الارتكاز في كل موضع من خريطة السمات لاحتمال وجود جسم، وتتنبأ بإزاحات تعيد تشكيلها؛ ويستخدم Faster R-CNN تسعة مربعات ارتكاز لكل موضع، بثلاثة أحجام وثلاث نسب أبعاد. تزيل عملية كبح غير الأعظميات (NMS) الاقتراحات المتداخلة، ثم تنتقل المناطق الأعلى درجةً إلى المرحلة الثانية؛ وكان عددها 300 منطقة لكل صورة وقت الاختبار في الورقة الأصلية. وهناك، يقتطع RoI pooling أو خليفته الأدق RoIAlign شبكة سمات ثابتة الحجم لكل اقتراح، ويتنبأ رأس صغير بفئة، تشمل فئة الخلفية، وبإزاحات مربعات خاصة بكل فئة لكل اقتطاع.

يوضح خطاف أمامي على RPN في Faster R-CNN ضمن torchvision مقدار العمل الذي تتلقاه المرحلة الثانية:

import urllib.request

from PIL import Image
from torchvision.models.detection import FasterRCNN_ResNet50_FPN_V2_Weights, fasterrcnn_resnet50_fpn_v2

# Load Faster R-CNN with a ResNet-50 FPN backbone, pretrained on COCO
weights = FasterRCNN_ResNet50_FPN_V2_Weights.DEFAULT
model = fasterrcnn_resnet50_fpn_v2(weights=weights).eval()
image = Image.open(urllib.request.urlopen("https://ultralytics.com/images/bus.jpg"))

# Report how many regions the first stage, the region proposal network, passes on
model.rpn.register_forward_hook(lambda module, inputs, output: print(f"Stage 1: {len(output[0][0])} proposals"))

# The second stage classifies and refines every proposal
detections = model([weights.transforms()(image)])[0]
labels = detections["labels"][detections["scores"] > 0.5]
print(f"Stage 2: {len(labels)} objects {[weights.meta['categories'][i] for i in labels]}")

يطبع Stage 1: 1000 proposals وStage 2: 6 objects ['person', 'bus', 'person', 'person', 'person', 'tie']: إذ يحتفظ torchvision بـ1,000 اقتراح لكل صورة أثناء الاستدلال، وتحولها المرحلة الثانية إلى ستة اكتشافات موثوقة.

عائلة R-CNN#

• R-CNN (2014): اقترح البحث الانتقائي نحو 2,000 منطقة، وشُوّهت كل منطقة إلى حجم ثابت ومُررت عبر CNN بصورة منفصلة، وصنفت آلات المتجهات الداعمة السمات؛ لذلك استغرق الكشف باستخدام شبكة أساسية VGG-16 مدة 47 ثانية لكل صورة على GPU.
• Fast R-CNN (2015): أدى حساب خريطة السمات مرة واحدة وتجميع سمات كل اقتراح منها باستخدام RoI pooling إلى تدريب VGG-16 بسرعة تفوق R-CNN بتسع مرات، واختباره بسرعة تفوقه بـ213 مرة.
• Faster R-CNN (2015): استبدلت RPN البحث الانتقائي وشاركت الشبكة الأساسية سماتها، لذا لم تكد تكلف الاقتراحات شيئًا، وعمل الكاشف الكامل بمعدل 5 إطارات في الثانية.
• Mask R-CNN (2017): يتنبأ فرع ثالث بقناع بكسلي لكل منطقة، فيحول الكاشف إلى نموذج لتجزئة المثيلات، كما يأخذ RoIAlign عينات من السمات عند مواضع كسرية دقيقة كان RoI pooling يقرّبها.
• Cascade R-CNN (2018): تتدرب ثلاثة رؤوس للمرحلة الثانية عند عتبات IoU متصاعدة تبلغ 0.5 و0.6 و0.7، ويحسّن كل منها مربعات الرأس السابق، ما يزيد دقة تحديد الموضع.

الكواشف ذات المرحلتين مقابل أحادية المرحلة#

تستبعد RPN معظم الخلفية قبل أن يراها المصنّف، لذلك تتدرّب المرحلة الثانية على مناطق مأخوذة بالعينات تشكّل الأجسام فيها نسبة ثابتة تبلغ 25% في Fast R-CNN، وتُصنّف المرحلة الثانية كل منطقة باستخدام سمات مجمّعة عند موضع المنطقة الدقيق. تُسند كواشف المرحلة الواحدة درجةً إلى كل موضع في شبكة كثيفة، بواقع نحو 100,000 مرشح لكل صورة في RetinaNet، وظلت دقة هذه الكواشف أدنى من دقة كواشف المرحلتين إلى أن خفّضت الخسارة البؤرية أوزان مرشحي الخلفية السهلين في عام 2017. تضاهي النماذج أحادية المرحلة الحالية دقة النماذج ثنائية المرحلة أو تتجاوزها، مع زمن استجابة لا يتجاوز جزءًا بسيطًا من زمن استجابة النماذج ثنائية المرحلة، كما أن تصدير شبكة واحدة إلى العتاد الطرفي أبسط؛ لذا تظهر النماذج ثنائية المرحلة اليوم غالبًا بوصفها خطوط أساس بحثية وفي مكتبات مثل Detectron2. يطبّق auto_annotate من Ultralytics التقسيم نفسه القائم على الاقتراح ثم التنقيح باستخدام نموذجين من أجل وسم البيانات: يقترح كاشف YOLO26 مربعات الإحاطة، ويقوم نموذج تجزئة أي شيء (SAM) من Meta، بعد تمرير كل مربع إليه بوصفه موجّهًا، بتجزئة الجسم الموجود داخل المربع لإنشاء تسميات التجزئة.

تطبيقات عملية#

• التصوير الطبي: تكشف متغيرات Mask R-CNN الخلايا والأنوية والآفات الفردية وتحدد محيطها في صور المجهر والتصوير المقطعي المحوسب، حيث يحتاج كل مثيل إلى قناعه الخاص للعد والقياس.
• تحليل تخطيط المستندات: دُرّبت نماذج Faster R-CNN وMask R-CNN باستخدام معيار PubLayNet، الذي يضم أكثر من 360,000 صورة صفحة، لتحديد كتل النص والعناوين والقوائم والجداول والأشكال قبل التعرّف على النص.
• الصور الجوية: يوسّع Oriented R-CNN شبكة RPN لاقتراح مناطق مستديرة، كي تنتج المرحلة الثانية صناديق محيطة موجّهة للسفن والطائرات والمركبات في مجموعة بيانات DOTA.