Two-Stage Object Detectors

İki aşamalı nesne algılayıcıları, işi iki adıma bölen nesne algılama modelleridir: İlk aşama, görüntüde nesne içerebilecek bölgeleri önerir; ikinci aşama her bölgeyi sınıflandırıp sınırlayıcı kutusunu iyileştirir. R-CNN ailesi, 2014 ile 2018 arasında bu tasarımın temelini attı ve yıllarca algılama ile örnek segmentasyonu kıyaslamalarına öncülük etti. Tek aşamalı nesne algılayıcıları öneri adımını atlar ve her kutuyu yoğun bir ızgaradan tek geçişte tahmin eder; bu nedenle gerçek zamanlı sistemlerin çoğu bunları kullanır.

İki Aşamalı Algılayıcılar Nasıl Çalışır#

Bir omurga evrişimli sinir ağı, genellikle üzerine bir özellik piramidi ağı (FPN) eklenerek tüm görüntünün özellik haritalarını bir kez hesaplar. İlk aşama olan bölge öneri ağı (RPN), her özellik haritası konumunda bir dizi çapa kutusunu nesne olasılığı açısından puanlar ve bu kutuları yeniden şekillendiren ötelemeleri regresyonla tahmin eder; Faster R-CNN, her konumda üç boyut ile üç en-boy oranının çarpımından oluşan dokuz çapa kullanır. Maksimum olmayan bastırma (NMS), örtüşen önerileri eler; en yüksek puanlı bölgeler (özgün makalede test sırasında görüntü başına 300 bölge) ikinci aşamaya gider. Burada RoI havuzlama veya daha hassas ardılı RoIAlign, her öneri için sabit boyutlu bir özellik ızgarası kırpar; küçük bir başlık da her kırpım için arka plan sınıfı dâhil bir sınıf ve sınıfa özgü kutu ötelemeleri tahmin eder.

torchvision Faster R-CNN modelinin RPN'sine eklenen bir ileri geçiş kancası, ikinci aşamaya ne kadar iş düştüğünü gösterir:

import urllib.request

from PIL import Image
from torchvision.models.detection import FasterRCNN_ResNet50_FPN_V2_Weights, fasterrcnn_resnet50_fpn_v2

# Load Faster R-CNN with a ResNet-50 FPN backbone, pretrained on COCO
weights = FasterRCNN_ResNet50_FPN_V2_Weights.DEFAULT
model = fasterrcnn_resnet50_fpn_v2(weights=weights).eval()
image = Image.open(urllib.request.urlopen("https://ultralytics.com/images/bus.jpg"))

# Report how many regions the first stage, the region proposal network, passes on
model.rpn.register_forward_hook(lambda module, inputs, output: print(f"Stage 1: {len(output[0][0])} proposals"))

# The second stage classifies and refines every proposal
detections = model([weights.transforms()(image)])[0]
labels = detections["labels"][detections["scores"] > 0.5]
print(f"Stage 2: {len(labels)} objects {[weights.meta['categories'][i] for i in labels]}")

Şu çıktıyı verir: Stage 1: 1000 proposals ve Stage 2: 6 objects ['person', 'bus', 'person', 'person', 'person', 'tie']: torchvision çıkarım sırasında görüntü başına 1.000 öneriyi korur; ikinci aşama da bunları güven düzeyi yüksek altı algılamaya dönüştürür.

R-CNN Ailesi#

• R-CNN (2014): Seçici arama yaklaşık 2.000 bölge önerdi; her bölge sabit bir boyuta ölçeklenerek CNN'den ayrı ayrı geçirildi ve özellikleri destek vektör makineleriyle sınıflandırıldı. Bu nedenle VGG-16 omurgasıyla algılama, GPU'da görüntü başına 47 saniye sürüyordu.
• Fast R-CNN (2015): Özellik haritasını bir kez hesaplayıp her önerinin özelliklerini RoI havuzlama ile bu haritadan almak, VGG-16'nın eğitimini R-CNN'den 9 kat, testini ise 213 kat hızlandırdı.
• Faster R-CNN (2015): RPN, seçici aramanın yerini aldı ve omurganın özelliklerini paylaştı; böylece önerilerin maliyeti neredeyse sıfıra indi ve tam algılayıcı saniyede 5 kare hızında çalıştı.
• Mask R-CNN (2017): Üçüncü bir dal her bölge için piksel maskesi tahmin ederek algılayıcıyı bir örnek segmentasyonu modeline dönüştürdü. RoIAlign ise RoI havuzlamanın yuvarladığı yerlerde özellikleri tam kesirli konumlardan örnekledi.
• Cascade R-CNN (2018): IoU eşikleri artan düzeylerde (0.5, 0.6 ve 0.7) eğitilen üç ikinci aşama başlığının her biri, kendinden öncekinin kutularını iyileştirerek konum belirlemeyi hassaslaştırdı.

İki Aşamalı ve Tek Aşamalı Algılayıcılar#

RPN, sınıflandırıcı arka planın çoğunu görmeden eler. Böylece ikinci aşama, nesnelerin sabit bir paya (Fast R-CNN'de %25) sahip olduğu örneklenmiş bölgelerle eğitilir ve her bölgeyi tam konumunda havuzlanmış özelliklerle sınıflandırır. Tek aşamalı algılayıcılar yoğun bir ızgaranın her konumunu puanlar; RetinaNet'te görüntü başına yaklaşık 100.000 aday bulunur. Odak kaybı, 2017'de kolay arka plan adaylarının ağırlığını azaltana kadar bu algılayıcıların doğruluğu iki aşamalı olanların gerisindeydi. Günümüzde tek aşamalı modeller, çok daha düşük gecikmeyle iki aşamalı modellerle aynı doğruluğa ulaşır veya onları aşar. Ayrıca tek bir ağı daha kolay biçimde uç donanıma aktarılabilir; bu nedenle iki aşamalı modeller artık çoğunlukla araştırma kıyaslamalarında ve Detectron2 gibi kütüphanelerde görülür. Ultralytics'in auto_annotate aracı, veri açıklaması için aynı öner-ardından-iyileştir ayrımını iki model arasında uygular: YOLO26 algılayıcısı kutular önerir; her kutuyla istem verilen Meta'nın Segment Anything Model (SAM) modeli, kutunun içindeki nesneyi segmentleyerek segmentasyon etiketleri oluşturur.

Gerçek Dünya Uygulamaları#

• Tıbbi görüntüleme: Mask R-CNN varyantları, her örneğin sayım ve ölçüm için kendi maskesine ihtiyaç duyduğu mikroskopi ve BT taramalarında tek tek hücreleri, çekirdekleri ve lezyonları algılayıp ana hatlarını çıkarır.
• Belge düzeni analizi: 360.000'den fazla sayfa görüntüsünden oluşan PubLayNet kıyaslaması, metin tanımadan önce metin bloklarını, başlıkları, listeleri, tabloları ve şekilleri bulmaları için Faster R-CNN ve Mask R-CNN modellerini eğitti.
• Hava görüntüleri: Oriented R-CNN, döndürülmüş bölgeler önermek için RPN'yi genişletir; böylece ikinci aşama, DOTA veri kümesindeki gemiler, uçaklar ve araçlar için döndürülmüş sınırlayıcı kutular üretir.