Two-Stage Object Detectors

Les détecteurs d'objets à deux étapes sont des modèles de détection d'objets qui divisent le travail en deux étapes : la première propose des régions de l'image susceptibles de contenir un objet, et la seconde classe chaque région et affine sa boîte englobante. La famille R-CNN a défini cette architecture entre 2014 et 2018 et a dominé pendant des années les benchmarks de détection et de segmentation d'instances. Les détecteurs d'objets à une étape ignorent l'étape de proposition et prédisent toutes les boîtes à partir d'une grille dense en un seul passage, raison pour laquelle la plupart des systèmes en temps réel les utilisent.

Fonctionnement des détecteurs à deux étapes#

Un réseau de base de neurones convolutifs calcule une fois les cartes de caractéristiques de l'image entière, généralement avec un réseau pyramidal de caractéristiques (FPN) au-dessus. La première étape, un réseau de proposition de régions (RPN), attribue un score à un ensemble de boîtes d'ancrage à chaque position de la carte de caractéristiques pour déterminer la présence d'objets, et prédit des décalages qui les remodèlent ; Faster R-CNN utilise neuf ancres par position, soit trois tailles multipliées par trois rapports d'aspect. La suppression des non-maxima (NMS) élimine les propositions qui se chevauchent, puis les régions aux scores les plus élevés — 300 par image au moment du test dans l'article original — sont transmises à la seconde étape. Là, le pooling RoI ou son successeur plus précis, RoIAlign, extrait une grille de caractéristiques de taille fixe pour chaque proposition, et une petite tête prédit une classe, y compris une classe d'arrière-plan, ainsi que des décalages de boîte propres à chaque classe pour chaque extrait.

Un hook forward sur le RPN de Faster R-CNN de torchvision montre la quantité de travail prise en charge par la seconde étape :

import urllib.request

from PIL import Image
from torchvision.models.detection import FasterRCNN_ResNet50_FPN_V2_Weights, fasterrcnn_resnet50_fpn_v2

# Load Faster R-CNN with a ResNet-50 FPN backbone, pretrained on COCO
weights = FasterRCNN_ResNet50_FPN_V2_Weights.DEFAULT
model = fasterrcnn_resnet50_fpn_v2(weights=weights).eval()
image = Image.open(urllib.request.urlopen("https://ultralytics.com/images/bus.jpg"))

# Report how many regions the first stage, the region proposal network, passes on
model.rpn.register_forward_hook(lambda module, inputs, output: print(f"Stage 1: {len(output[0][0])} proposals"))

# The second stage classifies and refines every proposal
detections = model([weights.transforms()(image)])[0]
labels = detections["labels"][detections["scores"] > 0.5]
print(f"Stage 2: {len(labels)} objects {[weights.meta['categories'][i] for i in labels]}")

Le résultat affiche Stage 1: 1000 proposals et Stage 2: 6 objects ['person', 'bus', 'person', 'person', 'person', 'tie'] : torchvision conserve 1 000 propositions par image lors de l'inférence, et la seconde étape les transforme en six détections fiables.

La famille R-CNN#

• R-CNN (2014) : La recherche sélective proposait environ 2 000 régions ; chaque région était redimensionnée à une taille fixe et transmise séparément au CNN, puis des machines à vecteurs de support classaient les caractéristiques. La détection avec un réseau de base VGG-16 prenait donc 47 secondes par image sur un GPU.
• Fast R-CNN (2015) : Le calcul de la carte de caractéristiques une seule fois et l'extraction des caractéristiques de chaque proposition à partir de celle-ci avec le pooling RoI ont permis d'entraîner VGG-16 9 fois plus vite que R-CNN et de réaliser l'inférence 213 fois plus rapidement.
• Faster R-CNN (2015) : Le RPN a remplacé la recherche sélective et partage les caractéristiques du réseau de base ; les propositions ne coûtent donc presque rien et le détecteur complet fonctionnait à 5 images par seconde.
• Mask R-CNN (2017) : Une troisième branche prédit un masque de pixels pour chaque région, transformant le détecteur en modèle de segmentation d'instances, et RoIAlign échantillonne les caractéristiques à des positions fractionnaires exactes, là où le pooling RoI les arrondissait.
• Cascade R-CNN (2018) : Trois têtes de seconde étape, entraînées avec des seuils d'IoU croissants de 0,5, 0,6 et 0,7, affinent chacune les boîtes produites par la précédente, pour améliorer la précision de la localisation.

Détecteurs à deux étapes et à une étape#

Le RPN élimine la plupart des éléments d'arrière-plan avant que le classificateur ne les voie. La seconde étape s'entraîne donc sur des régions échantillonnées où les objets représentent une proportion fixe — 25 % dans Fast R-CNN — et classe chaque région à partir de caractéristiques extraites à son emplacement exact. Les détecteurs à une étape évaluent chaque position d'une grille dense, soit environ 100 000 candidats par image dans RetinaNet, et leur précision était inférieure à celle des détecteurs à deux étapes jusqu'à ce que la perte focale réduise le poids des candidats d'arrière-plan faciles en 2017. Les modèles actuels à une étape égalent ou dépassent la précision des modèles à deux étapes avec une latence bien moindre, et un réseau unique est plus simple à exporter vers du matériel de périphérie ; les modèles à deux étapes sont donc aujourd'hui surtout utilisés comme références de recherche et dans des bibliothèques telles que Detectron2. auto_annotate d'Ultralytics applique la même séparation proposition puis raffinement entre deux modèles pour l'annotation de données : un détecteur YOLO26 propose des boîtes, puis le Segment Anything Model (SAM) de Meta, guidé par chaque boîte, segmente l'objet à l'intérieur pour générer les étiquettes de segmentation.

Applications concrètes#

• Imagerie médicale : Les variantes de Mask R-CNN détectent et délimitent des cellules, des noyaux et des lésions individuelles en microscopie et sur des tomodensitogrammes, où chaque instance nécessite son propre masque pour être comptée et mesurée.
• Analyse de la mise en page de documents : Le benchmark PubLayNet, composé de plus de 360 000 images de pages, a servi à entraîner des modèles Faster R-CNN et Mask R-CNN pour localiser les blocs de texte, les titres, les listes, les tableaux et les figures avant la reconnaissance du texte.
• Images aériennes : Oriented R-CNN étend le RPN pour proposer des régions tournées ; la deuxième étape produit ainsi des boîtes englobantes orientées pour les navires, les avions et les véhicules du jeu de données DOTA.