Object Detection Architectures

Objekterkennungsarchitekturen sind Netzwerkentwürfe, die ein Bild in eine Liste aus Begrenzungsrahmen, Klassenbezeichnungen und Konfidenzwerten umwandeln. Nahezu jeder moderne Detektor besteht aus einem Backbone, einem Neck und einem Head. Die Entwürfe unterscheiden sich hauptsächlich darin, wie sie Kandidatenrahmen aus Regionsvorschlägen, einem dichten Raster oder gelernten Abfragen erzeugen und wie sie doppelte Vorhersagen mit Nicht-Maximum-Unterdrückung (NMS) oder durch Eins-zu-eins-Zuordnung entfernen. Diese Entscheidungen bestimmen die Genauigkeit und Geschwindigkeit eines Detektors sowie, wie einfach er auf Edge-Hardware eingesetzt werden kann. Objekterkennung bezeichnet die Aufgabe, und der Erkennungs-Head ist ein Teil der Architektur.

Backbone, Neck und Head#

Das Backbone extrahiert Merkmale. Es ist ein Faltungsneuronales Netz wie ResNet oder CSPDarknet oder ein Vision Transformer, häufig vortrainiert auf ImageNet-Klassifizierung. Das Backbone verkleinert das Bild schrittweise, sodass seine Merkmalskarten mit zunehmender Tiefe an Auflösung verlieren und semantischen Gehalt gewinnen. Der Neck, meist ein Merkmalspyramiden-Netzwerk (FPN) mit einem zusätzlichen Pfad von unten nach oben wie bei PANet, führt tiefe und flache Karten zusammen, sodass jede Ausgabeskala sowohl feine Details als auch Kontext enthält. Der Head sagt an jeder Position jeder Skala Rahmen und Klassenwerte voraus, üblicherweise bei Strides von 8, 16 und 32, sodass die feinste Karte kleine Objekte und die gröbste große Objekte erkennt. Die drei Teile eines echten Detektors lassen sich anhand seiner Modelldefinition erkennen:

from ultralytics import YOLO

# YOLO26n laden und seine Ebenen so aufteilen, wie es die YAML-Datei des Modells vorgibt
model = YOLO("yolo26n.pt")
layers = model.model.model
n_backbone = len(model.model.yaml["backbone"])

# Das Backbone extrahiert Merkmale, der Neck führt die Skalen zusammen, und die letzte Ebene ist der Head
print("Backbone:", [type(m).__name__ for m in layers[:n_backbone]])
print("Neck:", [type(m).__name__ for m in layers[n_backbone:-1]])
print("Head:", type(layers[-1]).__name__, "at strides", model.model.stride.tolist())

Die Backbone-Liste zeigt Schichten mit Stride Conv und C3k2-Blöcke, die mit SPPF-Pooling und einem C2PSA-Aufmerksamkeitsblock enden. Der Neck führt Upsample-, Concat- und C3k2-Schichten von oben nach unten sowie Schichten mit Stride Conv, Concat und C3k2 wieder nach oben. Ein Detect-Head sagt Vorhersagen bei Strides von 8, 16 und 32 voraus.

Detektorfamilien#

• Zweistufige Detektoren: Ein Netzwerk für Regionsvorschläge schlägt einige Hundert mögliche Regionen vor, und ein zweiter Head klassifiziert und verfeinert jede davon, wie bei Faster R-CNN (2015) und Mask R-CNN (2017).
• Einstufige Detektoren mit Ankern: SSD (2016), YOLOv2 bis YOLOv5 und RetinaNet (2017) sagen in einem einzigen Durchlauf für jede Rasterzelle Abweichungen von vordefinierten Ankerrahmen voraus.
• Ankerfreie Detektoren: FCOS (2019) und YOLOv8 (2023) sagen die Abstände von einem Punkt zu den vier Rahmenkanten voraus. CenterNet (2019) sagt Rahmenmittelpunkte als Spitzen in einer Heatmap voraus, jeweils mit einer Breite und Höhe. YOLOX (2021) führte die YOLO-Familie zurück zur ankerfreien Vorhersage, sodass keiner dieser Detektoren eine Abstimmung der Anker benötigt.
• DETR-artige Transformer-Detektoren: DETR (2020) dekodiert eine feste Anzahl erlernter Objektabfragen und ordnet sie den annotierten Objekten eins zu eins zu, sodass die Ausgabe kein NMS benötigt. Deformable DETR erreichte eine höhere Genauigkeit mit zehnmal weniger Trainingsepochen. RT-DETR machte den Ansatz 2023 echtzeitfähig.
• NMS-freie CNN-Detektoren: YOLOv10 (2024) trainiert einen Eins-zu-eins-Head parallel zu einem Eins-zu-viele-Head und verwendet bei der Inferenz nur den Eins-zu-eins-Head, sodass für die Rahmen kein NMS erforderlich ist.
• Detektoren mit offenem Vokabular: Grounding DINO und YOLO-World ersetzen die feste Klassifizierungsschicht durch Texteinbettungen und können so Klassen erkennen, die erst zur Inferenzzeit benannt werden.

Eine Architektur auswählen#

Benchmarks wie die mittlere durchschnittliche Präzision (mAP) auf COCO bewerten die Genauigkeit. Für das Design sind jedoch meist die Zielhardware und die abgebildeten Objekte entscheidend. YOLO26 ist ein einstufiges, ankergfreies CNN mit beiden Arten von Köpfen: Standardmäßig wendet es auf seinen One-to-Many-Zweig NMS an, nms=False aktiviert den One-to-One-Zweig, und seine Modell-YAML-Dateien enthalten P2- und P6-Varianten mit einer Ausgabe bei Stride 4 beziehungsweise Stride 64.

• Edge-Geräte und Echtzeitvideo: Kleine CNN-Detektoren lassen sich gut für Laufzeitumgebungen wie TensorRT und OpenVINO kompilieren. Ein NMS-freier Head spart einen Nachverarbeitungsschritt, dessen Aufwand mit der Anzahl der Kandidaten steigt.
• Kleine Objekte: Für Luft- und Inspektionsbilder ist eine feinere Ausgabestufe wie Stride 4 erforderlich oder eine gekachelte Inferenz, bei der der Detektor auf überlappenden Ausschnitten ausgeführt wird.
• Wechselnde Produktkataloge: Detektoren mit offenem Vokabular erkennen ein neues Produkt anhand einer Texteingabe, ohne dass beschriftete Bilder davon vorliegen müssen.
• Gedrehte Objekte: Schiffe, Fahrzeuge und Gebäude auf Satellitenbildern lassen sich besser durch gedrehte Rahmen erfassen, die dem Head eine Winkelausgabe hinzufügen.