Backbone

Ein Backbone ist der Teil eines neuronalen Netzes, der rohe Eingaben in Merkmalskarten für den Rest des Modells umwandelt. In der Computer Vision ist das Backbone meist ein Faltungsnetzwerk (CNN) oder ein Vision Transformer (ViT), der auf einem großen Datensatz wie ImageNet vortrainiert wurde. Die nachfolgenden Schichten – typischerweise ein Neck und ein aufgabenspezifischer Head – wandeln seine Merkmale in Klassenbezeichnungen, Begrenzungsrahmen, Masken oder Keypoints um. Backbone, Encoder und Merkmalsextraktor werden häufig synonym verwendet. In Encoder-Decoder-Modellen wie U-Net ist Encoder die übliche Bezeichnung.

So funktioniert ein Backbone#

Ein Bildverarbeitungs-Backbone verarbeitet ein Bild in mehreren Stufen. Jede Stufe wendet eine Reihe von Faltungs- oder Aufmerksamkeitsblöcken an, halbiert anschließend die räumliche Auflösung und erhöht gewöhnlich die Anzahl der Kanäle. So wird aus einer Eingabe von 640×640 eine 80×80-Karte bei Stride 8, eine 40×40-Karte bei Stride 16 und eine 20×20-Karte bei Stride 32. Frühe Stufen reagieren auf Kanten, Farben und Texturen. Spätere Stufen reagieren auf Objektteile und ganze Objekte, weil jede ihrer Ausgabepositionen ein größeres rezeptives Feld des Eingabebilds abdeckt. Erkennungs- und Segmentierungsmodelle greifen die letzten drei Stufen ab und leiten sie an einen Neck wie ein Feature-Pyramid-Netzwerk (FPN) weiter. Dadurch kann das Modell kleine Objekte in der hochauflösenden und große Objekte in der niedrigauflösenden Karte finden.

Backbone, Neck und Head im Vergleich#

Die meisten modernen Objekterkennungsarchitekturen gliedern sich in drei Teile. Diese Abgrenzungen sind wichtig, wenn du Komponenten austauschst oder Schichten einfrierst.

• Backbone: Führt die Merkmalsextraktion aus und erzeugt Merkmalskarten mit mehreren Auflösungen. Es enthält allgemeines visuelles Wissen, das sich auf verschiedene Aufgaben und Datensätze übertragen lässt.
• Neck: Führt die Skalen des Backbones zusammen, sodass jede Ausgabestufe sowohl feine räumliche Details als auch übergeordnete Bedeutung enthält. FPN fügt einen Pfad von oben nach unten hinzu, PANet ergänzt danach einen zweiten Pfad von unten nach oben. Klassifizierungsmodelle haben üblicherweise keinen Neck und fassen die letzte Backbone-Stufe zu einem einzelnen Vektor zusammen.
• Head: Wandelt jede zusammengeführte Merkmalskarte in die Ausgaben der jeweiligen Aufgabe um. Ein Erkennungs-Head sagt Begrenzungsrahmen und Klassenwerte voraus. Segmentierungs- und Pose-Heads sagen Masken und Keypoints anhand derselben Art von Merkmalen voraus.

Gängige Backbone-Familien#

• ResNet: Residualverbindungen lassen das Signal an Blöcken vorbeilaufen und ermöglichen so das Training von Netzwerken mit bis zu 152 Schichten. Ein ResNet-Ensemble gewann die Klassifizierungsaufgabe bei ILSVRC 2015. ResNet-50 ist weiterhin ein gängiges Referenz-Backbone für den Vergleich von Detektoren.
• CSPNet: Cross-Stage-Partial-Netzwerke leiten nur einen Teil der Kanäle jeder Stufe durch deren Blöcke und führen den Rest am Ende wieder zusammen. Dadurch sank der Rechenaufwand bei gleicher oder besserer ImageNet-Genauigkeit um 20 %. CSPDarknet53, das Backbone von YOLOv4, besteht aus diesen Stufen.
• ConvNeXt: Ein mit Designentscheidungen aus Transformern modernisiertes ResNet, etwa großen Kerneln und weniger Normalisierungsschichten. Es erreicht eine ImageNet-Top-1-Genauigkeit von 87,8 % und übertrifft Swin Transformer bei der COCO-Erkennung.
• ViT und Swin Transformer: Ein einfacher ViT behält von Anfang bis Ende eine einzige Auflösung bei. Deshalb verwenden Erkennungsmodelle oft stattdessen Swin, das Aufmerksamkeit innerhalb verschobener lokaler Fenster berechnet und eine CNN-ähnliche Hierarchie von Stufen erzeugt.
• Selbstüberwachte Foundation-Backbones: DINOv3 trainiert einen ViT mit 7 Milliarden Parametern auf 1,7 Milliarden unbeschrifteten Bildern. Seine Merkmale erzielen auch bei anspruchsvollen Aufgaben wie Segmentierung und Tiefenschätzung gute Ergebnisse, wenn das Backbone eingefroren bleibt.

Vortrainierte Backbones und Transferlernen#

Das Training eines Backbones von Grund auf erfordert einen großen Datensatz und einen langen Trainingsplan. Daher beginnen die meisten Projekte mit vortrainierten Gewichten. Diese Form des Transferlernens funktioniert, weil die auf einem Datensatz erlernten Kanten, Texturen und Formen für die meisten anderen Datensätze nützlich sind. Bei einem kleinen Datensatz, der der Vortrainingsdomäne ähnelt, bewahrt das Einfrieren des Backbones diese allgemeinen Merkmale, verringert Overfitting und senkt den Speicherbedarf beim Training, da eingefrorene Schichten weder Gradienten noch Optimiererzustände speichern. Bei einem großen Datensatz oder einer weit entfernten Domäne wie Röntgen- oder Wärmebildern können sich die Merkmale durch das Feinabstimmen des Backbones anpassen. Bei YOLO26 umfasst das Backbone die Schichten 0–10: Strided Convolutions, C3k2-Blöcke, einen SPPF-Pooling-Block und einen C2PSA-Attention-Block. Das Trainingsargument freeze=11 friert alle diese Schichten ein, sodass beim Training nur Neck und Erkennungskopf aktualisiert werden. Der Leitfaden zur Feinabstimmung behandelt diesen Ansatz ausführlich.

from ultralytics import YOLO

# Ein mit COCO vortrainiertes YOLO26-Erkennungsmodell laden
model = YOLO("yolo26n.pt")

# Mit eingefrorenem vollständigem Backbone (Schichten 0–10) auf einem kleinen Datensatz feinabstimmen
results = model.train(data="coco8.yaml", epochs=3, imgsz=640, freeze=11)

Der Trainer protokolliert Freezing layer 'model.0.conv.weight' vor der ersten Epoche sowie eine entsprechende Zeile für jeden weiteren Parameter in den Schichten 0–10. Diese Parameter bleiben unverändert, während Neck und Head die neuen Daten lernen.