Residual Networks (ResNet)

Residual Networks, weithin bekannt als ResNets, sind eine spezifische Art von künstlichen neuronalen Netzen (ANN), die entwickelt wurden, um das Training extrem tiefer Netzwerke zu ermöglichen. ResNet wurde 2015 von Forschern bei Microsoft eingeführt und löste einen kritischen Engpass im Deep Learning, das sogenannte Problem des verschwindenden Gradienten. Bei herkömmlichen Netzwerken führte das Stapeln weiterer Schichten oft zu einer Sättigung oder Verschlechterung der Leistung, da das Signal, das zur Aktualisierung der Modellgewichte erforderlich ist, bei der Rückwärtspropagierung durch die Schichten abnahm. ResNet führte "Skip Connections" (oder Residual Connections) ein, die es Daten ermöglichen, eine oder mehrere Schichten zu überspringen und direkt zu nachfolgenden Verarbeitungsstufen zu fließen. Diese Innovation bewies, dass tiefere Netzwerke effektiv trainiert werden können, was zu bedeutenden Durchbrüchen im Computer Vision (CV) führte und zu einem grundlegenden Konzept für moderne Architekturen wurde.

Link to this sectionDas Kernkonzept: Residual Learning#

Das entscheidende Merkmal eines ResNet ist der "Residual Block". In einem Standard-konvolutionalen neuronalen Netzwerk (CNN) versucht jede Schicht, eine direkte Abbildung von der Eingabe zur Ausgabe zu erlernen. Wenn Netzwerke tiefer werden, wird das Erlernen dieser direkten Abbildung zunehmend schwieriger.

ResNet ändert diesen Ansatz, indem es das Lernziel anders formuliert. Anstatt darauf zu hoffen, dass jeder Schichtenstapel die gesamte zugrunde liegende Abbildung lernt, zwingt der Residual Block die Schichten dazu, das "Residuum" – also die Differenz – zwischen der Eingabe und der gewünschten Ausgabe zu lernen. Die ursprüngliche Eingabe wird dann über eine Skip Connection wieder zum gelernten Residuum addiert. Diese strukturelle Änderung bedeutet, dass das Netzwerk leicht lernen kann, die Residuen auf null zu setzen, falls eine Identitätsabbildung (das unveränderte Durchreichen der Eingabe) optimal ist. Dies macht Deep Learning (DL) Modelle wesentlich einfacher zu optimieren und ermöglicht es ihnen, von Dutzenden auf Hunderte oder sogar Tausende von Schichten zu skalieren.

Link to this sectionWichtige Architekturvarianten#

Seit der Einführung sind verschiedene Variationen von ResNet zu Standard-Benchmarks in der KI-Community geworden.

• ResNet-50: Eine 50-Schichten-Version, die ein "Bottleneck"-Design verwendet. Dieses Design nutzt 1x1-Faltungen, um Dimensionen zu reduzieren und anschließend wiederherzustellen, wodurch das Netzwerk recheneffizient bleibt und gleichzeitig eine hohe Genauigkeit beibehalten wird.
• ResNet-101 und ResNet-152: Tiefere Varianten mit 101 bzw. 152 Schichten. Diese werden oft verwendet, wenn die Rechenressourcen eine höhere Komplexität zulassen, um komplexere Feature Maps zu erfassen.
• ResNeXt: Eine Weiterentwicklung von ResNet, die eine "Kardinalitäts"-Dimension einführt, welche den Residual Block in mehrere parallele Pfade aufteilt, was die Effizienz und Leistung verbessert.

Link to this sectionPraxisanwendungen#

Die Robustheit der ResNet-Architekturen hat sie zur bevorzugten Wahl für eine Vielzahl visueller Aufgaben gemacht.

• Medizinische Bildanalyse: Im Gesundheitswesen ist die Identifizierung subtiler Anomalien in hochauflösenden Scans entscheidend. Auf ResNet basierende Modelle werden häufig eingesetzt, um Bedingungen wie die Tumorerkennung in der medizinischen Bildgebung zu entdecken, bei denen die Tiefe des Netzwerks hilft, fein abgestufte Muster in MRT- oder CT-Daten zu unterscheiden.
• Autonome Fahrzeuge: Selbstfahrende Autos benötigen eine zuverlässige Merkmalsextraktion aus Kameradaten, um Fußgänger, Schilder und Hindernisse zu identifizieren. ResNets dienen oft als Backbone für Objekterkennungssysteme in KI-Automobilanwendungen und liefern die reichhaltigen visuellen Merkmale, die für eine sichere Navigation erforderlich sind.

Link to this sectionResNet vs. andere Architekturen#

Es ist hilfreich, ResNet von anderen populären Architekturen zu unterscheiden, um seinen spezifischen Nutzen zu verstehen.

• ResNet vs. VGG: VGG (Visual Geometry Group) Netzwerke sind ebenfalls tiefe CNNs, verfügen jedoch nicht über Residual Connections. Folglich sind sie bei vergleichbaren Tiefen wie ResNet wesentlich schwieriger zu trainieren und aufgrund ihrer großen voll vernetzten Schichten im Allgemeinen rechenintensiver.
• ResNet vs. Inception: Inception-Netzwerke konzentrieren sich auf die Breite und verwenden Filter verschiedener Größen innerhalb derselben Schicht, um Merkmale auf unterschiedlichen Skalen zu erfassen. ResNet konzentriert sich auf die Tiefe. Moderne Architekturen wie Inception-ResNet kombinieren beide Konzepte.
• ResNet vs. Vision Transformer (ViT): Während ViTs Self-Attention-Mechanismen verwenden, um Bilder global zu verarbeiten, setzen ResNets auf lokale Faltungen. ResNets bleiben jedoch ein starker Basiswert und sind für kleinere Datensätze oder Echtzeit-Inferenz oft schneller.

Link to this sectionImplementierungsbeispiel#

Moderne Deep-Learning-Bibliotheken wie PyTorch machen den Zugriff auf vortrainierte ResNet-Modelle einfach. Diese Modelle sind von unschätzbarem Wert für Transfer Learning, bei dem ein auf einem großen Datensatz wie ImageNet trainiertes Modell für eine spezifische Aufgabe feinabgestimmt wird.

Das folgende Python-Snippet demonstriert, wie man ein vortrainiertes ResNet-50-Modell mit torchvision (Teil des PyTorch-Ökosystems) lädt und einen einfachen Forward-Pass durchführt. Während Nutzer der Ultralytics Platform oft YOLO26 für die Erkennung verwenden, ist das Verständnis der zugrunde liegenden Backbone-Konzepte wie ResNet für fortgeschrittene Anpassungen entscheidend.

import torch
import torchvision.models as models

# Load a pre-trained ResNet-50 model
resnet50 = models.resnet50(weights=models.ResNet50_Weights.DEFAULT)
resnet50.eval()  # Set model to evaluation mode

# Create a dummy input tensor (batch_size, channels, height, width)
input_tensor = torch.randn(1, 3, 224, 224)

# Perform a forward pass to get predictions
with torch.no_grad():
    output = resnet50(input_tensor)

print(f"Output shape: {output.shape}")  # Expect [1, 1000] for ImageNet classes

Link to this sectionBedeutung in der modernen KI#

Obwohl neuere Architekturen wie YOLO26 hochoptimierte Strukturen für maximale Geschwindigkeit und Genauigkeit nutzen, bleiben die Prinzipien des Residual Learning allgegenwärtig. Das Konzept der Skip Connections ist heute ein Standardbestandteil vieler fortgeschrittener Netzwerke, einschließlich der Transformer, die in der natürlichen Sprachverarbeitung (NLP) und in den neuesten Objekterkennungsmodellen verwendet werden. Indem es Informationen ermöglicht, freier durch das Netzwerk zu fließen, ebnete ResNet den Weg für die tiefen, komplexen Modelle, die die heutige künstliche Intelligenz antreiben.