Residual Networks (ResNet)

Residual Networks, weithin bekannt als ResNets, sind ein spezifischer Typ einer artificial neural network (ANN)-Architektur, die entwickelt wurde, um das Training extrem tiefer Netzwerke zu ermöglichen. Eingeführt von Forschern bei Microsoft im Jahr 2015, löste ResNet einen kritischen Engpass im Deep Learning, der als vanishing gradient problem bekannt ist. In traditionellen Netzwerken führte das Stapeln weiterer Schichten oft zu Leistungssättigung oder -verschlechterung, da das Signal, das zur Aktualisierung von model weights erforderlich ist, beim rückwärtsgerichteten Durchlaufen der Schichten abklingt. ResNet führte „Skip-Verbindungen“ (oder Residualverbindungen) ein, die es Daten ermöglichen, eine oder mehrere Schichten zu umgehen und direkt zu nachfolgenden Verarbeitungsstufen zu fließen. Diese Innovation bewies, dass tiefere Netzwerke effektiv trainiert werden können, führte zu bedeutenden Durchbrüchen im Bereich computer vision (CV) und wurde zu einem grundlegenden Konzept für moderne Architekturen.

Das Kernkonzept: Residual Learning#

Das prägende Merkmal eines ResNets ist der „Residualblock“. In einem standardmäßigen convolutional neural network (CNN) versucht jede Schicht, eine direkte Abbildung von der Eingabe zur Ausgabe zu lernen. Mit zunehmender Tiefe von Netzwerken wird das Erlernen dieser direkten Abbildung zunehmend schwierig.

ResNet ändert diesen Ansatz, indem es das Lernziel anders formuliert. Anstatt darauf zu hoffen, dass jeder Schichtenstapel die gesamte zugrunde liegende Abbildung lernt, zwingt der Residualblock die Schichten dazu, das „Residual“ – also die Differenz – zwischen der Eingabe und der gewünschten Ausgabe zu lernen. Die ursprüngliche Eingabe wird dann über eine Skip-Verbindung wieder zu dem gelernten Residual addiert. Diese strukturelle Änderung bedeutet, dass, wenn eine Identitätsabbildung (das unveränderte Durchleiten der Eingabe) optimal ist, das Netzwerk leicht lernen kann, die Residuals auf Null zu drücken. Dies macht deep learning (DL)-Modelle viel einfacher zu optimieren und ermöglicht es ihnen, von Dutzenden auf Hunderte oder sogar Tausende von Schichten zu skalieren.

Wichtige Architekturvarianten#

Seit der Einführung sind verschiedene Variationen von ResNet zu Standard-Benchmarks in der KI-Community geworden.

• ResNet-50: Eine 50-Schichten-Version, die ein „Bottleneck“-Design verwendet. Dieses Design nutzt 1x1-Faltungen, um Dimensionen zu reduzieren und anschließend wiederherzustellen, wodurch das Netzwerk recheneffizient bleibt und gleichzeitig eine hohe accuracy beibehalten wird.
• ResNet-101 und ResNet-152: Tieferer Varianten mit 101 bzw. 152 Schichten. Diese werden oft verwendet, wenn Rechenressourcen eine höhere Komplexität erlauben, um noch komplexere feature maps zu erfassen.
• ResNeXt: Eine Weiterentwicklung von ResNet, die eine "Kardinalitäts"-Dimension einführt, welche den Residual Block in mehrere parallele Pfade aufteilt, was die Effizienz und Leistung verbessert.

Praxisanwendungen#

Die Robustheit der ResNet-Architekturen hat sie zur bevorzugten Wahl für eine Vielzahl visueller Aufgaben gemacht.

• Medical Image Analysis: Im Gesundheitswesen ist die Identifizierung subtiler Anomalien in hochauflösenden Scans von entscheidender Bedeutung. Auf ResNet basierende Modelle werden häufig eingesetzt, um Zustände wie tumor detection in medical imaging zu erkennen, wobei die Tiefe des Netzwerks dabei hilft, feinkörnige Muster in MRT- oder CT-Daten zu unterscheiden.
• Autonomous Vehicles: Autonome Fahrzeuge erfordern eine zuverlässige Merkmalsextraktion aus Kamerabildern, um Fußgänger, Schildern und Hindernisse zu identifizieren. ResNets dienen oft als backbone für Objekterkennungssysteme in AI in automotive-Anwendungen und liefern die reichhaltigen visuellen Merkmale, die für eine sichere Navigation erforderlich sind.

ResNet vs. andere Architekturen#

Es ist hilfreich, ResNet von anderen populären Architekturen zu unterscheiden, um seinen spezifischen Nutzen zu verstehen.

• ResNet vs. VGG: VGG-Netzwerke (Visual Geometry Group) sind ebenfalls tiefe CNNs, verfügen jedoch über keine Residualverbindungen. Folglich sind sie bei Tiefen, die mit ResNet vergleichbar sind, viel schwerer zu trainieren und aufgrund ihrer großen vollverknüpften Schichten im Allgemeinen rechenintensiver.
• ResNet vs. Inception: Inception-Netzwerke konzentrieren sich auf die Breite und verwenden Filter verschiedener Größen innerhalb derselben Schicht, um Merkmale in unterschiedlichen Maßstäben zu erfassen. ResNet konzentriert sich auf die Tiefe. Moderne Architekturen wie Inception-ResNet kombinieren beide Konzepte.
• ResNet vs. Vision Transformer (ViT): Während ViTs Selbstaufmerksamkeitsmechanismen (Self-Attention) verwenden, um Bilder global zu verarbeiten, stützen sich ResNets auf lokale Faltungen. Dennoch bleiben ResNets eine starke Baseline und sind für kleinere Datensätze oder Echtzeit-inference oft schneller.

Implementierungsbeispiel#

Moderne Deep-Learning-Bibliotheken wie PyTorch machen es einfach, auf vortrainierte ResNet-Modelle zuzugreifen. Diese Modelle sind von unschätzbarem Wert für das transfer learning, bei dem ein Modell, das auf einem großen Datensatz wie ImageNet trainiert wurde, für eine spezifische Aufgabe feinabgestimmt wird.

Das folgende Python-Snippet demonstriert, wie man ein vortrainiertes ResNet-50-Modell mit torchvision (als Teil des PyTorch-Ökosystems) lädt und einen einfachen Forward Pass durchführt. Während Benutzer der Ultralytics Platform für die Erkennung oft YOLO26 verwenden, ist das Verständnis der zugrunde liegenden Backbone-Konzepte wie ResNet für fortgeschrittene Anpassungen von entscheidender Bedeutung.

import torch
import torchvision.models as models

# Load a pre-trained ResNet-50 model
resnet50 = models.resnet50(weights=models.ResNet50_Weights.DEFAULT)
resnet50.eval()  # Set model to evaluation mode

# Create a dummy input tensor (batch_size, channels, height, width)
input_tensor = torch.randn(1, 3, 224, 224)

# Perform a forward pass to get predictions
with torch.no_grad():
    output = resnet50(input_tensor)

print(f"Output shape: {output.shape}")  # Expect [1, 1000] for ImageNet classes

Bedeutung in der modernen KI#

Obwohl neuere Architekturen wie YOLO26 hochoptimierte Strukturen für maximale Geschwindigkeit und Genauigkeit einsetzen, bleiben die Prinzipien des residualen Lernens allgegenwärtig. Das Konzept der Skip-Verbindungen ist heute eine Standardkomponente in vielen fortgeschrittenen Netzwerken, einschließlich Transformers, die in der natural language processing (NLP) verwendet werden, sowie den neuesten object detection-Modellen. Indem es Informationen ermöglichte, freier durch das Netzwerk zu fließen, ebnete ResNet den Weg für die tiefen, komplexen Modelle, die die heutige künstliche Intelligenz antreiben.