Identity Mapping
Eine Identitätsabbildung leitet die Eingabe eines Blocks unverändert über eine Abkürzungsverbindung weiter und addiert sie zur Ausgabe. So gelangen Gradienten bis zu den frühen Schichten tiefer Netze.
Beim Deep Learning ist eine Identitätsabbildung eine Verbindung, die die Eingabe eines Blocks unverändert weiterleitet und zu dessen Ausgabe addiert. Der Block berechnet dadurch y = x + F(x) statt y = F(x). Die Bezeichnung stammt von der Identitätsfunktion f(x) = x. Kaiming He, Xiangyu Zhang, Shaoqing Ren und Jian Sun entwickelten 2015 Residualnetzwerke (ResNet) mit solchen Identitätsabkürzungen und gewannen mit einem 152 Schichten tiefen Netzwerk die ImageNet-Klassifizierungsaufgabe desselben Jahres. Identitätsabkürzungen kommen inzwischen in fast allen tiefen Architekturen zum Einsatz, von Faltungsneuronalen Netzen (CNNs) bis zum Residualstrom jedes Transformers.
Warum Identitätsabbildungen tiefe Netzwerke trainierbar machen#
Vor ResNet verschlechterte das Hinzufügen von Schichten häufig die Leistung. He und seine Kolleginnen und Kollegen stellten fest, dass ein einfaches Netzwerk mit 56 Schichten bei CIFAR-10 einen höheren Trainingsfehler aufwies als eines mit 20 Schichten. Die zusätzliche Tiefe erschwerte also die Optimierung selbst – ein Problem, das sie als Degradation bezeichneten. Ein tieferes Netzwerk kann ein flacheres immer nachbilden, indem es seine zusätzlichen Schichten auf die Identitätsabbildung setzt. Stapel nichtlinearer Schichten haben jedoch Schwierigkeiten, diese Abbildung zu erlernen. Ein Residualblock muss lediglich den Unterschied F(x) = H(x) - x zur Eingabe lernen. Wenn F gegen null geht, ergibt sich wieder die Identitätsabbildung.
Die Abkürzung verändert auch die Rückpropagierung. Da y = x + F(x), ist die Ableitung von y nach x gleich 1 plus der Ableitung von F. Diese Konstante 1 leitet den Gradienten direkt durch jeden Block zurück. In einem einfachen Schichtenstapel ergibt sich der Gradient als Produkt vieler Faktoren, jeweils eines pro Schicht. Sind diese Faktoren kleiner als 1, schrumpft das Produkt exponentiell – das Problem verschwindender Gradienten. Ein Vergleich derselben 50 Schichten mit und ohne Abkürzungen in PyTorch veranschaulicht den Unterschied:
import torch
from torch import nn
torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)
for residual in (False, True):
h = x
for layer in layers:
h = h + layer(h) if residual else layer(h) # identity shortcut adds the input back
loss = h.square().mean()
(grad,) = torch.autograd.grad(loss, x)
print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")Die Ausgabe zeigt für den einfachen Stapel die Gradientenorm 1.1e-15 an der Eingabe und für den aus denselben Gewichten aufgebauten Residualstapel 2.8e+00. Ohne Abkürzungen würden die ersten Schichten dieses Netzwerks fast kein Trainingssignal erhalten.
Die Abkürzung unverändert lassen#
In ihrer Folgearbeit von 2016, Identitätsabbildungen in tiefen Residualnetzwerken, prüften dieselben Autorinnen und Autoren Abkürzungen, die x skalieren, steuern, falten oder mit Dropout versehen. Alle Varianten trainierten schlechter als eine reine Identitätsabbildung. Außerdem verlagerten sie die Batch-Normalisierung und die Aktivierungsfunktion in den Residualzweig vor die Gewichte, sodass das Signal zwischen den Blöcken unverändert bleibt. Mit diesem Design vor der Aktivierung erreichte ein ResNet mit 1.001 Schichten auf CIFAR-10 eine Fehlerrate von 4,62 %. Außerdem wurde ein ResNet mit 200 Schichten auf ImageNet trainiert. Moderne Transformer folgen mit Prä-Norm-Blöcken derselben Regel: Sie wenden die Normalisierung innerhalb jedes Aufmerksamkeits- und Vorwärtszweigs an und lassen den Residualstrom selbst unangetastet.
Bei einer Identitätsabkürzung müssen Eingabe und Ausgabe dieselbe Form haben. Ändert ein Block die Anzahl der Kanäle oder verringert er die Auflösung, verwendet ResNet stattdessen eine Projektionsabkürzung, in der Regel eine 1 × 1-Faltung mit passender Schrittweite:
Ultralytics YOLO26 verwendet durchgehend Identitätsabkürzungen in seinem Backbone und Neck: Jeder C3k2-Block besteht aus Engpassblöcken, die x plus die Ausgabe zweier 3 × 3-Faltungen zurückgeben, sofern Eingabe- und Ausgabekanäle übereinstimmen. Auch der SPPF-Block addiert auf dieselbe Weise seine Eingabe zu seiner gepoolten Ausgabe.
Identitätsinitialisierung#
Ein Block kann auch als Identität starten. Wenn der Skalierungswert der letzten Batch-Normalisierungsschicht in jedem Residualzweig auf null gesetzt wird, gilt bei der Initialisierung F(x) = 0. Dadurch beginnt ein tiefes Netzwerk das Training, als wäre es flach. Priya Goyal und Kollegen nutzten dies, um ResNet-50 mit großen Batches in einer Stunde auf ImageNet zu trainieren, und torchvision stellt die Funktion als zero_init_residual=True bereit. ReZero, 2020 vorgeschlagen, multipliziert jeden Residualzweig mit einem lernbaren Skalar, der bei null startet.
Das Modul nn.Identity von PyTorch ist eine echte Identitätsabbildung ohne Parameter. Ersetzt man damit einen Klassifikationskopf wie in model.fc = nn.Identity(), wird ein Netzwerk zur Bildklassifikation zu einem Modell zur Merkmalsextraktion, das seine vorletzten Einbettungen zurückgibt.
Verwandte Begriffe#
Skip Connection ist der allgemeinere Begriff für jeden Pfad, der Schichten umgeht. Eine Residualverbindung ist die additive Variante, und eine Identitätsabbildung ist eine Residualverbindung, deren Pfad keine Transformation anwendet. U-Net und DenseNet verwenden Skip Connections, die frühere Merkmalskarten verketten, statt sie zu addieren. Identitätserhaltung ist ein unabhängiger Begriff aus generativer KI und dem Tracking. Er bezeichnet, dass eine generierte oder verfolgte Person über Bilder oder Videobilder hinweg dasselbe erkennbare Erscheinungsbild behält.










