Vanishing Gradient

Das Problem verschwindender Gradienten tritt auf, wenn die Gradienten, die die Rückpropagation vom Verlust zu den ersten Schichten eines tiefen neuronalen Netzes zurückleitet, mit zunehmender Tiefe geometrisch schrumpfen. Dadurch erhalten die frühesten Schichten zu kleine Aktualisierungen, um etwas zu lernen. Da der Gradient einer Schicht das Produkt lokaler Ableitungen aller darüberliegenden Schichten ist, kann ein Netz, dessen Schichten den Gradienten jeweils um einen Faktor kleiner als 1 skalieren, den Gradienten zwischen Ausgabe und Eingabe um viele Größenordnungen verringern. Sepp Hochreiter analysierte diesen Effekt in seiner Diplomarbeit von 1991. Er erschwerte das Training von tiefen vorwärtsgerichteten Netzen und rekurrenten neuronalen Netzen (RNNs), bis bessere Aktivierungsfunktionen, Initialisierungen und Architekturen verfügbar waren.

Warum Gradienten verschwinden#

Die Rückpropagation wendet die Kettenregel an. Daher ergibt sich der Gradient, der eine Schicht erreicht, aus dem vorgelagerten Gradienten multipliziert mit jeder nachfolgenden Gewichtsmatrix und der Ableitung der jeweiligen Aktivierungsfunktion. Die Ableitung der Sigmoidfunktion ist nie größer als 0,25, ihr Wert bei einer Eingabe von 0, und nähert sich 0, wenn die Einheit bei großen positiven oder negativen Eingaben gesättigt ist. Die Ableitung von tanh erreicht maximal 1 und nähert sich bei Sättigung ebenfalls 0. Zwanzig Sigmoid-Schichten multiplizieren den Gradienten daher mit höchstens 0,25²⁰, also mit weniger als 10⁻¹², noch bevor die Gewichte berücksichtigt werden. Die Größe der Gewichte ist ebenso wichtig wie die Aktivierungsfunktion: Glorot und Bengio führten einen Großteil der Schwierigkeiten auf die Initialisierung zurück und schlugen Gewichtvarianzen vor, die an die Zahl der Ein- und Ausgaben jeder Schicht angepasst sind, sodass Aktivierungs- und Gradientenvarianzen über die Schichten hinweg ungefähr konstant bleiben.

Der Effekt lässt sich leicht messen, indem man die Größe der Gewichtsgradienten am oberen und unteren Ende eines 20-schichtigen Sigmoid-Netzes mit und ohne Residualverbindungen vergleicht:

import torch

torch.manual_seed(0)
x = torch.randn(64, 32)

# The same 20-layer sigmoid network, without and with residual shortcuts
for residual in (False, True):
    layers = [torch.nn.Linear(32, 32) for _ in range(20)]
    h = x
    for layer in layers:
        out = torch.sigmoid(layer(h))
        h = h + out if residual else out
    h.sum().backward()

    # Compare the weight-gradient size at the last layer and the first layer
    last, first = layers[-1].weight.grad.norm(), layers[0].weight.grad.norm()
    print(f"residual={residual}: layer 20 gradient {last:.1e}, layer 1 gradient {first:.1e}")

Ohne Abkürzungen beträgt die Norm des Gradienten der letzten Schicht 2.5e+02, die der ersten Schicht dagegen 4.2e-15. Sie ist also etwa 17 Größenordnungen kleiner, sodass sich die Gewichte der ersten Schicht praktisch nie ändern. Mit Residualverbindungen beträgt der Gradient der ersten Schicht 5.6e+01 und ist damit etwa 38-mal kleiner als der Gradient der letzten Schicht von 2.1e+03.

Verschwindende und explodierende Gradienten#

Beide Probleme entstehen durch dieselbe wiederholte Multiplikation. Verschwindende Gradienten bringen den Lernprozess unbemerkt zum Stillstand: Der Verlust sinkt weiterhin, angetrieben durch die letzten Schichten, während die frühen Schichten nahe ihrer zufälligen Initialisierung bleiben. Explodierende Gradienten wachsen stattdessen geometrisch an und äußern sich deutlich durch Verlustspitzen und NaN-Werte. Gradientenbeschneidung begrenzt vor jeder Aktualisierung die Norm eines explodierenden Gradienten und wirkt sich nicht auf einen bereits verschwundenen Gradienten aus. Das Problem sterbender ReLUs ist ein verwandter Fehler: Die Eingabe einer ReLU-Einheit bleibt negativ, ihr Gradient ist daher genau 0 und die Einheit lernt nicht mehr.

So verhinderst du verschwindende Gradienten#

Die am weitesten verbreitete Lösung ist die Residualverbindung, der Identitäts-Shortcut im Zentrum von Residualnetzwerken (ResNets). Ein Residualblock gibt x + F(x) aus. Sein Gradient bezüglich x ist somit 1 plus die Ableitung von F, und der Shortcut leitet den vorgelagerten Gradienten unverändert weiter.

Residualverbindungen ermöglichen es, ResNets mit mehr als 100 Schichten zu trainieren. Sie kommen in fast jeder modernen tiefen Architektur vor, von Transformern bis hin zu YOLO26, dessen C3k2-Blöcke Residual-Bottlenecks enthalten und dessen standardmäßige Faltungsblöcke Batch-Normalisierung mit SiLU-Aktivierungen kombinieren.

Weitere Lösungen ergänzen Residualverbindungen:

• Nicht sättigende Aktivierungsfunktionen: Bei ReLU beträgt die Ableitung für positive Eingaben genau 1. Leaky ReLU und SiLU behalten auch für negative Eingaben einen von null verschiedenen Gradienten bei.
• Skalierte Initialisierung: Die Xavier-Initialisierung (Glorot-Initialisierung) eignet sich für tanh- und Sigmoid-Schichten, während die He-Initialisierung die Gewichtsvarianz verdoppelt, um auszugleichen, dass ReLU die Hälfte ihrer Eingaben auf null setzt.
• Normalisierungsschichten: Batch-Normalisierung und Layer-Normalisierung halten Voraktivierungen nahe am Mittelwert null und an der Varianz eins, außerhalb der flachen Bereiche sättigender Aktivierungsfunktionen.
• Gesteuerte rekurrente Architekturen: Netze mit Langzeitgedächtnis (LSTM) und gesteuerten rekurrenten Einheiten (GRUs) führen ihren Zustand durch gesteuerte additive Aktualisierungen weiter, statt wiederholt zu multiplizieren. So konnte das ursprüngliche LSTM Zeitabstände von mehr als 1.000 Schritten überbrücken.