Long Short-Term Memory (LSTM)

Long Short-Term Memory (LSTM) ist eine Architektur für rekurrente neuronale Netze (RNNs), die neben dem verborgenen Zustand eines einfachen RNN ein gesteuertes Gedächtnis, den Zellzustand, hinzufügt. So kann sie Informationen über Hunderte oder Tausende Zeitschritte hinweg speichern. Sepp Hochreiter und Jürgen Schmidhuber führten LSTM 1997 ein, um das Problem des verschwindenden Gradienten zu überwinden, das einfache RNNs daran hindert, weitreichende Abhängigkeiten zu lernen. In ihrer Arbeit berichteten sie, Zeitabstände von mehr als 1.000 Schritten überbrückt zu haben. In den 2010er-Jahren ermöglichten LSTMs Spracherkennung, maschinelle Übersetzung und Handschrifterkennung, bis Transformer die meisten Sprachaufgaben übernahmen. Für Zeitreihenanalysen, Sensorströme und Modelle auf dem Gerät sind sie weiterhin verbreitet, wenn ein Zustand konstanter Größe und gleichbleibender Rechenaufwand pro Schritt wichtig sind.

So funktioniert eine LSTM-Zelle#

Bei jedem Zeitschritt t liest ein LSTM die Eingabe xₜ und den vorherigen verborgenen Zustand hₜ₋₁ ein und berechnet drei Gates sowie einen Kandidaten, jeweils mit eigenen Gewichten. Die Gates verwenden die Sigmoid-Funktion, sodass jedes Element zwischen 0 und 1 liegt. Der Kandidat verwendet tanh und liegt daher zwischen −1 und 1:

• Vergessens-Gate: fₜ = σ(W_f xₜ + U_f hₜ₋₁ + b_f) bestimmt, wie viel von jedem Element des alten Zellzustands beibehalten wird.
• Eingabe-Gate: iₜ = σ(W_i xₜ + U_i hₜ₋₁ + b_i) bestimmt, wie viel vom Kandidaten geschrieben wird.
• Kandidat: gₜ = tanh(W_g xₜ + U_g hₜ₋₁ + b_g) schlägt neue Inhalte vor.
• Ausgabe-Gate: oₜ = σ(W_o xₜ + U_o hₜ₋₁ + b_o) bestimmt, wie viel des Zellzustands ausgegeben wird.

Anschließend werden die beiden Zustände mit cₜ = fₜ ⊙ cₜ₋₁ + iₜ ⊙ gₜ und hₜ = oₜ ⊙ tanh(cₜ) aktualisiert. Dabei steht ⊙ für die elementweise Multiplikation. Der Zellzustand ist das Langzeitgedächtnis, während der verborgene Zustand die kurzfristige Ausgabe ist, die an die nächste Schicht und den nächsten Schritt weitergegeben wird.

Die Aktualisierung der Zelle erfolgt additiv. Der Gradient von cₜ bezüglich cₜ₋₁ ist elementweise gleich fₜ. Bleibt das Vergessens-Gate nahe bei 1, wird das Fehlersignal nahezu unverändert zurückgeleitet – über viele Schritte hinweg. Diesen Pfad nannte die ursprüngliche Arbeit „constant error carousel“. Beim LSTM von 1997 gab es kein Vergessens-Gate, und seine Zellen konnten nur Werte akkumulieren. Felix Gers, Schmidhuber und Fred Cummins fügten 2000 das Vergessens-Gate hinzu, damit Zellen zurückgesetzt werden konnten. Heute hat jedes standardmäßige LSTM ein solches Gate. Die Initialisierung des Bias für das Vergessens-Gate mit 1, die Rafal Jozefowicz und Kollegen 2015 empfahlen, hält das Gate zu Beginn des Trainings offen, sodass das Netzwerk von Anfang an Informationen speichert.

LSTM in PyTorch#

PyTorchs nn.LSTM führt die Zelle über eine ganze Sequenz aus und gibt den verborgenen Zustand bei jedem Schritt sowie die endgültigen verborgenen Zustände und Zellzustände zurück. Das folgende Beispiel klassifiziert kurze Videoclips anhand von Merkmalsvektoren pro Frame, wie sie ein Convolutional Neural Network (CNN) aus jedem Frame extrahiert:

import torch
from torch import nn

# 8 video clips, 16 frames each, 512 features per frame: (batch, time, features)
clips = torch.randn(8, 16, 512)

# One LSTM layer with a 128-dim hidden state, and a classifier over 5 actions
lstm = nn.LSTM(input_size=512, hidden_size=128, batch_first=True)
classifier = nn.Linear(128, 5)

# output holds h at every step; h_n and c_n are the final hidden and cell states
output, (h_n, c_n) = lstm(clips)
logits = classifier(h_n[-1])
print(f"output {tuple(output.shape)}, h_n {tuple(h_n.shape)}, c_n {tuple(c_n.shape)}, logits {tuple(logits.shape)}")

# Each weight matrix stacks four blocks of 128 rows: input gate, forget gate, candidate, output gate
print(f"Input weights {tuple(lstm.weight_ih_l0.shape)}, recurrent weights {tuple(lstm.weight_hh_l0.shape)}")

Ausgegeben werden output (8, 16, 128), h_n (1, 8, 128), c_n (1, 8, 128), logits (8, 5) und Input weights (512, 512), recurrent weights (512, 128). Der endgültige verborgene Zustand fasst jeden Clip mit 16 Frames für den Klassifikator mit fünf Klassen zusammen. Jede Gewichtsmatrix hat 4 × 128 = 512 Zeilen, da PyTorch die vier Gate-Blöcke in einer Matrix speichert.

LSTM im Vergleich zu verwandten Architekturen#

• Einfaches RNN: Schreibt seinen gesamten Zustand bei jedem Schritt durch eine einzelne tanh-Schicht neu. Daher nehmen Gradienten mit der Sequenzlänge geometrisch ab oder zu, und weitreichende Abhängigkeiten lassen sich nur schwer lernen.
• GRU: Führt Zell- und verborgenen Zustand zusammen und verwendet zwei statt drei Gates. Dadurch gibt es drei statt vier Gewichtsblöcke und bei gleicher Breite drei Viertel so viele Parameter wie beim LSTM. Keine der beiden Architekturen ist über alle Aufgaben hinweg durchgängig überlegen.
• Transformer: Verarbeitet alle Positionen parallel mit Self-Attention. Dadurch lässt er sich auf GPUs viel schneller trainieren und erreicht weit entfernte Kontexte direkt. Deshalb haben Transformer LSTMs bei der Sprachmodellierung und Übersetzung abgelöst. Der Rechenaufwand für Attention wächst mit der Kontextlänge, während ein LSTM für jeden neuen Schritt gleich viel Rechenleistung und Speicher benötigt.
• xLSTM: xLSTM aus Hochreiters Forschungsgruppe ergänzt 2024 exponentielle Gates und ein Matrixgedächtnis, das parallel trainiert wird. Das Sprachmodell xLSTM 7B mit 7 Milliarden Parametern wurde auf der ICML 2025 veröffentlicht. Es erreicht eine mit ähnlich großen Transformer-Modellen vergleichbare Leistung und eine schnellere Inferenz.

Anwendungen#

• Spracherkennung: Google stellte die Sprachsuche 2015 auf akustische LSTM-Modelle um, die mit Connectionist Temporal Classification (CTC) trainiert wurden. Erkennungsmodelle auf dem Gerät stützten sich lange auf gestapelte LSTMs.
• Maschinelle Übersetzung: Google Neural Machine Translation, 2016 eingeführt, stapelte acht LSTM-Schichten im Encoder und acht im Decoder.
• Hochwasservorhersage: Das Hochwasservorhersagesystem von Google, 2024 in Nature beschrieben, verwendet LSTM-Netzwerke, um anhand von Wetterdaten den Flussabfluss vorherzusagen. Es sagt extreme Hochwasser in nicht überwachten Einzugsgebieten bis zu fünf Tage im Voraus voraus.
• Aktionserkennung: Ein CNN kodiert jeden Videoframe, und ein LSTM liest die Sequenz der Frame-Merkmale ein, um den Clip zu kennzeichnen. Dies entspricht dem Aufbau des obigen Beispiels.
• Trajektorienvorhersage: Social LSTM verwendet ein LSTM pro Fußgänger und aggregiert die verborgenen Zustände naher Personen, um Bewegungsbahnen in Menschenmengen vorherzusagen. YOLO26 im Tracking-Modus weist jeder Person über Videoframes hinweg eine beständige ID zu. So werden Erkennungen pro Frame zu Positionsverläufen, die ein solches Vorhersagemodell einliest.