Long Short-Term Memory (LSTM)

La memoria a corto y largo plazo (LSTM) es una arquitectura de red neuronal recurrente (RNN) que añade una memoria con compuertas, el estado de celda, junto al estado oculto de una RNN simple, para poder conservar información durante cientos o miles de pasos temporales. Sepp Hochreiter y Jürgen Schmidhuber la presentaron en 1997 para resolver el problema del gradiente evanescente, que impide que las RNN simples aprendan dependencias a largo plazo; su artículo describió cómo salvar desfases temporales de más de 1.000 pasos. En la década de 2010, las LSTM impulsaron el reconocimiento del habla, la traducción automática y el reconocimiento de escritura, hasta que los transformadores se impusieron en la mayoría de las tareas de lenguaje. Siguen siendo habituales en el análisis de series temporales, los flujos de sensores y los modelos en el dispositivo, donde importan un estado de tamaño constante y un coste constante por paso.

Cómo funciona una celda LSTM#

En cada paso temporal t, una LSTM lee la entrada xₜ y el estado oculto anterior hₜ₋₁ y calcula tres compuertas y un candidato, cada uno con sus propios pesos. Las compuertas usan la función sigmoide, por lo que cada elemento está entre 0 y 1, y el candidato usa tanh, por lo que está entre −1 y 1:

• Compuerta de olvido: fₜ = σ(W_f xₜ + U_f hₜ₋₁ + b_f) decide cuánto conservar de cada elemento del estado de celda anterior.
• Compuerta de entrada: iₜ = σ(W_i xₜ + U_i hₜ₋₁ + b_i) decide cuánto escribir del candidato.
• Candidato: gₜ = tanh(W_g xₜ + U_g hₜ₋₁ + b_g) propone contenido nuevo.
• Compuerta de salida: oₜ = σ(W_o xₜ + U_o hₜ₋₁ + b_o) decide cuánto exponer de la celda.

Después se actualizan los dos estados: cₜ = fₜ ⊙ cₜ₋₁ + iₜ ⊙ gₜ y hₜ = oₜ ⊙ tanh(cₜ), donde ⊙ representa la multiplicación elemento a elemento. El estado de celda es la memoria a largo plazo, y el estado oculto es la salida a corto plazo que alimenta la siguiente capa y el siguiente paso.

La actualización de la celda es aditiva. El gradiente de cₜ respecto a cₜ₋₁ es fₜ, elemento a elemento, así que, cuando la compuerta de olvido se mantiene cerca de 1, la señal de error se propaga hacia atrás a través de muchos pasos casi sin cambios: el recorrido que el artículo original denominó carrusel de error constante. La LSTM de 1997 no tenía compuerta de olvido y sus celdas solo podían acumular información. En 2000, Felix Gers, Schmidhuber y Fred Cummins añadieron la compuerta de olvido para que las celdas pudieran reiniciarse; hoy todas las LSTM estándar la tienen. Inicializar el sesgo de la compuerta de olvido en 1, como recomendaron Rafal Jozefowicz y sus colaboradores en 2015, mantiene la compuerta abierta al principio del entrenamiento, para que la red empiece recordando.

LSTM en PyTorch#

La nn.LSTM de PyTorch ejecuta la celda a lo largo de toda una secuencia y devuelve el estado oculto en cada paso, además de los estados oculto y de celda finales. El fragmento siguiente clasifica clips de vídeo cortos a partir de vectores de características por fotograma, como los que una red neuronal convolucional (CNN) extrae de cada fotograma:

import torch
from torch import nn

# 8 video clips, 16 frames each, 512 features per frame: (batch, time, features)
clips = torch.randn(8, 16, 512)

# One LSTM layer with a 128-dim hidden state, and a classifier over 5 actions
lstm = nn.LSTM(input_size=512, hidden_size=128, batch_first=True)
classifier = nn.Linear(128, 5)

# output holds h at every step; h_n and c_n are the final hidden and cell states
output, (h_n, c_n) = lstm(clips)
logits = classifier(h_n[-1])
print(f"output {tuple(output.shape)}, h_n {tuple(h_n.shape)}, c_n {tuple(c_n.shape)}, logits {tuple(logits.shape)}")

# Each weight matrix stacks four blocks of 128 rows: input gate, forget gate, candidate, output gate
print(f"Input weights {tuple(lstm.weight_ih_l0.shape)}, recurrent weights {tuple(lstm.weight_hh_l0.shape)}")

Imprime output (8, 16, 128), h_n (1, 8, 128), c_n (1, 8, 128), logits (8, 5) y Input weights (512, 512), recurrent weights (512, 128). El estado oculto final resume cada clip de 16 fotogramas para el clasificador de cinco clases, y cada matriz de pesos tiene 4 × 128 = 512 filas porque PyTorch almacena los cuatro bloques de compuertas en una sola matriz.

LSTM frente a arquitecturas relacionadas#

• RNN simple: Reescribe todo su estado mediante una capa tanh en cada paso, por lo que los gradientes disminuyen o aumentan geométricamente con la longitud de la secuencia y cuesta aprender dependencias a largo plazo.
• GRU: Combina los estados de celda y oculto y usa dos compuertas en lugar de tres, con lo que tiene tres bloques de pesos en vez de cuatro y tres cuartas partes de los parámetros de una LSTM del mismo ancho. Ninguna supera sistemáticamente a la otra en todas las tareas.
• Transformer: Procesa todas las posiciones en paralelo mediante autoatención, lo que permite entrenar mucho más rápido en GPU y acceder directamente a contextos distantes; por eso los transformadores sustituyeron a las LSTM en el modelado y la traducción de lenguaje. El coste de la atención aumenta con la longitud del contexto, mientras que una LSTM consume la misma cantidad de cálculo y memoria en cada paso nuevo.
• xLSTM: xLSTM, del grupo de Hochreiter en 2024, añade compuertas exponenciales y una memoria matricial que permite entrenar en paralelo. Su modelo de lenguaje de 7.000 millones de parámetros, xLSTM 7B, se presentó en ICML 2025 con un rendimiento comparable al de transformadores de tamaño similar y una inferencia más rápida.

Aplicaciones#

• Reconocimiento del habla: En 2015, Google pasó la búsqueda por voz a modelos acústicos LSTM entrenados con clasificación temporal conexionista (CTC), y los reconocedores integrados en dispositivos dependieron durante mucho tiempo de LSTM apiladas.
• Traducción automática: Google Neural Machine Translation, lanzado en 2016, apilaba ocho capas LSTM en el codificador y otras ocho en el decodificador.
• Predicción de inundaciones: El sistema de Google para predecir inundaciones, descrito en Nature en 2024, usa redes LSTM para predecir el caudal de los ríos a partir de datos meteorológicos y anticipa inundaciones extremas en cuencas sin estaciones de medición con hasta cinco días de antelación.
• Reconocimiento de acciones: Una CNN codifica cada fotograma del vídeo y una LSTM lee la secuencia de características para etiquetar el clip; esa es la estructura del fragmento anterior.
• Predicción de trayectorias: Social LSTM ejecuta una LSTM por peatón y agrupa los estados ocultos de las personas cercanas para predecir trayectorias entre multitudes. YOLO26 en modo de seguimiento asigna a cada persona un ID persistente a través de los fotogramas del vídeo, lo que convierte las detecciones por fotograma en los historiales de posiciones que utiliza este tipo de predictor.