Long Short-Term Memory (LSTM)

La memoria a largo y corto plazo (LSTM) es un tipo especializado de arquitectura de red neuronal recurrente (RNN) capaz de aprender dependencias de orden en problemas de predicción de secuencias. A diferencia de las redes neuronales feedforward estándar, las LSTM tienen conexiones de retroalimentación que les permiten procesar no solo puntos de datos individuales (como imágenes), sino secuencias completas de datos (como voz o vídeo). Esta capacidad las hace especialmente adecuadas para tareas en las que el contexto de entradas anteriores es crucial para comprender los datos actuales, ya que abordan las limitaciones de «memoria a corto plazo» de las RNN tradicionales.

El problema de las RNN estándar#

Para comprender la innovación de las LSTM, resulta útil analizar los desafíos a los que se enfrentan las redes neuronales recurrentes básicas. Aunque las RNN están diseñadas para gestionar información secuencial, tienen dificultades con secuencias de datos largas debido al problema del gradiente desvanecido. A medida que la red retropropaga en el tiempo, los gradientes —valores utilizados para actualizar los pesos de la red— pueden hacerse exponencialmente más pequeños, lo que impide eficazmente que la red aprenda conexiones entre eventos distantes. Esto significa que una RNN estándar podría recordar una palabra de la frase anterior, pero olvidar el contexto establecido tres párrafos antes. Las LSTM se diseñaron específicamente para resolver este problema mediante la introducción de una estructura interna más compleja capaz de mantener una ventana de contexto durante periodos mucho más largos.

Cómo funcionan las LSTM#

El concepto central de una LSTM es el estado de la celda, que a menudo se describe como una cinta transportadora que recorre toda la cadena de la red. Este estado permite que la información fluya por ella sin cambios, preservando las dependencias a largo plazo. La red decide qué almacenar, actualizar o descartar de este estado de la celda mediante unas estructuras llamadas puertas.

• Puerta de olvido: Este mecanismo decide qué información ya no es relevante y debe eliminarse del estado de la celda. Por ejemplo, si un modelo de lenguaje encuentra un sujeto nuevo, podría «olvidar» el género del sujeto anterior.
• Puerta de entrada: Esta puerta determina qué información nueva es lo bastante importante como para almacenarla en el estado de la celda.
• Puerta de salida: Por último, esta puerta controla qué partes del estado interno deben enviarse al siguiente estado oculto y utilizarse para la predicción inmediata.

Al regular este flujo de información, las LSTM pueden superar desfases temporales de más de 1.000 pasos, superando ampliamente a las RNN convencionales en tareas que requieren análisis de series temporales.

Aplicaciones en el mundo real#

Las LSTM han impulsado muchos de los grandes avances en aprendizaje profundo de la última década. Estos son dos ejemplos destacados de su aplicación:

• Modelado de secuencia a secuencia en traducción: Las LSTM son fundamentales en los sistemas de traducción automática. En esta arquitectura, una LSTM (el codificador) procesa una frase de entrada en un idioma (por ejemplo, inglés) y la comprime en un vector de contexto. A continuación, una segunda LSTM (el decodificador) utiliza este vector para generar la traducción en otro idioma (por ejemplo, francés). Esta capacidad para gestionar secuencias de entrada y salida de distintas longitudes es fundamental para el procesamiento del lenguaje natural (NLP).
• Análisis de vídeo y reconocimiento de actividades: Aunque las redes neuronales convolucionales (CNN), como ResNet-50, destacan en la identificación de objetos en imágenes estáticas, carecen de percepción temporal. Al combinar CNN con LSTM, los sistemas de IA pueden realizar reconocimiento de acciones en secuencias de vídeo. La CNN extrae características de cada fotograma y la LSTM analiza la secuencia de esas características para determinar si una persona está caminando, corriendo o cayéndose.

Integración de las LSTM con la visión artificial#

En la visión artificial moderna, las LSTM suelen utilizarse junto con potentes extractores de características. Por ejemplo, puedes usar un modelo YOLO para detectar objetos en fotogramas individuales y una LSTM para seguir sus trayectorias o predecir movimientos futuros.

Este es un ejemplo conceptual que utiliza torch para definir una LSTM sencilla capaz de procesar una secuencia de vectores de características extraídos de una secuencia de vídeo:

import torch
import torch.nn as nn

# Define an LSTM model for processing sequential video features
# Input size: 512 (e.g., features from a CNN), Hidden size: 128
lstm_model = nn.LSTM(input_size=512, hidden_size=128, num_layers=2, batch_first=True)

# Simulate a batch of video sequences: 8 videos, 10 frames each, 512 features per frame
video_features = torch.randn(8, 10, 512)

# Pass the sequence through the LSTM
output, (hidden_state, cell_state) = lstm_model(video_features)

print(f"Output shape: {output.shape}")  # Shape: [8, 10, 128]
print("LSTM successfully processed the temporal sequence.")

Conceptos relacionados y diferencias#

Resulta útil distinguir las LSTM de otras arquitecturas de procesamiento de secuencias:

• LSTM frente a GRU: La unidad recurrente cerrada (GRU) es una variante simplificada de la LSTM. Las GRU combinan las puertas de olvido y de entrada en una única «puerta de actualización» y fusionan el estado de la celda con el estado oculto. Esto hace que las GRU sean más eficientes desde el punto de vista computacional y más rápidas de entrenar, aunque las LSTM todavía pueden superarlas en conjuntos de datos más grandes y complejos.
• LSTM frente a Transformer: La arquitectura Transformer, que se basa en mecanismos de autoatención en lugar de la recurrencia, ha sustituido en gran medida a las LSTM en tareas de NLP como las que realiza GPT-4. Los Transformer pueden procesar secuencias completas en paralelo en lugar de secuencialmente, lo que permite entrenarlos mucho más rápido con conjuntos de datos masivos. Sin embargo, las LSTM siguen siendo relevantes en situaciones con datos limitados o restricciones específicas de series temporales en las que no es necesaria la sobrecarga de los mecanismos de atención.

Evolución y futuro#

Aunque el mecanismo de atención ha cobrado protagonismo en la IA generativa, las LSTM siguen siendo una opción sólida para aplicaciones ligeras, especialmente en entornos de IA en el perímetro, donde los recursos computacionales son limitados. Los investigadores siguen explorando arquitecturas híbridas que combinan la eficiencia de memoria de las LSTM con la capacidad de representación de los sistemas modernos de detección de objetos.

Para quienes buscan gestionar conjuntos de datos destinados a entrenar modelos de secuencias o realizar tareas complejas de visión, la Ultralytics Platform ofrece herramientas completas para la anotación y la gestión de conjuntos de datos. Además, comprender cómo funcionan las LSTM proporciona una base sólida para asimilar modelos temporales más avanzados utilizados en vehículos autónomos y robótica.