Long Short-Term Memory (LSTM)

Le Long Short-Term Memory (LSTM) est un type spécialisé d'architecture de réseau de neurones récurrents (RNN) capable d'apprendre la dépendance à l'ordre dans les problèmes de prédiction de séquences. Contrairement aux réseaux de neurones à propagation avant (feedforward) standards, les LSTMs possèdent des connexions de rétroaction qui leur permettent de traiter non seulement des points de données isolés (comme des images), mais des séquences entières de données (comme la parole ou la vidéo). Cette capacité les rend particulièrement adaptés aux tâches où le contexte des entrées précédentes est crucial pour comprendre les données actuelles, remédiant ainsi aux limitations de « mémoire à court terme » des RNNs traditionnels.

Link to this sectionLe problème avec les RNNs standards#

Pour comprendre l'innovation des LSTMs, il est utile d'examiner les défis rencontrés par les réseaux de neurones récurrents de base. Bien que les RNNs soient conçus pour gérer des informations séquentielles, ils ont des difficultés avec les longues séquences de données en raison du problème de gradient évanescent. À mesure que le réseau effectue sa rétropropagation à travers le temps, les gradients — les valeurs utilisées pour mettre à jour les poids du réseau — peuvent devenir exponentiellement plus petits, empêchant efficacement le réseau d'apprendre des connexions entre des événements distants. Cela signifie qu'un RNN standard pourrait se souvenir d'un mot de la phrase précédente mais oublier le contexte établi trois paragraphes plus tôt. Les LSTMs ont été explicitement conçus pour résoudre ce problème en introduisant une structure interne plus complexe capable de maintenir une fenêtre contextuelle sur des périodes beaucoup plus longues.

Link to this sectionComment fonctionnent les LSTMs#

Le concept fondamental derrière un LSTM est l'état de cellule, souvent décrit comme un tapis roulant qui traverse toute la chaîne du réseau. Cet état permet aux informations de circuler le long de celui-ci sans modification, préservant ainsi les dépendances à long terme. Le réseau prend des décisions sur ce qu'il faut stocker, mettre à jour ou supprimer de cet état de cellule en utilisant des structures appelées portes (gates).

• Porte d'oubli (Forget Gate) : Ce mécanisme décide quelles informations ne sont plus pertinentes et doivent être supprimées de l'état de cellule. Par exemple, si un modèle de langage rencontre un nouveau sujet, il pourrait « oublier » le genre du sujet précédent.
• Porte d'entrée (Input Gate) : Cette porte détermine quelles nouvelles informations sont suffisamment significatives pour être stockées dans l'état de cellule.
• Porte de sortie (Output Gate) : Enfin, cette porte contrôle quelles parties de l'état interne doivent être transmises à l'état caché suivant et utilisées pour la prédiction immédiate.

En régulant ce flux d'informations, les LSTMs peuvent combler des décalages temporels de plus de 1 000 étapes, surpassant largement les RNNs conventionnels sur des tâches nécessitant une analyse de séries temporelles.

Link to this sectionApplications concrètes#

Les LSTMs ont alimenté bon nombre des avancées majeures en apprentissage profond au cours de la dernière décennie. Voici deux exemples marquants de leur application :

• Modélisation séquence-à-séquence dans la traduction : Les LSTMs sont fondamentaux pour les systèmes de traduction automatique. Dans cette architecture, un premier LSTM (l'encodeur) traite une phrase d'entrée dans une langue (par exemple, l'anglais) et la compresse en un vecteur de contexte. Un second LSTM (le décodeur) utilise ensuite ce vecteur pour générer la traduction dans une autre langue (par exemple, le français). Cette capacité à gérer des séquences d'entrée et de sortie de longueurs différentes est essentielle pour le traitement du langage naturel (NLP).
• Analyse vidéo et reconnaissance d'activité : Bien que les réseaux de neurones convolutifs (CNN) comme ResNet-50 excellent dans l'identification d'objets dans des images statiques, ils manquent de sens du temps. En combinant les CNN avec les LSTMs, les systèmes d'IA peuvent effectuer une reconnaissance d'action dans des flux vidéo. Le CNN extrait des caractéristiques de chaque image, et le LSTM analyse la séquence de ces caractéristiques pour déterminer si une personne marche, court ou tombe.

Link to this sectionIntégration des LSTMs avec la vision par ordinateur#

Dans la vision par ordinateur moderne, les LSTMs sont souvent utilisés aux côtés de puissants extracteurs de caractéristiques. Par exemple, tu pourrais utiliser un modèle YOLO pour détecter des objets dans des images individuelles et un LSTM pour suivre leurs trajectoires ou prédire leurs mouvements futurs.

Voici un exemple conceptuel utilisant torch pour définir un LSTM simple capable de traiter une séquence de vecteurs de caractéristiques extraits d'un flux vidéo :

import torch
import torch.nn as nn

# Define an LSTM model for processing sequential video features
# Input size: 512 (e.g., features from a CNN), Hidden size: 128
lstm_model = nn.LSTM(input_size=512, hidden_size=128, num_layers=2, batch_first=True)

# Simulate a batch of video sequences: 8 videos, 10 frames each, 512 features per frame
video_features = torch.randn(8, 10, 512)

# Pass the sequence through the LSTM
output, (hidden_state, cell_state) = lstm_model(video_features)

print(f"Output shape: {output.shape}")  # Shape: [8, 10, 128]
print("LSTM successfully processed the temporal sequence.")

Link to this sectionConcepts connexes et distinctions#

Il est utile de distinguer les LSTMs d'autres architectures de traitement de séquences :

• LSTM vs GRU : Le Gated Recurrent Unit (GRU) est une variante simplifiée du LSTM. Les GRUs combinent les portes d'oubli et d'entrée en une seule « porte de mise à jour » et fusionnent l'état de cellule et l'état caché. Cela rend les GRUs plus efficaces sur le plan computationnel et plus rapides à entraîner, bien que les LSTMs puissent encore les surpasser sur des jeux de données plus vastes et complexes.
• LSTM vs Transformers : L'architecture Transformer, qui repose sur des mécanismes d'auto-attention plutôt que sur la récurrence, a largement supplanté les LSTMs dans les tâches de NLP comme celles effectuées par GPT-4. Les Transformers peuvent traiter des séquences entières en parallèle plutôt que séquentiellement, ce qui permet un entraînement beaucoup plus rapide sur des jeux de données massifs. Cependant, les LSTMs restent pertinents dans des scénarios avec des données limitées ou des contraintes spécifiques de séries temporelles où la surcharge des mécanismes d'attention est inutile.

Link to this sectionÉvolution et futur#

Bien que le mécanisme d'attention occupe le devant de la scène dans l'IA générative, les LSTMs continuent d'être un choix robuste pour des applications plus légères, en particulier dans les environnements d'IA embarquée où les ressources de calcul sont limitées. Les chercheurs continuent d'explorer des architectures hybrides qui combinent l'efficacité mémoire des LSTMs avec la puissance de représentation des systèmes modernes de détection d'objets.

Pour ceux qui cherchent à gérer des jeux de données pour entraîner des modèles de séquences ou des tâches de vision complexes, la plateforme Ultralytics propose des outils complets pour l'annotation et la gestion de jeux de données. De plus, comprendre comment fonctionnent les LSTMs fournit une base solide pour appréhender des modèles temporels plus avancés utilisés dans les véhicules autonomes et la robotique.