Reformer

Le Reformer est une variante efficace de l’architecture Transformer conçue pour traiter de très longues séquences de données qui seraient trop coûteuses sur le plan informatique pour les modèles standards. Introduit pour résoudre les goulots d’étranglement liés à la mémoire inhérents aux systèmes traditionnels d’apprentissage profond, le Reformer réduit la complexité du mécanisme d’attention, qui passe d’une croissance quadratique à une croissance quasi linéaire-logarithmique. Cette innovation permet aux chercheurs en intelligence artificielle d’entraîner des modèles sur des fenêtres de contexte couvrant des dizaines de milliers de tokens — comme des livres entiers, des images haute résolution ou de longues compositions musicales — sur un seul GPU.

Innovations principales du Reformer#

Le Reformer atteint son efficacité grâce à deux changements architecturaux principaux qui le distinguent de modèles comme BERT ou de la série GPT originale. Ces techniques répondent aux besoins considérables en mémoire nécessaires pour stocker les activations pendant l’entraînement du modèle.

• Attention par hachage sensible à la localité (LSH) : Dans un Transformer standard, chaque élément d’une séquence porte son attention sur tous les autres éléments, ce qui crée une charge de calcul considérable. Le Reformer utilise le hachage sensible à la localité pour regrouper les vecteurs similaires. Au lieu de calculer les scores d’attention pour toutes les paires, le modèle les calcule uniquement pour un petit sous-ensemble de plus proches voisins, ce qui accélère considérablement le moteur d’inférence.
• Couches résiduelles réversibles (RevNets) : Les réseaux neuronaux traditionnels doivent stocker les activations de chaque couche pour calculer les gradients pendant la rétropropagation. Le Reformer utilise des réseaux neuronaux réversibles, qui permettent de recalculer l’entrée d’une couche à partir de sa sortie pendant la passe arrière. Cette technique élimine le besoin de mettre en cache les activations intermédiaires et libère de la mémoire pour des tailles de lot plus importantes.

Reformer et Transformer standard#

Bien que les deux architectures reposent sur le mécanisme d’auto-attention, elles répondent à des objectifs différents dans l’écosystème de l’apprentissage automatique.

• Transformer standard : Excellent pour les séquences courtes à moyennes. Cependant, son utilisation de la mémoire croît de manière quadratique ($O(L^2)$) avec la longueur de la séquence ($L$). Il constitue la base de nombreux grands modèles de langage (LLMs) utilisés pour des tâches comme l’analyse des sentiments ou les chatbots.
• Reformer : Optimisé pour les longueurs extrêmes ($O(L \log L)$). Il sacrifie une petite quantité d’exactitude dans certains contextes en échange de la capacité à traiter des entrées impossibles à gérer pour les Transformers standards, comme des données extrêmement longues d’analyse de séries temporelles ou la génération d’images pixel par pixel.

Applications concrètes#

La capacité du Reformer à gérer de vastes fenêtres de contexte ouvre de nouvelles possibilités dans les domaines où les données ne peuvent pas être facilement fragmentées.

1. Analyse génomique : Les séquences d’ADN sont constituées de millions de paires de bases. Le Reformer peut analyser ces longues chaînes pour identifier des motifs en bioinformatique sans perdre le contexte global, ce qui contribue à la prédiction de la structure des protéines.

2. Génération de texte long : Contrairement aux modèles standards de génération de texte, qui peuvent perdre leur cohérence après quelques paragraphes, un Reformer peut maintenir une cohérence sur des milliers de mots, ce qui le rend adapté à la génération de résumés de longs contrats juridiques ou de chapitres entiers de romans.

Efficacité en vision par ordinateur#

Bien que les Reformers soient souvent associés au texte, le principe d’efficacité est essentiel en vision par ordinateur. De même que le Reformer optimise les Transformers, les modèles de vision modernes comme YOLO26 optimisent les réseaux neuronaux convolutifs (CNNs) pour l’inférence en temps réel. Il est essentiel de comprendre les contraintes de mémoire lors du déploiement de modèles sur des appareils edge via l’Ultralytics Platform, où les ressources matérielles sont limitées.

Le code suivant montre comment examiner l’empreinte mémoire d’un modèle à l’aide de PyTorch, un concept central dans le développement d’architectures économes en mémoire comme le Reformer.

import torch
import torch.nn as nn

# Define a simple Transformer layer (Standard, not Reformer optimized)
layer = nn.TransformerEncoderLayer(d_model=512, nhead=8)
model = nn.TransformerEncoder(layer, num_layers=6)

# Create a long sequence input (Sequence Length: 2000, Batch: 1, Features: 512)
# Standard Transformers struggle as this length increases.
input_data = torch.rand(2000, 1, 512)

# Check parameter count to understand model complexity
params = sum(p.numel() for p in model.parameters())
print(f"Model Parameters: {params:,}")

# Perform a forward pass
output = model(input_data)
print(f"Output shape: {output.shape}")

Concepts associés#

• Attention creuse : Catégorie plus large de techniques, incluant le LSH, dans laquelle le modèle ne porte son attention que sur un sous-ensemble de tokens afin de réduire les calculs.
• Activation des gradients par points de contrôle : Technique similaire aux couches réversibles, utilisée pour échanger du temps de calcul contre de la mémoire pendant l’entraînement du modèle.
• Optimisation du modèle : Pratique générale visant à améliorer l’efficacité d’un modèle, qui englobe la quantification, l’élagage et les changements architecturaux comme ceux du Reformer.