Reformer

Reformer est un type efficace de modèle Transformer développé par des chercheurs de Google AI. Il a été conçu pour traiter des séquences de données extrêmement longues, ce qui représente un défi important pour les architectures Transformer standard en raison de leur forte utilisation de la mémoire et de leurs exigences de calcul. En introduisant de nouvelles techniques, Reformer peut traiter des longueurs de contexte allant jusqu'à un million de mots sur un seul accélérateur, ce qui permet de travailler avec des livres entiers ou des images haute résolution. Cette efficacité est essentielle pour faire progresser les capacités des grands modèles linguistiques (LLM) et d'autres tâches basées sur des séquences dans le domaine de l'intelligence artificielle (IA).

Comment Reformer atteint l’efficacité

L'efficacité de Reformer provient de deux innovations principales qui s'attaquent aux goulets d'étranglement du mécanisme d'attention standard et de l'allocation de mémoire :

• Attention par hachage sensible à la localité (LSH) : Les Transformers traditionnels calculent un score d'attention pour chaque paire de mots dans une séquence, ce qui devient coûteux en termes de calcul lorsque la longueur de la séquence augmente. Reformer remplace cette attention complète par une approximation utilisant le hachage sensible à la localité (LSH). Cette technique regroupe les mots similaires dans des compartiments et ne calcule l'attention qu'au sein de ces groupes plus petits, ce qui réduit considérablement la charge de calcul. Elle fonctionne selon le principe que les mots proches en termes de signification (ou d'espace vectoriel) sont susceptibles d'être hachés dans le même compartiment.
• Couches résiduelles réversibles : Pour économiser de la mémoire, les réseaux neuronaux standard stockent les activations de chaque couche pour être utilisées pendant la rétropropagation. Cela consomme une grande quantité de mémoire, en particulier dans les modèles profonds. Reformer utilise des couches réversibles, qui permettent de recalculer les activations de n'importe quelle couche à partir des activations de la couche suivante pendant l'entraînement. Cela élimine le besoin de stocker les activations en mémoire, réduisant considérablement l'empreinte mémoire et permettant l'entraînement de modèles beaucoup plus grands. Ce concept est détaillé dans l'article de recherche original de Reformer.

Applications

La capacité de Reformer à traiter de longues séquences le rend adapté à diverses tâches d'apprentissage automatique (ML), en particulier dans le domaine du traitement du langage naturel (NLP) et au-delà :

• Analyse de longs documents : Résumer ou répondre à des questions sur des livres entiers, de longs articles de recherche ou des documents juridiques où le contexte s'étend sur des milliers ou des millions de mots. Par exemple, un modèle Reformer pourrait être utilisé pour générer un résumé de texte concis d'un rapport technique de plusieurs chapitres.
• Génomique : Traitement de longues séquences d'ADN ou de protéines pour l'analyse et la reconnaissance de formes. Les données génomiques peuvent comprendre des milliards de paires de bases, ce qui fait de Reformer une architecture idéale pour identifier des modèles ou des mutations.
• Traitement de médias longs : Analyse de longs fichiers audio pour la reconnaissance vocale, génération de musique basée sur des compositions étendues ou analyse vidéo sur de longues durées. Un exemple est la transcription efficace de réunions ou de conférences de plusieurs heures.
• Génération d'images : Certaines approches traitent les images comme des séquences de pixels, en particulier pour les images à haute résolution. Reformer peut potentiellement gérer ces très longues séquences pour des tâches telles que la génération Texte-Image.
• Analyse de séries temporelles étendues : Modélisation de très longues données de séries temporelles, telles que la prévision des tendances boursières sur des décennies ou l’analyse des données climatiques à long terme.

Alors que des modèles comme Ultralytics YOLO se concentrent sur la détection d'objets efficace dans les images, en utilisant souvent des réseaux neuronaux convolutifs (CNN) ou des architectures hybrides comme RT-DETR construits avec des frameworks comme PyTorch, les principes d'efficacité computationnelle et de mémoire explorés dans Reformer sont pertinents dans tout le domaine du Deep Learning. Comprendre ces avancées contribue à stimuler l'innovation vers des modèles d'IA plus performants et accessibles. Des plateformes comme Ultralytics HUB visent à simplifier le développement de l'IA et le déploiement de modèles.

Comparaison avec d'autres modèles de séquences longues

Reformer est l'un des nombreux modèles conçus pour surmonter les limitations des Transformers standard. Il est important de le distinguer des autres :

• Longformer : Comme Reformer, Longformer est conçu pour les longues séquences. Cependant, il utilise un modèle d'attention différent combinant une fenêtre glissante (attention locale) avec quelques jetons d'attention globale. Cela le rend très efficace pour les documents où le contexte local est le plus important, mais il est moins flexible que l'approche basée sur le hachage de Reformer pour capturer les relations distantes.
• Transformer-XL : Ce modèle introduit la récurrence dans l’architecture Transformer, permettant ainsi à l’information de circuler d’un segment de texte à l’autre. Transformer-XL est particulièrement efficace pour les tâches auto-régressives comme la modélisation linguistique, mais n’est pas conçu pour traiter une seule entrée extrêmement longue en une seule passe comme Reformer ou Longformer.
• Transformateur standard : Le modèle de transformateur original utilise l'auto-attention complète, ce qui le rend très efficace mais impraticable pour les séquences de plus de quelques milliers de jetons en raison de sa complexité quadratique. La principale contribution de Reformer est de rendre les performances de type transformateur réalisables pour des entrées beaucoup plus longues. Vous trouverez plus de comparaisons de modèles dans notre documentation.