Transformateur-XL

Concepts de base du transformateur-XL

Transformer-XL introduit deux innovations clés pour surmonter les limitations des transformateurs standard lorsqu'il s'agit de longues séquences :

1. Récurrence au niveau des segments : Les transformateurs standard traitent les longues séquences en les divisant en segments de taille fixe. Cependant, l'information ne peut pas circuler entre ces segments, ce qui entraîne une fragmentation du contexte. Transformer-XL introduit un mécanisme de récurrence dans lequel les états cachés calculés pour un segment précédent sont mis en cache et réutilisés comme contexte lors du traitement du segment actuel. Cela permet à l'information de se propager à travers les segments, créant un contexte efficace bien au-delà de la longueur d'un seul segment. Ce mécanisme est conceptuellement similaire à la manière dont les réseaux neuronaux récurrents (RNN) maintiennent l'état, mais il est intégré dans le cadre d'auto-attention du transformateur.
2. Codages positionnels relatifs : Le transformateur original utilise des codages positionnels absolus pour informer le modèle de la position des jetons dans une séquence. Lors de l'application de la récurrence au niveau des segments, la réutilisation des codages absolus devient problématique car le même indice de position apparaît dans différents segments, ce qui est source d'ambiguïté. Transformer-XL utilise des encodages positionnels relatifs, qui définissent les positions sur la base de la distance entre les tokens plutôt que sur leur position absolue. Cela rend l'information positionnelle cohérente entre les différents segments et permet au modèle de mieux s'adapter aux différentes longueurs de séquences lors de l'inférence.

Comment fonctionne Transformer-XL

Pendant l'apprentissage et l'inférence, Transformer-XL traite les séquences d'entrée segment par segment. Pour chaque nouveau segment, il calcule les scores d'attention non seulement sur la base des tokens contenus dans ce segment, mais aussi en utilisant les états cachés mis en cache dans le(s) segment(s) précédent(s). Ces informations mises en cache fournissent un contexte historique. L'utilisation d'encodages positionnels relatifs garantit que le mécanisme d'attention interprète correctement les positions relatives des tokens, même lorsqu'il s'occupe des tokens du segment précédent mis en cache. Cette approche augmente considérablement la longueur maximale possible de la dépendance que le modèle peut capturer, souvent beaucoup plus grande que la longueur du segment lui-même, tout en maintenant l'efficacité de calcul par rapport au traitement de la séquence entière en une seule fois avec un transformateur standard. Cette méthode permet d'éviter des problèmes tels que le problème du gradient de disparition pour les longues dépendances.

Transformateur-XL vs. transformateur standard et modèles apparentés

La principale différence réside dans la gestion de la longueur des séquences et du contexte :

• Longueur du contexte : Les transformateurs standard ont une longueur de contexte maximale fixe déterminée par la taille du segment. Transformer-XL peut capturer des dépendances potentiellement longues de milliers de tokens grâce à son mécanisme de récurrence.
• Calcul : Transformer-XL peut être nettement plus rapide que les transformateurs standard lors de l'évaluation de longues séquences, car les calculs pour les segments précédents sont réutilisés.
• Mémoire : La mise en cache des états cachés nécessite de la mémoire supplémentaire, mais elle permet d'éviter de recalculer les représentations pour les parties antérieures de la séquence.
• Modèles apparentés : Des modèles tels que BERT et GPT (Generative Pre-trained Transformer) sont également basés sur l'architecture Transformer, mais ils utilisent généralement l'approche standard du contexte de longueur fixe. Transformer-XL cible spécifiquement la limitation des contextes longs. D'autres modèles comme Longformer et Reformer s'intéressent également aux longues séquences mais utilisent des techniques différentes comme les modèles d'attention épars ou le hachage sensible à la localité.

Pertinence et applications

La capacité de Transformer-XL à modéliser les dépendances à long terme le rend très efficace pour diverses tâches séquentielles, en particulier dans le domaine du langage parlé et écrit.

• Modélisation du langage : Il a obtenu des résultats de pointe sur des benchmarks de modélisation du langage au niveau des caractères et des mots tels que enwik8 et WikiText-103 en capturant un contexte plus long que les modèles précédents. Cette meilleure compréhension de la structure du langage est essentielle pour générer des textes cohérents et pertinents d'un point de vue contextuel.
• Traitement de documents longs : Les tâches impliquant de longs documents, telles que le résumé(Text Summarization), la réponse à des questions sur de longs articles, ou l'analyse de livres entiers ou de bases de code, bénéficient de manière significative de la fenêtre contextuelle étendue de Transformer-XL. Par exemple, un modèle Transformer-XL pourrait potentiellement générer des histoires fictives longues comme des chapitres ou écrire des modules logiciels étendus(Génération de texte).
• Apprentissage par renforcement : Ses capacités de mémoire améliorées ont également trouvé des applications dans les tâches d'apprentissage par renforcement nécessitant une planification à long terme.

Bien que Transformer-XL soit principalement connu pour le NLP, les principes de traitement efficace des longues séquences sont pertinents pour l'apprentissage automatique (ML), influençant potentiellement les architectures pour l'analyse des séries temporelles ou même les aspects de la vision par ordinateur (CV) qui traitent des données vidéo. Les innovations architecturales font souvent l'objet d'une pollinisation croisée ; par exemple, les transformateurs eux-mêmes ont inspiré les transformateurs de vision (ViT) utilisés dans l'analyse d'images. Des plateformes telles que Hugging Face hébergent des implémentations et des modèles pré-entraînés, facilitant ainsi la recherche et le développement d'applications. Vous pouvez explorer la recherche originale dans l'article "Transformer-XL : Modèles linguistiques attentifs au-delà d'un contexte de longueur fixe". La compréhension de ces architectures avancées permet d'éclairer le développement et la mise au point de modèles dans divers domaines, y compris ceux qui sont gérés et déployés via des plateformes comme Ultralytics HUB.