Longformer

Longformer est un modèle avancé basé sur Transformer conçu pour traiter efficacement de très longs documents. Développé par des chercheurs de l'Allen Institute for AI, sa principale innovation est un mécanisme d'attention qui évolue linéairement avec la longueur de la séquence, contrairement à l'évolution quadratique des modèles Transformer standard comme BERT. Cette efficacité permet d'effectuer des tâches complexes de traitement du langage naturel (TLN) sur des textes contenant des milliers, voire des dizaines de milliers de jetons, ce qui est prohibitivement coûteux en calcul pour les architectures antérieures.

Comment fonctionne Longformer

Le cœur de l'efficacité de Longformer réside dans son schéma d'attention unique, qui remplace le mécanisme d'auto-attention complet d'un Transformer standard. Au lieu que chaque jeton s'intéresse à tous les autres jetons, Longformer combine deux types d'attention :

• Attention à fenêtre glissante (locale) : La plupart des jetons ne font attention qu'à un nombre fixe de jetons voisins de chaque côté. Cela permet de saisir le contexte local, de la même manière qu'un lecteur humain comprend les mots en fonction des mots qui l'entourent immédiatement. Cette approche s'inspire du succès des réseaux neuronaux convolutifs (CNN) dans l'exploitation des modèles locaux.
• Attention globale : Un petit nombre de jetons présélectionnés sont désignés pour avoir une attention globale, ce qui signifie qu'ils peuvent s'appliquer à tous les autres jetons de la séquence entière. Ces jetons "globaux" agissent comme des collecteurs d'informations de haut niveau provenant de l'ensemble du document. Pour des tâches spécifiques, ajustement fin, ces jetons globaux sont souvent choisis de manière stratégique, comme le [CLS] token pour les tâches de classification.

Cette combinaison offre un équilibre entre l'efficacité computationnelle et la capture des dépendances à longue portée nécessaires à la compréhension de documents complexes. La recherche originale est détaillée dans l'article "Longformer: The Long-Document Transformer".

Applications dans l'IA et l'apprentissage automatique

La capacité de Longformer à gérer de longues séquences ouvre des possibilités pour de nombreuses applications qui étaient auparavant irréalisables.

• Analyse de longs documents : Il peut effectuer des tâches telles que la résumisation de texte ou la réponse aux questions sur des livres entiers, de longs articles de recherche ou des documents juridiques complexes. Par exemple, une entreprise de technologie juridique pourrait utiliser un modèle basé sur Longformer pour numériser automatiquement des milliers de pages de documents de découverte afin de trouver des preuves pertinentes.
• Systèmes de dialogue et chatbots : Dans un contexte de chatbot ou d'assistant virtuel, Longformer peut maintenir un historique de conversation beaucoup plus long, ce qui conduit à des interactions plus cohérentes et conscientes du contexte sur des périodes prolongées.
• Génomique et bio-informatique : Son architecture est bien adaptée à l'analyse de longues séquences d'ADN ou de protéines, aidant les chercheurs à identifier des modèles et des fonctions dans de vastes ensembles de données génétiques. Un laboratoire de recherche pourrait l'appliquer pour trouver des séquences génétiques spécifiques dans un chromosome entier.

Les modèles Longformer pré-entraînés sont largement disponibles sur des plateformes comme Hugging Face, ce qui permet aux développeurs de les adapter à diverses tâches.

Comparaison avec les termes connexes

Longformer est l'un des nombreux modèles conçus pour surmonter les limitations des Transformers standard pour les longues séquences.

• Transformateur standard : La principale différence est le mécanisme d'attention. Le modèle d'attention efficace de Longformer est conçu pour les longues séquences, tandis que l'auto-attention complète des transformateurs standard est trop gourmande en mémoire et en calcul pour les longues entrées.
• Reformer : Autre transformateur efficace, Reformer utilise des techniques telles que l’attention par hachage sensible à la localité (LSH) et les couches réversibles pour réduire l’utilisation des ressources. Bien que les deux ciblent les longues séquences, ils utilisent différentes stratégies techniques pour atteindre l’efficacité.
• Transformer-XL : Ce modèle introduit la récurrence et les embeddings positionnels relatifs pour gérer des contextes plus longs, ce qui le rend particulièrement efficace pour les tâches auto-régressives comme la génération de texte. Longformer, en revanche, est conçu pour traiter un seul document long avec un contexte bidirectionnel en une seule passe.

Bien que ces modèles NLP diffèrent des modèles de vision par ordinateur (CV) comme Ultralytics YOLO, qui excellent dans des tâches comme la détection d'objets, la recherche d'efficacité computationnelle est un thème commun. Les innovations qui réduisent la complexité, comme celles de Longformer, sont essentielles pour rendre les puissants modèles de deep learning pratiques pour l'inférence en temps réel et le déploiement de modèles sur divers matériels. La gestion de ces modèles avancés peut être rationalisée à l'aide de plateformes comme Ultralytics HUB.