Linear Attention
L’attention linéaire remplace softmax par une application de caractéristiques afin que le coût augmente de façon linéaire avec la longueur et que le décodage conserve un état de taille fixe. Découvre DeltaNet et les modèles hybrides.
L’attention linéaire est une famille de mécanismes d’attention dont le coût augmente linéairement avec la longueur de séquence, au lieu d’augmenter de façon quadratique comme celui de l’auto-attention softmax standard. L’attention softmax attribue un score à chaque requête par rapport à chaque clé ; N tokens produisent donc une matrice de scores N × N par tête, et un transformer qui génère du texte conserve un cache KV qui grandit à chaque token. L’attention linéaire remplace la similarité softmax par le produit scalaire de cartes de caractéristiques, φ(q)·φ(k), ce qui permet au modèle de réassocier les produits matriciels et de résumer toutes les clés et valeurs précédentes dans un état de taille fixe. Un article de 2020 de Katharopoulos et ses collègues, Les transformers sont des RNN, a donné à la méthode sa forme courante, et des variantes à portes sont désormais utilisées en production dans les grands modèles de langage (LLM) aux côtés des couches d’attention standard.
Fonctionnement de l’attention linéaire#
L’attention softmax calcule softmax(QKᵀ)V et, comme exp(q·k) ne se factorise pas en une composante liée à la requête et une composante liée à la clé, chaque paire requête-clé doit recevoir un score. Avec une carte de caractéristiques φ, par exemple elu(x) + 1, le résultat devient φ(Q)(φ(K)ᵀV), normalisé par φ(Q) multiplié par la somme des lignes de φ(K). La multiplication matricielle étant associative, on peut d’abord calculer φ(K)ᵀV, ce qui donne une matrice d × d, où d est la dimension de la tête, quel que soit le nombre de tokens. Le temps de calcul passe de O(N²d) à O(Nd²), un gain qui devient intéressant quand les séquences sont beaucoup plus longues que la dimension de la tête.
Pour les modèles causaux, la même algèbre transforme l’attention en réseau neuronal récurrent (RNN) doté d’un état matriciel. Chaque nouveau token ajoute le produit extérieur φ(k)vᵀ à l’état, et sa requête lit cet état ; la génération de texte utilise ainsi une mémoire et un temps constants par token. L’entraînement utilise la forme parallèle ou des noyaux par blocs, comme ceux de la bibliothèque flash-linear-attention, de sorte qu’un GPU traite toujours des séquences entières en une fois. Dans PyTorch, les deux formes produisent les mêmes résultats :
import torch
import torch.nn.functional as F
torch.manual_seed(0)
n, d = 2048, 64
q, k, v = torch.randn(3, n, d).unbind(0)
phi_q, phi_k = F.elu(q) + 1, F.elu(k) + 1 # positive feature map in place of softmax
# Parallel form: an n x n causal score matrix, as in softmax attention
scores = torch.tril(phi_q @ phi_k.T)
parallel = (scores @ v) / scores.sum(dim=-1, keepdim=True)
# Recurrent form: a fixed d x d state that each new token updates
state, norm, outputs = torch.zeros(d, d), torch.zeros(d), []
for t in range(n):
state += torch.outer(phi_k[t], v[t])
norm += phi_k[t]
outputs.append(phi_q[t] @ state / (phi_q[t] @ norm))
recurrent = torch.stack(outputs)
print("Same outputs:", torch.allclose(parallel, recurrent, atol=1e-4))
print(f"Recurrent state: {state.numel():,} numbers; KV cache after {n:,} tokens: {2 * n * d:,} numbers")Le programme affiche Same outputs: True. L’état 64 × 64 contient 4 096 nombres, quelle que soit la longueur de la séquence, tandis que le cache KV d’une tête après 2 048 tokens contient 262 144 nombres et augmente de 128 à chaque nouveau token.
DeltaNet, les portes et les modèles hybrides#
Un état de taille fixe constitue une mémoire avec pertes. L’attention linéaire simple ne fait que l’enrichir ; les anciennes associations s’accumulent donc et interfèrent entre elles, et le rappel de faits précis à partir d’une longue fenêtre de contexte reste inférieur à celui de l’attention softmax. Deux solutions dominent aujourd’hui. Les portes multiplient l’état par un facteur de décroissance appris avant chaque mise à jour, ce qui permet au modèle d’oublier ; ce mécanisme est aussi utilisé par les modèles à espace d’états (SSM), comme Mamba-2, dont les auteurs ont montré que les deux familles sont des formes duales l’une de l’autre. La règle delta, issue de travaux reliant les transformers linéaires aux programmeurs à poids rapides, lit la valeur actuellement stockée pour une clé et n’écrit que la différence entre la nouvelle valeur et la prédiction stockée. DeltaNet a rendu en 2024 l’entraînement selon la règle delta parallélisable sur la séquence ; Gated DeltaNet (ICLR 2025) a ajouté une porte de décroissance, et Kimi Linear de Moonshot AI affine cette porte pour qu’elle agisse séparément sur chaque canal.
Les modèles de production entrelacent ces couches avec de l’attention complète afin que quelques couches softmax préservent le rappel exact. Qwen3-Next et la famille Qwen3.5 répètent un bloc de trois couches Gated DeltaNet suivi d’une couche d’attention softmax à portes, et Kimi Linear utilise une combinaison similaire, à raison de 3:1, de Kimi Delta Attention et d’attention latente multi-têtes :
L’attention linéaire et les méthodes apparentées#
- Auto-attention : la forme softmax exacte qui attribue un score à toutes les paires de tokens, avec un temps quadratique et un cache KV qui grandit avec la séquence.
- Flash Attention : un noyau GPU qui calcule l’attention softmax exacte par blocs conservés dans la mémoire sur puce. Il réduit le trafic mémoire, mais le nombre d’opérations reste quadratique.
- Attention éparse : conserve le softmax et n’attribue un score qu’à certaines paires, par exemple à une fenêtre locale de tokens récents.
- Attention à requêtes groupées (GQA) : partage les clés et les valeurs entre les têtes de requête pour réduire le cache KV d’un facteur constant tout en conservant l’attention softmax complète.
Applications de l’attention linéaire#
Les modèles de langage à long contexte constituent la principale application : les couches linéaires d’un système hybride conservent un état de taille constante pendant le décodage, et seules les quelques couches softmax produisent un cache KV croissant. La vision arrive en deuxième position, car le nombre de tokens augmente avec la résolution de l’image. EfficientViT utilise une attention linéaire basée sur ReLU pour la segmentation sémantique haute résolution, et le SANA de NVIDIA construit un transformer de diffusion linéaire qui génère des images allant jusqu’à 4096 × 4096 pixels. En détection d’objets, l’attention n’est généralement appliquée que là où les cartes de caractéristiques sont les plus petites. YOLO26 conserve l’attention softmax standard et ne l’exécute que dans son bloc C2PSA et un bloc C3k2 doté d’attention, tous deux sur la carte de caractéristiques stride-32 de 20 × 20 d’une image de 640 pixels. Chaque couche d’attention traite ainsi 400 tokens et une matrice de scores complète de 160 000 éléments par tête.










