Linear Attention

Lineare Aufmerksamkeit ist eine Familie von Aufmerksamkeitsmechanismen, deren Rechenaufwand linear mit der Sequenzlänge wächst und damit die quadratischen Kosten der standardmäßigen Softmax-Selbstaufmerksamkeit ersetzt. Softmax-Aufmerksamkeit bewertet jede Anfrage anhand jedes Schlüssels. Bei N Tokens entsteht deshalb pro Kopf eine N × N große Bewertungsmatrix, und ein Transformer, der Text erzeugt, hält einen KV-Cache, der mit jedem Token wächst. Lineare Aufmerksamkeit ersetzt die Softmax-Ähnlichkeit durch ein Skalarprodukt von Merkmalsabbildungen, φ(q)·φ(k). Dadurch kann das Modell die Matrixprodukte neu gruppieren und alle bisherigen Schlüssel und Werte in einem Zustand fester Größe zusammenfassen. Ein Beitrag von Katharopoulos et al. aus dem Jahr 2020, Transformer sind RNNs, etablierte die heute übliche Form des Verfahrens. Gesteuerte Varianten laufen inzwischen neben standardmäßigen Aufmerksamkeitsschichten in produktiven großen Sprachmodellen (LLMs).

So funktioniert lineare Attention#

Softmax-Aufmerksamkeit berechnet softmax(QKᵀ)V. Da sich exp(q·k) nicht in einen Anfrage- und einen Schlüsselteil zerlegen lässt, muss jedes Anfrage-Schlüssel-Paar bewertet werden. Mit einer Merkmalsabbildung φ, etwa elu(x) + 1, lautet die Ausgabe φ(Q)(φ(K)ᵀV), normalisiert mit φ(Q) multipliziert mit der Summe der Zeilen von φ(K). Die Matrixmultiplikation ist assoziativ, daher lässt sich φ(K)ᵀV zuerst berechnen. Das ergibt unabhängig von der Tokenzahl eine d × d große Matrix, wobei d der Kopfdimension entspricht. Der Rechenaufwand sinkt von O(N²d) auf O(Nd²). Das lohnt sich, wenn die Sequenzen wesentlich länger als die Kopfdimension sind.

Bei kausalen Modellen verwandelt dieselbe Algebra die Aufmerksamkeit in ein rekurrentes neuronales Netzwerk (RNN) mit einem matrixwertigen Zustand. Jedes neue Token fügt dem Zustand das äußere Produkt φ(k)vᵀ hinzu, und seine Anfrage liest aus diesem Zustand. So benötigt die Texterzeugung pro Token konstanten Speicher und konstante Zeit. Beim Training kommt die parallele Form zum Einsatz oder es werden blockweise Kernel verwendet, etwa aus der Bibliothek flash-linear-attention. Eine GPU verarbeitet daher weiterhin ganze Sequenzen auf einmal. In PyTorch liefern beide Formen dieselben Ausgaben:

import torch
import torch.nn.functional as F

torch.manual_seed(0)
n, d = 2048, 64
q, k, v = torch.randn(3, n, d).unbind(0)
phi_q, phi_k = F.elu(q) + 1, F.elu(k) + 1  # positive feature map in place of softmax

# Parallel form: an n x n causal score matrix, as in softmax attention
scores = torch.tril(phi_q @ phi_k.T)
parallel = (scores @ v) / scores.sum(dim=-1, keepdim=True)

# Recurrent form: a fixed d x d state that each new token updates
state, norm, outputs = torch.zeros(d, d), torch.zeros(d), []
for t in range(n):
    state += torch.outer(phi_k[t], v[t])
    norm += phi_k[t]
    outputs.append(phi_q[t] @ state / (phi_q[t] @ norm))
recurrent = torch.stack(outputs)

print("Same outputs:", torch.allclose(parallel, recurrent, atol=1e-4))
print(f"Recurrent state: {state.numel():,} numbers; KV cache after {n:,} tokens: {2 * n * d:,} numbers")

Es gibt Same outputs: True aus. Der 64 × 64 große Zustand speichert unabhängig vom Wachstum der Sequenz 4.096 Zahlen. Der KV-Cache eines einzelnen Kopfs enthält dagegen nach 2.048 Tokens 262.144 Zahlen und wächst mit jedem neuen Token um 128.

DeltaNet, Gating und hybride Modelle#

Ein Zustand fester Größe ist ein verlustbehafteter Speicher. Einfache lineare Aufmerksamkeit fügt ihm nur Inhalte hinzu, sodass sich alte Assoziationen anhäufen und gegenseitig stören. Der Abruf bestimmter Fakten aus einem langen Kontextfenster ist daher schlechter als bei Softmax-Aufmerksamkeit. Zwei Ansätze setzen sich inzwischen durch. Beim Gating wird der Zustand vor jeder Aktualisierung mit einem erlernten Abklingfaktor multipliziert, sodass das Modell vergessen kann. Diesen Mechanismus gibt es auch in Zustandsraummodellen (SSMs) wie Mamba-2. Deren Autoren zeigten, dass die beiden Modellfamilien duale Formen voneinander sind. Die Delta-Regel geht auf Arbeiten zurück, die lineare Transformer mit Programmierern schneller Gewichte verknüpfen. Sie liest den aktuell für einen Schlüssel gespeicherten Wert und schreibt nur die Differenz zwischen dem neuen Wert und der gespeicherten Vorhersage. DeltaNet ermöglichte 2024 das parallele Training der Delta-Regel über die Sequenz hinweg. Gated DeltaNet (ICLR 2025) ergänzte ein Abkling-Gate, und Moonshot AIs Kimi Linear verfeinert dieses Gate so, dass es auf jeden Kanal einzeln wirkt.

Produktionsmodelle verschachteln diese Schichten mit vollständiger Aufmerksamkeit, damit einige Softmax-Schichten einen exakten Abruf ermöglichen. Die Familien Qwen3-Next und Qwen3.5 wiederholen einen Block aus drei Gated-DeltaNet-Schichten, gefolgt von einer Gated-Softmax-Aufmerksamkeitsschicht. Kimi Linear verwendet eine ähnliche Mischung im Verhältnis 3:1 aus Kimi Delta Attention und Multi-Head Latent Attention:

Lineare Aufmerksamkeit im Vergleich zu verwandten Verfahren#

• Selbstaufmerksamkeit: Die exakte Softmax-Variante, die alle Tokenpaare bewertet. Sie hat quadratischen Zeitaufwand und einen KV-Cache, der mit der Sequenz wächst.
• Flash Attention: Ein GPU-Kernel, der exakte Softmax-Aufmerksamkeit in Kacheln berechnet, die im On-Chip-Speicher gehalten werden. Er reduziert den Speicherverkehr, während die Anzahl der Operationen quadratisch bleibt.
• Sparse Attention: Behält Softmax bei und bewertet nur ausgewählte Paare, etwa ein lokales Band jüngster Tokens.
• Gruppenabfrage-Aufmerksamkeit (GQA): Teilt Schlüssel und Werte zwischen Anfrageköpfen, um den KV-Cache um einen konstanten Faktor zu verkleinern, während die vollständige Softmax-Aufmerksamkeit erhalten bleibt.

Einsatzgebiete linearer Aufmerksamkeit#

Sprachmodelle mit langem Kontext sind das größte Einsatzgebiet, da lineare Schichten in einem hybriden Modell während der Decodierung einen Zustand konstanter Größe behalten und nur die wenigen Softmax-Schichten einen wachsenden KV-Cache mitführen. Der zweite Bereich ist die Bildverarbeitung, da die Tokenzahl mit der Bildauflösung steigt. EfficientViT verwendet lineare Aufmerksamkeit auf ReLU-Basis für die hochauflösende semantische Segmentierung, und NVIDIAs SANA setzt einen linearen Diffusion-Transformer ein, der Bilder mit bis zu 4096 × 4096 Pixeln erzeugt. Bei der Objekterkennung kommt Aufmerksamkeit üblicherweise nur dort zum Einsatz, wo die Merkmalskarten am kleinsten sind. YOLO26 behält standardmäßige Softmax-Aufmerksamkeit bei und führt sie nur in seinem C2PSA-Block und einem aufmerksamkeitsfähigen C3k2-Block aus. Beide arbeiten mit der Merkmalskarte im Schritt 32 mit 20 × 20 Positionen eines 640 Pixel großen Bildes. Jede Aufmerksamkeitsschicht sieht somit 400 Tokens und pro Kopf eine vollständige Bewertungsmatrix mit 160.000 Einträgen.