Linear Attention

Doğrusal dikkat, standart softmax öz dikkatin karesel maliyetinin aksine, maliyeti dizi uzunluğuyla doğrusal artan bir dikkat mekanizmaları ailesidir. Softmax dikkati her sorguyu her anahtara göre puanlar; dolayısıyla N token, her başlık için N × N boyutunda bir puan matrisi oluşturur ve metin üreten bir Transformer, her token ile büyüyen bir KV önbelleği tutar. Doğrusal dikkat, softmax benzerliğinin yerine özellik haritalarının nokta çarpımını, φ(q)·φ(k), koyar. Bu, modelin matris çarpımlarını yeniden gruplandırıp tüm geçmiş anahtarları ve değerleri sabit boyutlu bir durumda özetlemesini sağlar. Katharopoulos ve arkadaşlarının 2020 tarihli Transformers are RNNs makalesi yöntemin yaygın biçimini ortaya koydu; kapılı varyantlar artık üretimde standart dikkat katmanlarıyla birlikte büyük dil modellerinde (LLM) çalışıyor.

Doğrusal Dikkat Nasıl Çalışır#

Softmax dikkati softmax(QKᵀ)V hesaplar. exp(q·k), sorgu ve anahtar kısımlarına ayrılamadığı için her sorgu-anahtar çiftinin puanlanması gerekir. elu(x) + 1 gibi bir φ özellik haritası kullanıldığında çıktı, φ(Q)(φ(K)ᵀV) biçimini alır ve φ(Q) ile φ(K) satırlarının toplamı kullanılarak normalleştirilir. Matris çarpımı birleşmelidir; dolayısıyla önce φ(K)ᵀV hesaplanabilir. Bu, token sayısı ne olursa olsun d × d boyutunda bir matris verir; burada d, başlık boyutudur. Böylece süre O(N²d) değerinden O(Nd²) değerine iner ve bu, diziler başlık boyutundan çok daha uzun olduğunda avantaj sağlar.

Nedensel modellerde aynı cebir, dikkati matris değerli bir duruma sahip bir tekrarlayan sinir ağına (RNN) dönüştürür. Her yeni token, duruma φ(k)vᵀ dış çarpımını ekler ve sorgusu bu durumdan okuma yapar; böylece metin üretimi token başına sabit bellek ve sabit süre gerektirir. Eğitim, paralel biçimi veya flash-linear-attention kitaplığındakiler gibi parça tabanlı çekirdekleri kullanır; dolayısıyla GPU hâlâ tüm dizileri bir kerede işler. PyTorch içinde iki biçim aynı çıktıları verir:

import torch
import torch.nn.functional as F

torch.manual_seed(0)
n, d = 2048, 64
q, k, v = torch.randn(3, n, d).unbind(0)
phi_q, phi_k = F.elu(q) + 1, F.elu(k) + 1  # positive feature map in place of softmax

# Parallel form: an n x n causal score matrix, as in softmax attention
scores = torch.tril(phi_q @ phi_k.T)
parallel = (scores @ v) / scores.sum(dim=-1, keepdim=True)

# Recurrent form: a fixed d x d state that each new token updates
state, norm, outputs = torch.zeros(d, d), torch.zeros(d), []
for t in range(n):
    state += torch.outer(phi_k[t], v[t])
    norm += phi_k[t]
    outputs.append(phi_q[t] @ state / (phi_q[t] @ norm))
recurrent = torch.stack(outputs)

print("Same outputs:", torch.allclose(parallel, recurrent, atol=1e-4))
print(f"Recurrent state: {state.numel():,} numbers; KV cache after {n:,} tokens: {2 * n * d:,} numbers")

Same outputs: True çıktısını verir. 64 × 64 durum, dizi ne kadar uzarsa uzasın 4.096 sayı tutar; buna karşılık bir başlığın 2.048 token sonrasındaki KV önbelleği 262.144 sayı tutar ve her yeni token ile 128 sayı büyür.

DeltaNet, Kapılama ve Hibrit Modeller#

Sabit boyutlu bir durum, kayıplı bellektir. Basit doğrusal dikkat yalnızca bu duruma ekleme yapar; bu nedenle eski ilişkiler birikip birbirine karışır ve uzun bir bağlam penceresindeki belirli olguları hatırlama becerisi softmax dikkatinin gerisinde kalır. Artık iki çözüm öne çıkıyor. Kapılama, modelin unutabilmesi için her güncellemeden önce durumu öğrenilmiş bir azalma katsayısıyla çarpar; bu mekanizma, Mamba-2 gibi durum uzayı modelleriyle (SSM) ortaktır. Bu modellerin yazarları iki ailenin birbirinin ikili biçimi olduğunu gösterdi. Doğrusal Transformer'ları hızlı ağırlık programlayıcılarıyla ilişkilendiren çalışmalardan gelen delta kuralı, anahtar için hâlihazırda saklanan değeri okur ve yalnızca yeni değer ile bu saklanan tahmin arasındaki farkı yazar. DeltaNet, 2024'te dizi boyunca delta kuralı eğitimini paralel hâle getirdi; Gated DeltaNet (ICLR 2025) bir azalma kapısı ekledi ve Moonshot AI'ın Kimi Linear modeli bu kapıyı her kanal için ayrı ayrı işleyecek şekilde geliştirdi.

Üretim modelleri, tam geri çağırma başarımını korumak için bu katmanları tam dikkat katmanlarıyla iç içe kullanır. Qwen3-Next ve Qwen3.5 ailesi, üç Gated DeltaNet katmanının ardından bir kapılı softmax dikkat katmanı gelen bir bloğu tekrarlar; Kimi Linear da Kimi Delta Attention ile çok başlı gizil dikkat arasında benzer bir 3:1 oranı kullanır:

Doğrusal Dikkat ve İlişkili Yöntemler#

• Öz dikkat: Tüm token çiftlerini puanlayan, karesel süreye sahip ve diziyle birlikte büyüyen bir KV önbelleği kullanan tam softmax biçimidir.
• Flash attention: Yonga üzerindeki bellekte tutulan döşemeler hâlinde tam softmax dikkati hesaplayan bir GPU çekirdeğidir. Bellek trafiğini azaltır, ancak işlem sayısı karesel kalır.
• Seyrek dikkat: Softmax'ı korur ve yalnızca yakın zamandaki token'ların yerel bandı gibi seçili çiftleri puanlar.
• Gruplanmış sorgu dikkati (GQA): Tam softmax dikkatini korurken KV önbelleğini sabit bir katsayıyla küçültmek için anahtarları ve değerleri sorgu başlıkları arasında paylaşır.

Doğrusal Dikkatin Kullanıldığı Yerler#

Uzun bağlamlı dil modelleri, en büyük kullanım alanıdır; çünkü hibrit modellerdeki doğrusal katmanlar kod çözme sırasında sabit boyutlu bir durum tutarken yalnızca birkaç softmax katmanı büyüyen bir KV önbelleği taşır. İkinci kullanım alanı görüntüdür; çünkü görüntü çözünürlüğü arttıkça token sayısı da artar. EfficientViT, yüksek çözünürlüklü anlamsal bölümleme için ReLU tabanlı doğrusal dikkat kullanır; NVIDIA'nın SANA modeli ise 4096 × 4096 piksele kadar görüntüler üreten doğrusal bir difüzyon Transformer'ı oluşturur. Nesne algılamada dikkat genellikle yalnızca özellik haritalarının en küçük olduğu yerlerde çalışır. YOLO26, standart softmax dikkatini korur ve bunu yalnızca C2PSA bloğunda ve dikkat etkinleştirilmiş bir C3k2 bloğunda, her ikisinde de 640 piksellik bir görüntünün 20 × 20 stride-32 özellik haritasında çalıştırır. Böylece her dikkat katmanı 400 token ve başlık başına 160.000 girdilik tam bir puan matrisi görür.