Linear Attention

Lineer dikkat, modern derin öğrenme (DL) modellerinin hesaplama verimliliğini büyük ölçüde artırmak için tasarlanmış temel bir optimizasyon tekniğidir. Geleneksel Transformer mimarilerinde, standart dikkat mekanizmaları, her bir belirteci diğer tüm belirteçlerle karşılaştırarak dizileri işler. Bu, N'in dizi uzunluğu olduğu kuadratik zaman karmaşıklığı veya O(N kare) olarak bilinen ciddi bir hesaplama ve bellek darboğazı yaratır. Lineer dikkat, bu temel matematiksel işlemi doğrusal olarak, yani O(N) ölçeklenecek şekilde değiştirir. Bu çığır açan gelişme, yapay zeka (AI) modellerinin, donanım belleğini tüketmeden tüm kitaplar veya gigapiksel görüntüler gibi büyük veri kümelerini işlemesine olanak tanır.

Lineer Dikkat Nasıl Çalışır?#

Standart dikkatte sinir ağları üç ana vektörü işler: Sorgular (Q), Anahtarlar (K) ve Değerler (V). Klasik formül, tüm Sorgular ile Anahtarlar arasındaki benzerliği bir softmax fonksiyonu kullanarak hesaplar ve Değerler ile çarpmadan önce devasa bir N x N matrisi oluşturur.

Lineer dikkat, bu devasa ara matrisin oluşturulmasını atlar. Bunun yerine, matris çarpımının birleşme özelliğine dayanır. Softsoftmax katmanını özel çekirdek fonksiyonları kullanarak kaldırmak veya yaklaştırmak suretiyle model, çarpımı farklı şekilde gruplandırır. Önce sabit boyutlu bir bağlam matrisi oluşturmak için Anahtarları ve Değerleri birbirleriyle çarpar ve ardından Sorguları bu yeni sıkıştırılmış matrisle çarpar. Bu basit yeniden sıralama, hesaplama karmaşıklığını önemli ölçüde düşürerek GPU (Grafik İşlemci Birimi) gibi donanımların çok daha uzun girdileri yerel olarak işlemesini serbest bırakır.

Son Gelişmeler ve DeltaNet#

Stanford Üniversitesi ve Google DeepMind gibi teknoloji devleri öncülüğündeki AI araştırma topluluğu, doğruluğu artırmak için lineer formülasyonlar üzerinde sürekli olarak yenilikler yapmaktadır. 2024 ve 2025 yıllarında araştırmacılar, lineer transformer'lardaki standart eklemeli güncellemelerin yerini alan "Delta Kuralı"na sahip yenilikçi bir mimari olan DeltaNet'i tanıttı. Bu, ağın mutlak değerleri sıfırdan hesaplamak yerine, zaten depolanmış olanlara göre dahili belleğini güncellemesini sağlar.

Gated DeltaNet mimarileri gibi sonraki gelişmeler, kanal bazlı bozunma oranları sunarak modellerin zaman içinde belirli anahtar özellikleri seçici olarak unutmasını veya saklamasını sağlar. Bu donanım açısından verimli yenilikler, özellikle karmaşık bağlam içi erişim görevlerinde, lineer transformer'lar ile geleneksel softmax dikkati arasındaki performans boşluğunu kapatır.

Lineer Dikkat ve Diğer Dikkat Mekanizmaları Karşılaştırması#

Bu tekniğin daha geniş dikkat mekanizması ailesindeki ilgili kavramlardan nasıl farklı olduğunu anlamak, ağlarını optimize eden AI mühendisleri için çok önemlidir:

• Öz-Dikkat (Self-Attention): Mükemmel bir küresel bağlam yakalamak için tam, hesaplama açısından maliyetli O(N kare) softmax matrisini kullanan temel mekanizma.
• Flash Attention: GPU bellek katmanları arasında verimli bir şekilde veri taşıyarak tam O(N kare) öz-dikkat matematiğini hızlandıran, G/Ç bilincine sahip bir optimizasyon. Lineer dikkatin aksine, Flash Attention temel matematiksel formülü değiştirmez.
• Seyrek Dikkat (Sparse Attention): Ağın yalnızca komşu belirteçlerin yerelleştirilmiş bir penceresine bakmasını zorlayarak bellekten tasarruf sağlayan bir yöntem; lineer dikkat ise tüm küresel görünümü matematiksel olarak sabit bir duruma sıkıştırır.

Gerçek Dünya Uygulamaları#

Dizi uzunluğu engelini aşarak, lineer ölçekleme birden fazla yapay zeka alanında güçlü yeteneklerin kilidini açar:

• Doğal Dil İşleme (NLP): OpenAI gibi kuruluşlardan Büyük Dil Modelleri (LLM'ler), geniş kod tabanlarını veya karmaşık yasal belgeleri sorunsuz bir şekilde alabilir. Lineer ölçeklendirme, sağlam belge akıl yürütmesi için gereken devasa bağlam pencerelerine izin verir.
• Yüksek Çözünürlüklü Bilgisayarlı Görü (CV): Tıbbi görüntü analizi veya uydu görüntü analizi gibi karmaşık görevler için gigapiksel görüntüleri düzleştirmek, devasa belirteç dizileri üretir. Lineer dikkat, hayati detayları yok eden agresif küçültmelere güvenmeden, modellerin doğrudan yüksek çözünürlüklü girdiler üzerinde ayrıntılı görüntü segmentasyonu yürütmesine izin verir.

Kod Örneği#

PyTorch ve TensorFlow gibi modern çerçeveler, bu matematiksel kavramların uygulanmasını kolaylaştırır. Aşağıda, lineer dikkatin O(N) verimliliğine ulaşmak için matris çarpımının sırasını nasıl değiştirdiğini gösteren kavramsal bir PyTorch kod parçacığı bulunmaktadır.

import torch
import torch.nn as nn
import torch.nn.functional as F


class SimpleLinearAttention(nn.Module):
    def __init__(self, dim):
        super().__init__()
        self.qkv = nn.Linear(dim, dim * 3)

    def forward(self, x):
        # x shape: (Batch, Sequence Length, Channels)
        q, k, v = self.qkv(x).chunk(3, dim=-1)

        # Apply an activation function as a kernel approximation (replaces softmax)
        q = F.elu(q) + 1.0
        k = F.elu(k) + 1.0

        # Associative trick: Multiply Key and Value first (O(N) complexity)
        # k^T @ v yields a fixed (Batch, Channels, Channels) matrix
        kv_context = torch.matmul(k.transpose(-2, -1), v)

        # Multiply Query by the fixed context matrix to get the final output
        return torch.matmul(q, kv_context)


# Example: Processing a sequence of 1024 tokens
model = SimpleLinearAttention(dim=64)
dummy_input = torch.randn(1, 1024, 64)
output = model(dummy_input)
print(f"Output shape: {output.shape}")

Deneysel topluluk modelleri çeşitli lineer veya seyrek dikkat katmanları içerebilse de, genellikle yavaş CPU hızlarından veya eğitim kararsızlığından muzdarip olabilirler. Sağlam, üretime hazır bilgisayarlı görü dağıtımları için önerilen standart Ultralytics YOLO26'dir. Ağır dikkat katmanlarına güvenmeden nesne tespiti gibi kritik görevler için hızı ve doğruluğu en üst düzeye çıkaran, son derece optimize edilmiş, yerel olarak uçtan uca bir mimari sunar. Geliştiriciler, kapsamlı Ultralytics Platform kullanarak bu üst düzey modelleri sorunsuz bir şekilde etiketleyebilir, eğitebilir, dağıtabilir ve izleyebilir.