Differential Transformer

DIFF Transformer olarak da adlandırılan bir Differential Transformer, attention mechanism içindeki dikkat dağıtıcı veya alakasız bilgileri azaltmak için standart Transformer mimarisini değiştiren bir araştırma mimarisidir. 2024 yılında tanıtılan ve ICLR 2025 konferansında yayınlanan bu yapı, iki dikkat haritası arasındaki farkı hesaplayarak modelin paylaşılan gürültüyü yok ederken faydalı sinyalleri güçlendirmesine yardımcı olur. Orijinal Microsoft Research Differential Transformer project projesi, fiziksel sensörlerden ziyade öncelikle dil modellerini hedefler. (microsoft.com)

Differential Attention Nasıl Çalışır#

Standart self-attention, sorguları ve anahtarları karşılaştırır, softmax normalization uygular ve değerleri birleştirmek için elde edilen negatif olmayan ağırlıkları kullanır. Differential attention, iki ayrı softmax haritası oluşturur ve ikincisinin ölçeklendirilmiş bir versiyonunu birincisinden çıkarır:

output = (attention_map_1 - lambda x attention_map_2) x values

Burada lambda öğrenilir. Çıkarma işlemi, her iki haritanın da benzer şekilde değerlendirdiği token'ları bastırabilen negatif dikkat ağırlıklarına izin verir. Bu, orijinal Attention Is All You Need paper belgesindeki ilkeleri genişletir ve özellikle geniş bir context window değerine sahip modellerle ilgilidir. (arxiv.org)

Bu çalıştırılabilir PyTorch softmax example örneği temel işlemi gösterir:

import torch

q1, q2, k1, k2 = [torch.randn(4, 8) for _ in range(4)]
values = torch.randn(4, 8)
scale = q1.shape[-1] ** -0.5
map1 = torch.softmax(q1 @ k1.T * scale, dim=-1)
map2 = torch.softmax(q2 @ k2.T * scale, dim=-1)
output = (map1 - 0.8 * map2) @ values
print(output.shape)

Üretim uygulamaları, optimize edilmiş PyTorch scaled dot-product attention çekirdeklerini kullanabilir ve belleği, veri akışını ve sayısal kararlılığı dikkatlice test edebilir.

Faydalar ve Son Gelişmeler#

Orijinal deneyler, eşleşen geleneksel modellere kıyasla daha güçlü anahtar alma, bağlam içi öğrenme, uzun dizi modelleme ve daha düşük LLM hallucination oranları bildirdi. Bununla birlikte, azaltılmış dikkat gürültüsü, olgusal çıktıyı garanti etmez.

Son çalışmalar arasında parametre açısından verimli Shared DIFF Transformer, önceden eğitilmiş modelleri uyarlamak için NeurIPS 2025 DEX method yöntemi ve ince ayar sırasında diferansiyel davranış ekleyen bir ICLR 2026 sunumu olan Differential Attention Adaptation yer alır. Integral Transformer study çalışması ayrıca aşırı gürültü gidermenin faydalı bağlamı atabileceği konusunda uyarır. (arxiv.org)

Gerçek Dünya Uygulamaları#

Belge ve konuşma yapay zekası: natural language processing alanında, differential attention; soru-cevap ve özetleme sistemlerinin uzun, gürültülü belgeler arasında kritik bir cümleyi bulmasına yardımcı olabilir.

Görsel soru yanıtlama: 2025 tarihli Differential Multimodal Transformers study çalışması, mekanizmayı metin-görüntü girdilerine uygulayarak gürültülü bilgi alımını iyileştirdi. Bu, multimodal learning ve vision-language models ile ilgilidir. (arxiv.org)

Tahmin ve görme: ADFormer passenger-demand forecasting, time-series analysis için differential attention'ı incelerken, 2025 tarihli Linear Differential Vision Transformer ise kontrastlı diferansiyel fikirleri Vision Transformers modeline uyarlar. Temel Vision Transformer research araştırması faydalı bir bağlam sağlar. (arxiv.org)

İlgili Terimler ve En İyi Uygulamalar#

Differential Transformer, difüzyon yoluyla görüntü veya başka veriler üreten bir Diffusion Transformer veya fiziksel bir linear variable differential transformer sensor değildir.

Bilgisayarlı görü için differential attention'ı yeni ortaya çıkan bir araştırma seçeneği olarak değerlendirin ve bunu RT-DETR ve uç odaklı Ultralytics YOLO26 gibi köklü mimarilerle karşılaştırın. Eşleşen parametreleri, eğitim verilerini, gecikmeyi ve bellek bütçelerini kullanın ve performansı hem temiz hem de kasıtlı olarak gürültülü girdiler üzerinde değerlendirin.