Differential Transformer

A Differential Transformer, also called a DIFF Transformer, is a research architecture that modifies the standard Transformer to reduce distracting or irrelevant information in its attention mechanism. Introduced in 2024 and published at ICLR 2025, it computes the difference between two attention maps, helping the model amplify useful signals while canceling shared noise. The original Microsoft Research Differential Transformer project primarily targets language models rather than physical sensors. (microsoft.com)

Link to this sectionDifferential Attention Nasıl Çalışır#

Standart self-attention, sorguları ve anahtarları karşılaştırır, softmax normalization uygular ve değerleri birleştirmek için elde edilen negatif olmayan ağırlıkları kullanır. Differential attention iki ayrı softmax haritası oluşturur ve ikincisinin ölçeklenmiş bir versiyonunu birincisinden çıkarır:

output = (attention_map_1 - lambda x attention_map_2) x values

Burada lambda öğrenilir. Çıkarma işlemi, her iki haritanın da benzer şekilde değerlendirdiği belirteçleri baskılayabilen negatif dikkat ağırlıklarına izin verir. Bu, orijinal Attention Is All You Need makalesindeki ilkeleri genişletir ve özellikle geniş bir context window değerine sahip modeller için geçerlidir. (arxiv.org)

Bu çalıştırılabilir PyTorch softmax örneği temel işlemi göstermektedir:

import torch

q1, q2, k1, k2 = [torch.randn(4, 8) for _ in range(4)]
values = torch.randn(4, 8)
scale = q1.shape[-1] ** -0.5
map1 = torch.softmax(q1 @ k1.T * scale, dim=-1)
map2 = torch.softmax(q2 @ k2.T * scale, dim=-1)
output = (map1 - 0.8 * map2) @ values
print(output.shape)

Üretim uygulamaları, optimize edilmiş PyTorch scaled dot-product attention çekirdeklerini kullanabilir ve bellek, iş hacmi ve sayısal kararlılığı dikkatle karşılaştırabilir.

Link to this sectionFaydalar ve Son Gelişmeler#

Orijinal deneyler; eşleştirilmiş geleneksel modellere kıyasla daha güçlü anahtar getirme, bağlam içi öğrenme, uzun dizi modelleme ve daha düşük LLM hallucination oranları bildirmiştir. Ancak, azaltılmış dikkat gürültüsü, olgusal çıktı garantisi vermez.

Yakın zamandaki çalışmalar arasında parametre verimli Shared DIFF Transformer, önceden eğitilmiş modelleri uyarlamak için NeurIPS 2025 DEX method ve ince ayar sırasında diferansiyel davranış ekleyen bir ICLR 2026 başvurusu olan Differential Attention Adaptation yer almaktadır. Integral Transformer çalışması ayrıca aşırı gürültü gidermenin yararlı bağlamı yok edebileceği konusunda uyarıda bulunur. (arxiv.org)

Link to this sectionGerçek Dünya Uygulamaları#

Belge ve konuşma tabanlı yapay zeka: natural language processing alanında differential attention, soru-cevap ve özetleme sistemlerinin uzun, gürültülü belgeler arasında kritik bir cümleyi bulmasına yardımcı olabilir.

Görsel soru-cevap: 2025 tarihli Differential Multimodal Transformers çalışması, mekanizmayı metin-görüntü girdilerine uygulayarak gürültülü bilgi getirmeyi iyileştirmiştir. Bu durum multimodal learning ve vision-language models ile ilgilidir. (arxiv.org)

Tahmin ve görüntüleme: ADFormer yolcu talebi tahmini, time-series analysis için differential attention yöntemini araştırırken, 2025 tarihli Linear Differential Vision Transformer ise karşıtlı diferansiyel fikirleri Vision Transformers modellerine uyarlar. Temel Vision Transformer araştırması yararlı bir bağlam sağlar. (arxiv.org)

Link to this sectionİlgili Terimler ve En İyi Uygulamalar#

Differential Transformer, görüntüleri veya diğer verileri difüzyon yoluyla oluşturan Diffusion Transformer veya fiziksel bir linear variable differential transformer sensörü değildir.

Bilgisayarlı görü için, differential attention yöntemini yeni gelişen bir araştırma seçeneği olarak değerlendir ve bunu RT-DETR ve uç odaklı Ultralytics YOLO26 gibi yerleşik mimarilerle karşılaştır. Eşleştirilmiş parametreler, eğitim verileri, gecikme süresi ve bellek bütçelerini kullan ve performansı hem temiz hem de kasten gürültülü girdiler üzerinde değerlendir.