Differential Transformer
Erfahre, wie Differential Transformers Aufmerksamkeitsrauschen durch duale Aufmerksamkeitskarten reduzieren und so den Signalabruf in Sprach-, Bild- und multimodalen KI-Anwendungen verbessern.
Ein Differential Transformer, auch DIFF Transformer genannt, ist eine Forschungsarchitektur, die den Standard-Transformer modifiziert, um ablenkende oder irrelevante Informationen in seinem attention mechanism zu reduzieren. Er wurde 2024 vorgestellt und auf der ICLR 2025 veröffentlicht. Er berechnet die Differenz zwischen zwei Attention Maps und hilft dem Modell dabei, nützliche Signale zu verstärken und gleichzeitig gemeinsames Rauschen zu eliminieren. Das ursprüngliche Microsoft Research Differential Transformer project zielt primär auf Sprachmodelle anstelle von physischen Sensoren ab. (microsoft.com)
Wie Differential Attention funktioniert#
Standard-self-attention vergleicht Abfragen (Queries) und Schlüssel (Keys), wendet eine softmax normalization an und verwendet die resultierenden nicht-negativen Gewichte, um Werte zu kombinieren. Differential Attention erzeugt zwei separate Softmax-Maps und zieht eine skalierte Version der zweiten von der ersten ab:
output = (attention_map_1 - lambda x attention_map_2) x values
Hierbei wird lambda gelernt. Die Subtraktion ermöglicht negative Attention-Gewichte, wodurch Token unterdrückt werden können, die von beiden Maps ähnlich bewertet werden. Dies erweitert die Prinzipien aus der ursprünglichen Arbeit Attention Is All You Need paper und ist besonders relevant für Modelle mit einem großen context window. (arxiv.org)
Dieses ausführbare PyTorch softmax example veranschaulicht die Kernoperation:
import torch
q1, q2, k1, k2 = [torch.randn(4, 8) for _ in range(4)]
values = torch.randn(4, 8)
scale = q1.shape[-1] ** -0.5
map1 = torch.softmax(q1 @ k1.T * scale, dim=-1)
map2 = torch.softmax(q2 @ k2.T * scale, dim=-1)
output = (map1 - 0.8 * map2) @ values
print(output.shape)Produktionsimplementierungen können optimierte PyTorch scaled dot-product attention-Kernel verwenden und Speicher, Durchsatz sowie numerische Stabilität sorgfältig benchmarken.
Vorteile und aktuelle Entwicklungen#
Die ursprünglichen Experimente zeigten eine stärkere Schlüsselabfrage, In-Context-Learning, Long-Sequence-Modeling und geringere LLM hallucination-Raten im Vergleich zu passenden konventionellen Modellen. Ein reduziertes Attention-Rauschen garantiert jedoch keine faktisch korrekten Ausgaben.
Zu den jüngsten Arbeiten gehören der parametereffiziente Shared DIFF Transformer, die NeurIPS 2025 DEX method zur Anpassung vortrainierter Modelle und die Differential Attention Adaptation, ein ICLR-2026-Beitrag, der während des Fine-Tunings ein differentielles Verhalten hinzufügt. Die Integral Transformer study warnt zudem davor, dass eine übermäßige Rauschunterdrückung nützlichen Kontext verwerfen könnte. (arxiv.org)
Praxisanwendungen#
Dokumenten- und konversationelle KI: In der natural language processing kann Differential Attention Frage-Antwort- und Zusammenfassungssysteme dabei unterstützen, einen kritischen Satz in langen, verrauschten Dokumenten zu finden.
Visuelle Fragebeantwortung: Die Studie Differential Multimodal Transformers study aus dem Jahr 2025 wandte den Mechanismus auf Text-Bild-Eingaben an und verbesserte so das Abrufen verrauschter Informationen. Dies ist relevant für multimodal learning und vision-language models. (arxiv.org)
Prognose und Vision: ADFormer passenger-demand forecasting untersucht Differential Attention für die time-series analysis, während der Linear Differential Vision Transformer aus dem Jahr 2025 kontrastive differentielle Ansätze an Vision Transformers anpasst. Die grundlegende Vision Transformer research bietet nützlichen Kontext. (arxiv.org)
Verwandte Begriffe und Best Practices#
Ein Differential Transformer ist weder ein Diffusion Transformer, der Bilder oder andere Daten durch Diffusion generiert, noch ein physischer linear variable differential transformer sensor.
Betrachte Differential Attention für Computer Vision als aufstrebende Forschungsoption und vergleiche sie mit etablierten Architekturen wie RT-DETR und dem auf Edge optimierten Ultralytics YOLO26. Nutze dabei angepasste Parameter, Trainingsdaten, Latenz- und Speicherbudgets und evalueite die Leistung sowohl bei sauberen als auch bei absichtlich verrauschten Eingaben.
