Differential Transformer

了解 Differential Transformer 如何通过双重注意力图减少注意力噪声，从而改善语言、视觉和多模态 AI 应用中的信号检索效果。

Differential Transformer（也称为 DIFF Transformer）是一种研究架构，它对标准的 Transformer 进行了改进，旨在减少其 attention mechanism 中分散注意力的或无关的信息。它于 2024 年提出并发表在 ICLR 2025 上，通过计算两个注意力图之间的差异，帮助模型放大有效信号并抵消共享噪声。最初的 Microsoft Research Differential Transformer 项目主要针对语言模型，而非物理传感器。(microsoft.com)

Link to this sectionDifferential Attention 的工作原理#

标准的 self-attention 会比较查询（queries）和键（keys），应用 softmax normalization，并使用由此产生的非负权重来组合值。Differential attention 创建两个独立的 softmax 图，并将第二个图的缩放版本从第一个图中减去：

output = (attention_map_1 - lambda x attention_map_2) x values

此处 lambda 是可学习的。减法运算允许负的注意力权重，从而抑制两个图都认为相似的 token。这扩展了原始 Attention Is All You Need paper 中的原则，对于具有大 context window 的模型尤为重要。(arxiv.org)

这个可运行的 PyTorch softmax example 展示了其核心操作：

import torch

q1, q2, k1, k2 = [torch.randn(4, 8) for _ in range(4)]
values = torch.randn(4, 8)
scale = q1.shape[-1] ** -0.5
map1 = torch.softmax(q1 @ k1.T * scale, dim=-1)
map2 = torch.softmax(q2 @ k2.T * scale, dim=-1)
output = (map1 - 0.8 * map2) @ values
print(output.shape)

生产环境中的实现可能会使用经过优化的 PyTorch scaled dot-product attention 内核，并仔细对内存、吞吐量和数值稳定性进行基准测试。

Link to this section优势与最新进展#

最初的实验报告显示，与匹配的传统模型相比，它具有更强的键检索能力、上下文学习能力、长序列建模能力，以及更低的 LLM hallucination 率。然而，减少注意力噪声并不能保证输出内容的准确性。

近期的工作包括参数高效的 Shared DIFF Transformer、用于适配预训练模型的 NeurIPS 2025 DEX method，以及 Differential Attention Adaptation（这是一项 ICLR 2026 的投稿，旨在微调期间增加差异化行为）。Integral Transformer study 也警告说，过度去除噪声可能会丢弃有用的上下文。(arxiv.org)