Differential Transformer

Differential Transformer（DIFF Transformerとも呼ばれる）は、標準的なTransformerを修正し、そのattention mechanismにおける注意散漫または無関係な情報を削減するための研究用アーキテクチャです。2024年に導入され、ICLR 2025で発表されたこのモデルは、2つの注意マップの差分を計算することで、モデルが有用な信号を増幅し、共通するノイズを打ち消すのを支援します。オリジナルのMicrosoft Research Differential Transformerプロジェクトは、主に物理センサーではなく言語モデルをターゲットとしています。(microsoft.com)

Link to this sectionDifferential Attentionの仕組み#

標準的なself-attentionは、クエリとキーを比較し、softmax normalizationを適用し、得られた非負の重みを使用して値を結合します。Differential Attentionは2つの個別のsoftmaxマップを作成し、最初のマップから2番目のマップのスケールバージョンを減算します：

output = (attention_map_1 - lambda x attention_map_2) x values

ここで、lambdaは学習されます。減算により負の注意重みが許容され、両方のマップが同様に考慮するトークンを抑制できます。これは、オリジナルのAttention Is All You Need論文の原則を拡張したものであり、特に大きなcontext windowを持つモデルに関連しています。(arxiv.org)

この実行可能なPyTorch softmax例は、中核となる操作を示しています：

import torch

q1, q2, k1, k2 = [torch.randn(4, 8) for _ in range(4)]
values = torch.randn(4, 8)
scale = q1.shape[-1] ** -0.5
map1 = torch.softmax(q1 @ k1.T * scale, dim=-1)
map2 = torch.softmax(q2 @ k2.T * scale, dim=-1)
output = (map1 - 0.8 * map2) @ values
print(output.shape)

本番環境での実装では、最適化されたPyTorch scaled dot-product attentionカーネルを使用し、メモリ、スループット、数値安定性を慎重にベンチマークする必要があるかもしれません。

Link to this section利点と最近の開発#

オリジナルの実験では、対応する従来のモデルと比較して、より強力なキー取得、インコンテキスト学習、長シーケンスモデリング、および低いLLM hallucination率が報告されました。しかし、注意ノイズの削減は事実に基づいた出力を保証するものではありません。

最近の研究には、パラメータ効率に優れたShared DIFF Transformer、事前学習済みモデルを適応させるためのNeurIPS 2025 DEX method、およびファインチューニング中にDifferentialな動作を追加するICLR 2026投稿論文のDifferential Attention Adaptationなどがあります。Integral Transformer studyはまた、過度なノイズ除去によって有用なコンテキストが失われる可能性があると警告しています。(arxiv.org)

Link to this section実社会での応用#

ドキュメントおよび会話型AI： natural language processingにおいて、Differential Attentionは、質問応答システムや要約システムが長くノイズの多いドキュメントの中から重要な文を見つけるのに役立ちます。

視覚的質問応答： 2025年のDifferential Multimodal Transformers studyでは、このメカニズムをテキスト・画像入力に適用し、ノイズの多い情報の取得を改善しました。これはmultimodal learningおよびvision-language modelsに関連しています。(arxiv.org)

予測とビジョン： ADFormer passenger-demand forecastingはtime-series analysisのためのDifferential Attentionを調査し、2025年のLinear Differential Vision Transformerは対照的なDifferentialのアイデアをVision Transformersに適応させています。基礎となるVision Transformer researchは有益なコンテキストを提供します。(arxiv.org)

Link to this section関連用語とベストプラクティス#

Differential Transformerは、拡散モデルを通じて画像やその他のデータを生成するDiffusion Transformerではなく、また物理的なlinear variable differential transformer sensorでもありません。

コンピュータビジョンの場合、Differential Attentionを新しい研究の選択肢として扱い、RT-DETRやエッジ向けのUltralytics YOLO26のような確立されたアーキテクチャと比較してください。パラメータ、トレーニングデータ、レイテンシ、メモリ予算を一致させ、クリーンな入力と意図的にノイズを加えた入力の両方でパフォーマンスを評価してください。