Differential Transformer

Un Differential Transformer, également appelé DIFF Transformer, est une architecture de recherche qui modifie le Transformer standard pour réduire les informations distrayantes ou non pertinentes dans son attention mechanism. Introduit en 2024 et publié lors de l'ICLR 2025, il calcule la différence entre deux cartes d'attention, aidant le modèle à amplifier les signaux utiles tout en annulant le bruit partagé. Le Microsoft Research Differential Transformer project original cible principalement les modèles de langage plutôt que les capteurs physiques. (microsoft.com)

Link to this sectionComment fonctionne la Differential Attention#

La self-attention standard compare les requêtes et les clés, applique une softmax normalization et utilise les poids non négatifs résultants pour combiner les valeurs. La Differential Attention crée deux cartes softmax distinctes et soustrait une version mise à l'échelle de la seconde à la première :

output = (attention_map_1 - lambda x attention_map_2) x values

Ici, lambda est appris. La soustraction permet d'obtenir des poids d'attention négatifs, ce qui peut supprimer des jetons que les deux cartes considèrent de manière similaire. Cela étend les principes du papier original Attention Is All You Need et est particulièrement pertinent pour les modèles dotés d'une grande context window. (arxiv.org)

Cet PyTorch softmax example exécutable illustre l'opération principale :

import torch

q1, q2, k1, k2 = [torch.randn(4, 8) for _ in range(4)]
values = torch.randn(4, 8)
scale = q1.shape[-1] ** -0.5
map1 = torch.softmax(q1 @ k1.T * scale, dim=-1)
map2 = torch.softmax(q2 @ k2.T * scale, dim=-1)
output = (map1 - 0.8 * map2) @ values
print(output.shape)

Les implémentations de production peuvent utiliser des noyaux PyTorch scaled dot-product attention optimisés et évaluer soigneusement la mémoire, le débit et la stabilité numérique.

Link to this sectionAvantages et développements récents#

Les expériences originales ont rapporté une meilleure récupération des clés, un apprentissage en contexte, une modélisation de séquences longues et des taux d'LLM hallucination plus faibles que les modèles conventionnels correspondants. Cependant, une réduction du bruit d'attention ne garantit pas une sortie factuelle.

Les travaux récents incluent le Shared DIFF Transformer efficace en termes de paramètres, la méthode NeurIPS 2025 DEX pour adapter les modèles pré-entraînés, et la Differential Attention Adaptation, une soumission à l'ICLR 2026 qui ajoute un comportement différentiel lors du fine-tuning. L'étude Integral Transformer avertit également qu'une suppression excessive du bruit peut éliminer un contexte utile. (arxiv.org)

Link to this sectionApplications concrètes#

IA documentaire et conversationnelle : En natural language processing, la Differential Attention peut aider les systèmes de réponse aux questions et de résumé à localiser une phrase critique parmi des documents longs et bruyants.

Visual question answering : L'étude Differential Multimodal Transformers de 2025 a appliqué ce mécanisme aux entrées texte-image, améliorant la récupération d'informations bruyantes. Cela est pertinent pour le multimodal learning et les vision-language models. (arxiv.org)

Prévision et vision : La prévision de la demande des passagers ADFormer explore la Differential Attention pour l'time-series analysis, tandis que le Linear Differential Vision Transformer de 2025 adapte les idées différentielles contrastives aux Vision Transformers. La recherche fondamentale sur le Vision Transformer fournit un contexte utile. (arxiv.org)

Link to this sectionTermes associés et meilleures pratiques#

Un Differential Transformer n'est pas un Diffusion Transformer, qui génère des images ou d'autres données par diffusion, ni un capteur physique linear variable differential transformer.

Pour la vision par ordinateur, traite la Differential Attention comme une option de recherche émergente et compare-la à des architectures établies telles que RT-DETR et Ultralytics YOLO26 axé sur l'edge. Utilise des paramètres, des données d'entraînement, une latence et des budgets de mémoire correspondants, et évalue les performances sur des entrées propres et délibérément bruyantes.