Differential Transformer

Un Differential Transformer, chiamato anche DIFF Transformer, è un'architettura di ricerca che modifica lo standard Transformer per ridurre le informazioni di disturbo o irrilevanti nel suo attention mechanism. Presentato nel 2024 e pubblicato a ICLR 2025, calcola la differenza tra due mappe di attenzione, aiutando il modello ad amplificare i segnali utili cancellando al contempo il rumore condiviso. L'originale Microsoft Research Differential Transformer project si rivolge principalmente ai modelli linguistici anziché ai sensori fisici. (microsoft.com)

Come funziona la Differential Attention#

Lo standard self-attention confronta query e chiavi, applica la softmax normalization e utilizza i pesi non negativi risultanti per combinare i valori. La differential attention crea due mappe softmax separate e sottrae una versione in scala della seconda dalla prima:

output = (attention_map_1 - lambda x attention_map_2) x values

Qui, lambda viene appreso. La sottrazione consente pesi di attenzione negativi, che possono sopprimere i token che entrambe le mappe considerano simili. Ciò estende i principi del documento originale Attention Is All You Need paper ed è particolarmente rilevante per i modelli con un ampio context window. (arxiv.org)

Questo PyTorch softmax example eseguibile illustra l'operazione principale:

import torch

q1, q2, k1, k2 = [torch.randn(4, 8) for _ in range(4)]
values = torch.randn(4, 8)
scale = q1.shape[-1] ** -0.5
map1 = torch.softmax(q1 @ k1.T * scale, dim=-1)
map2 = torch.softmax(q2 @ k2.T * scale, dim=-1)
output = (map1 - 0.8 * map2) @ values
print(output.shape)

Le implementazioni di produzione possono utilizzare kernel ottimizzati di PyTorch scaled dot-product attention e valutare attentamente memoria, velocità di trasmissione e stabilità numerica.

Vantaggi e sviluppi recenti#

Gli esperimenti originali hanno riportato un migliore recupero delle chiavi, apprendimento in-context, modellazione di sequenze lunghe e tassi di LLM hallucination inferiori rispetto ai modelli convenzionali corrispondenti. Tuttavia, la riduzione del rumore di attenzione non garantisce un output fattuale.

I lavori recenti includono il Shared DIFF Transformer efficiente nei parametri, il metodo NeurIPS 2025 DEX method per l'adattamento di modelli preaddestrati e Differential Attention Adaptation, una presentazione per ICLR 2026 che aggiunge un comportamento differenziale durante il fine-tuning. Lo studio Integral Transformer study avverte inoltre che un'eccessiva rimozione del rumore potrebbe scartare un contesto utile. (arxiv.org)

Applicazioni nel mondo reale#

Document and conversational AI: Nell'natural language processing, la differential attention può aiutare i sistemi di QA e riassunto a individuare una frase critica all'interno di documenti lunghi e rumorosi.

Visual question answering: Lo studio del 2025 Differential Multimodal Transformers study ha applicato il meccanismo agli input di testo-immagine, migliorando il recupero di informazioni rumorose. Ciò è rilevante per il multimodal learning e i vision-language models. (arxiv.org)

Forecasting and vision: ADFormer passenger-demand forecasting esplora la differential attention per l'time-series analysis, mentre il Linear Differential Vision Transformer del 2025 adatta idee di differenziazione contrastiva ai Vision Transformers. La ricerca fondamentale sui Vision Transformer research fornisce un contesto utile. (arxiv.org)

Termini correlati e migliori pratiche#

Un Differential Transformer non è un Diffusion Transformer, che genera immagini o altri dati tramite diffusione, né un sensore fisico linear variable differential transformer sensor.

Per la computer vision, considera la differential attention come un'opzione di ricerca emergente e confrontala con architetture consolidate come RT-DETR e Ultralytics YOLO26 incentrato sull'edge. Utilizza parametri corrispondenti, dati di addestramento, latenza e budget di memoria, e valuta le prestazioni su input sia puliti che deliberatamente rumorosi.