Differential Transformer

Un Differential Transformer, chiamato anche DIFF Transformer, è un'architettura di ricerca che modifica lo standard Transformer per ridurre le informazioni distraenti o irrilevanti nel suo meccanismo di attenzione. Introdotto nel 2024 e pubblicato a ICLR 2025, calcola la differenza tra due mappe di attenzione, aiutando il modello ad amplificare i segnali utili e a cancellare il rumore condiviso. Il progetto originale Microsoft Research Differential Transformer è destinato principalmente ai modelli linguistici piuttosto che ai sensori fisici. (microsoft.com)

Link to this sectionCome funziona la Differential Attention#

La self-attention standard confronta query e chiavi, applica la normalizzazione softmax e utilizza i pesi non negativi risultanti per combinare i valori. La differential attention crea due mappe softmax separate e sottrae una versione scalata della seconda dalla prima:

output = (attention_map_1 - lambda x attention_map_2) x values

Qui, lambda viene appreso. La sottrazione consente pesi di attenzione negativi, che possono sopprimere i token che entrambe le mappe considerano in modo simile. Questo estende i principi del documento originale Attention Is All You Need ed è particolarmente rilevante per i modelli con un ampio contesto. (arxiv.org)

Questo esempio eseguibile di softmax in PyTorch illustra l'operazione principale:

import torch

q1, q2, k1, k2 = [torch.randn(4, 8) for _ in range(4)]
values = torch.randn(4, 8)
scale = q1.shape[-1] ** -0.5
map1 = torch.softmax(q1 @ k1.T * scale, dim=-1)
map2 = torch.softmax(q2 @ k2.T * scale, dim=-1)
output = (map1 - 0.8 * map2) @ values
print(output.shape)

Le implementazioni di produzione possono utilizzare kernel ottimizzati di PyTorch scaled dot-product attention e confrontare attentamente memoria, throughput e stabilità numerica.

Link to this sectionVantaggi e sviluppi recenti#

Gli esperimenti originali hanno riportato un recupero delle chiavi più efficace, apprendimento in-context, modellazione di sequenze lunghe e tassi di allucinazione LLM inferiori rispetto ai modelli convenzionali corrispondenti. Tuttavia, la riduzione del rumore di attenzione non garantisce un output fattuale.

Il lavoro recente include lo Shared DIFF Transformer efficiente nei parametri, il metodo NeurIPS 2025 DEX per adattare modelli pre-addestrati e la Differential Attention Adaptation, una sottomissione a ICLR 2026 che aggiunge un comportamento differenziale durante il fine-tuning. Lo studio Integral Transformer avverte anche che un'eccessiva rimozione del rumore potrebbe scartare un contesto utile. (arxiv.org)

Link to this sectionApplicazioni nel mondo reale#

Documenti e IA conversazionale: Nel natural language processing, la differential attention può aiutare i sistemi di risposta alle domande e di riassunto a individuare una frase critica all'interno di documenti lunghi e pieni di rumore.

Visual question answering: Lo studio del 2025 Differential Multimodal Transformers ha applicato il meccanismo agli input testo-immagine, migliorando il recupero di informazioni rumorose. Questo è rilevante per il multimodal learning e i vision-language models. (arxiv.org)

Previsioni e visione: La previsione della domanda dei passeggeri ADFormer esplora la differential attention per l'analisi delle serie temporali, mentre il Linear Differential Vision Transformer del 2025 adatta le idee differenziali contrastive ai Vision Transformers. La ricerca fondamentale sul Vision Transformer fornisce un contesto utile. (arxiv.org)

Link to this sectionTermini correlati e migliori pratiche#

Un Differential Transformer non è un Diffusion Transformer, che genera immagini o altri dati tramite diffusione, né un sensore trasformatore differenziale variabile lineare fisico.

Per la computer vision, considera la differential attention come un'opzione di ricerca emergente e confrontala con architetture consolidate come RT-DETR e Ultralytics YOLO26 orientato all'edge. Utilizza parametri corrispondenti, dati di addestramento, latenza e budget di memoria, e valuta le prestazioni su input sia puliti che deliberatamente rumorosi.