Differential Transformer

Un Differential Transformer, también llamado DIFF Transformer, es una arquitectura de investigación que modifica el Transformer estándar para reducir la información irrelevante o que genera distracción en su mecanismo de atención. Presentado en 2024 y publicado en ICLR 2025, calcula la diferencia entre dos mapas de atención, ayudando al modelo a amplificar las señales útiles mientras cancela el ruido compartido. El proyecto original de Microsoft Research Differential Transformer se centra principalmente en modelos de lenguaje en lugar de sensores físicos. (microsoft.com)

Link to this sectionCómo funciona la atención diferencial#

La autoatención estándar compara consultas y claves, aplica normalización softmax y utiliza los pesos no negativos resultantes para combinar valores. La atención diferencial crea dos mapas softmax separados y resta una versión escalada del segundo al primero:

output = (attention_map_1 - lambda x attention_map_2) x values

Aquí, lambda se aprende. La resta permite pesos de atención negativos, lo que puede suprimir tokens que ambos mapas consideran de manera similar. Esto amplía los principios del artículo original Attention Is All You Need y es especialmente relevante para modelos con una ventana de contexto grande. (arxiv.org)

Este ejemplo ejecutable de softmax en PyTorch ilustra la operación principal:

import torch

q1, q2, k1, k2 = [torch.randn(4, 8) for _ in range(4)]
values = torch.randn(4, 8)
scale = q1.shape[-1] ** -0.5
map1 = torch.softmax(q1 @ k1.T * scale, dim=-1)
map2 = torch.softmax(q2 @ k2.T * scale, dim=-1)
output = (map1 - 0.8 * map2) @ values
print(output.shape)

Las implementaciones de producción pueden utilizar kernels optimizados de atención de producto punto escalado de PyTorch y evaluar cuidadosamente la memoria, el rendimiento y la estabilidad numérica.

Link to this sectionBeneficios y desarrollos recientes#

Los experimentos originales reportaron una recuperación de claves más sólida, aprendizaje en contexto, modelado de secuencias largas y tasas de alucinación en LLM más bajas que modelos convencionales equivalentes. Sin embargo, una menor cantidad de ruido en la atención no garantiza una salida basada en hechos.

El trabajo reciente incluye el Shared DIFF Transformer, eficiente en cuanto a parámetros; el método DEX de NeurIPS 2025 para adaptar modelos preentrenados; y Differential Attention Adaptation, una propuesta para ICLR 2026 que añade comportamiento diferencial durante el ajuste fino. El estudio Integral Transformer también advierte que una eliminación excesiva de ruido puede descartar contexto útil. (arxiv.org)

Link to this sectionAplicaciones en el mundo real#

IA documental y conversacional: En procesamiento de lenguaje natural, la atención diferencial puede ayudar a los sistemas de respuesta a preguntas y resumen a localizar una oración crítica entre documentos largos y ruidosos.

Respuesta visual a preguntas: El estudio Differential Multimodal Transformers de 2025 aplicó el mecanismo a entradas de texto-imagen, mejorando la recuperación de información ruidosa. Esto es relevante para el aprendizaje multimodal y los modelos de visión-lenguaje. (arxiv.org)

Previsión y visión: La previsión de demanda de pasajeros con ADFormer explora la atención diferencial para el análisis de series temporales, mientras que el Linear Differential Vision Transformer de 2025 adapta ideas diferenciales contrastivas a los Vision Transformers. La investigación fundamental sobre Vision Transformer proporciona un contexto útil. (arxiv.org)

Link to this sectionTérminos relacionados y mejores prácticas#

Un Differential Transformer no es un Diffusion Transformer, que genera imágenes u otros datos mediante difusión, ni tampoco un sensor transformador diferencial de variación lineal físico.

Para visión artificial, trata la atención diferencial como una opción de investigación emergente y compárala con arquitecturas establecidas como RT-DETR y Ultralytics YOLO26, enfocada en el borde. Utiliza parámetros, datos de entrenamiento, latencia y presupuestos de memoria equivalentes, y evalúa el rendimiento tanto en entradas limpias como en entradas deliberadamente ruidosas.