Differential Transformer

Um Differential Transformer, também chamado de DIFF Transformer, é uma arquitetura de pesquisa que modifica o Transformer padrão para reduzir informações irrelevantes ou que causam distração em seu mecanismo de atenção. Introduzido em 2024 e publicado no ICLR 2025, ele calcula a diferença entre dois mapas de atenção, ajudando o modelo a amplificar sinais úteis enquanto cancela ruídos compartilhados. O projeto original do Microsoft Research Differential Transformer foca principalmente em modelos de linguagem, e não em sensores físicos. (microsoft.com)

Link to this sectionComo funciona a Differential Attention#

A self-attention padrão compara queries e keys, aplica normalização softmax e utiliza os pesos não negativos resultantes para combinar valores. A differential attention cria dois mapas softmax separados e subtrai uma versão escalonada do segundo a partir do primeiro:

output = (attention_map_1 - lambda x attention_map_2) x values

Aqui, lambda é aprendido. A subtração permite pesos de atenção negativos, que podem suprimir tokens que ambos os mapas consideram da mesma forma. Isso estende os princípios do artigo original Attention Is All You Need e é especialmente relevante para modelos com uma grande janela de contexto. (arxiv.org)

Este exemplo executável de softmax em PyTorch ilustra a operação principal:

import torch

q1, q2, k1, k2 = [torch.randn(4, 8) for _ in range(4)]
values = torch.randn(4, 8)
scale = q1.shape[-1] ** -0.5
map1 = torch.softmax(q1 @ k1.T * scale, dim=-1)
map2 = torch.softmax(q2 @ k2.T * scale, dim=-1)
output = (map1 - 0.8 * map2) @ values
print(output.shape)

Implementações de produção podem utilizar kernels otimizados de PyTorch scaled dot-product attention e avaliar cuidadosamente memória, throughput e estabilidade numérica.

Link to this sectionBenefícios e desenvolvimentos recentes#

Os experimentos originais relataram uma recuperação de chaves mais forte, aprendizado in-context, modelagem de sequências longas e taxas mais baixas de alucinação em LLMs do que modelos convencionais correspondentes. No entanto, a redução do ruído de atenção não garante uma saída factual.

Trabalhos recentes incluem o Shared DIFF Transformer, eficiente em termos de parâmetros, o método DEX do NeurIPS 2025 para adaptar modelos pré-treinados, e a Differential Attention Adaptation, uma submissão ao ICLR 2026 que adiciona comportamento diferencial durante o fine-tuning. O estudo do Integral Transformer também alerta que a remoção excessiva de ruído pode descartar contextos úteis. (arxiv.org)

Link to this sectionAplicações no Mundo Real#

IA de documentos e conversação: No processamento de linguagem natural, a differential attention pode ajudar sistemas de perguntas e respostas e de sumarização a localizar uma frase crítica em meio a documentos longos e ruidosos.

Perguntas e respostas visuais: O estudo de 2025 sobre Differential Multimodal Transformers aplicou o mecanismo a entradas de texto-imagem, melhorando a recuperação de informações ruidosas. Isso é relevante para aprendizado multimodal e vision-language models. (arxiv.org)

Previsão e visão: A previsão de demanda de passageiros com ADFormer explora a differential attention para análise de séries temporais, enquanto o Linear Differential Vision Transformer de 2025 adapta ideias diferenciais contrastivas para Vision Transformers. A pesquisa fundamental sobre Vision Transformer fornece um contexto útil. (arxiv.org)

Link to this sectionTermos relacionados e melhores práticas#

Um Differential Transformer não é um Diffusion Transformer, que gera imagens ou outros dados através de difusão, nem um sensor linear variável diferencial físico.

Para visão computacional, trate a differential attention como uma opção de pesquisa emergente e compare-a com arquiteturas estabelecidas, como o RT-DETR e o Ultralytics YOLO26, focado em edge. Utilize parâmetros, dados de treinamento, latência e orçamentos de memória correspondentes, e avalie o desempenho tanto em entradas limpas quanto em entradas deliberadamente ruidosas.