Differential Transformer

Differential Transformer, также называемый DIFF Transformer, — это исследовательская архитектура, которая модифицирует стандартный Transformer для уменьшения влияния отвлекающей или нерелевантной информации в его attention mechanism. Представленная в 2024 году и опубликованная на ICLR 2025, она вычисляет разницу между двумя картами внимания, помогая модели усиливать полезные сигналы при одновременном подавлении общего шума. Оригинальный проект Microsoft Research Differential Transformer в первую очередь нацелен на языковые модели, а не на физические датчики. (microsoft.com)

Link to this sectionКак работает Differential Attention#

Стандартный self-attention сравнивает запросы (queries) и ключи (keys), применяет softmax normalization и использует полученные неотрицательные веса для объединения значений. Differential attention создает две отдельные карты softmax и вычитает масштабированную версию второй из первой:

output = (attention_map_1 - lambda x attention_map_2) x values

Здесь lambda обучается. Вычитание позволяет использовать отрицательные веса внимания, которые могут подавлять токены, воспринимаемые обеими картами схожим образом. Это расширяет принципы оригинальной статьи Attention Is All You Need и особенно актуально для моделей с большим context window. (arxiv.org)

Этот исполняемый PyTorch softmax example иллюстрирует основную операцию:

import torch

q1, q2, k1, k2 = [torch.randn(4, 8) for _ in range(4)]
values = torch.randn(4, 8)
scale = q1.shape[-1] ** -0.5
map1 = torch.softmax(q1 @ k1.T * scale, dim=-1)
map2 = torch.softmax(q2 @ k2.T * scale, dim=-1)
output = (map1 - 0.8 * map2) @ values
print(output.shape)

В производственных реализациях могут использоваться оптимизированные ядра PyTorch scaled dot-product attention, а также проводиться тщательное бенчмаркирование памяти, пропускной способности и числовой стабильности.

Link to this sectionПреимущества и последние разработки#

Первоначальные эксперименты показали более сильное извлечение ключей, обучение в контексте, моделирование длинных последовательностей и более низкие показатели LLM hallucination по сравнению с аналогичными традиционными моделями. Однако снижение шума внимания не гарантирует фактическую точность вывода.

Последние работы включают параметрически эффективный Shared DIFF Transformer, метод NeurIPS 2025 DEX для адаптации предобученных моделей и Differential Attention Adaptation, заявку на ICLR 2026, добавляющую дифференциальное поведение во время дообучения. Исследование Integral Transformer study также предупреждает, что чрезмерное удаление шума может привести к отсечению полезного контекста. (arxiv.org)

Link to this sectionРеальные приложения#

Документальный и разговорный ИИ: В natural language processing механизм differential attention может помочь системам ответов на вопросы и суммаризации находить важные предложения среди длинных и зашумленных документов.

Визуальные ответы на вопросы: Исследование 2025 года Differential Multimodal Transformers study применило этот механизм к текстово-изобразительным входным данным, улучшив извлечение зашумленной информации. Это актуально для multimodal learning и vision-language models. (arxiv.org)

Прогнозирование и зрение: ADFormer passenger-demand forecasting исследует использование differential attention для time-series analysis, в то время как Linear Differential Vision Transformer 2025 года адаптирует контрастивные дифференциальные идеи к Vision Transformers. Фундаментальное исследование Vision Transformer research предоставляет полезный контекст. (arxiv.org)

Link to this sectionСвязанные термины и лучшие практики#

Differential Transformer — это не Diffusion Transformer, который генерирует изображения или другие данные с помощью диффузии, и не физический linear variable differential transformer sensor.

Для компьютерного зрения рассматривай differential attention как перспективный исследовательский вариант и сравнивай его с устоявшимися архитектурами, такими как RT-DETR и ориентированный на edge-устройства Ultralytics YOLO26. Используй сопоставимые параметры, обучающие данные, задержки и бюджеты памяти, а также оценивай производительность как на чистых, так и на специально зашумленных данных.