Differential Transformer

Differential Transformer, или DIFF Transformer, — это архитектура трансформера, в которой головы механизма внимания вычисляют две карты внимания softmax и вычитают одну из другой, устраняя вес, который обе карты распределяют по нерелевантному контексту. Тяньчжу Е, Ли Дун, Фуру Вэй и их коллеги из Microsoft Research и Университета Цинхуа представили её в октябре 2024 года в работе Differential Transformer, вошедшей в устную программу ICLR 2025. Архитектура заимствует идею дифференциальных усилителей и наушников с шумоподавлением, которые вычитают два сигнала, устраняя общий для них шум. В задачах языкового моделирования DIFF Transformer требовалось около 65% параметров или обучающих токенов стандартного трансформера для достижения тех же потерь: модель с 6,8 миллиарда параметров показала результат на уровне трансформера с 11 миллиардами параметров.

Как работает дифференциальное внимание#

Стандартное самовнимание назначает каждому токену неотрицательный вес, поэтому часть веса всегда приходится на неважные токены — авторы называют это шумом внимания. Дифференциальное внимание делит проекции запросов и ключей каждой головы на две части, вычисляет карту softmax для каждой пары и объединяет значения по формуле (map1 − λ × map2) × V. Обе карты назначают веса одним и тем же неважным токенам, поэтому при вычитании эти веса компенсируются, а вес, назначенный только map1, сохраняется. Поскольку сумма каждой карты равна 1, сумма каждой строки результата равна 1 − λ, а отдельные веса могут быть отрицательными:

import torch

torch.manual_seed(0)
n, d, lam = 6, 8, 0.8  # 6 tokens, head size 8, lambda near the paper's 0.8 initialization
q1, k1, q2, k2 = torch.randn(4, n, d)
v = torch.randn(n, 2 * d)  # values are twice as wide as each query-key pair

# Two ordinary softmax attention maps from separate query and key projections
map1 = torch.softmax(q1 @ k1.T / d**0.5, dim=-1)
map2 = torch.softmax(q2 @ k2.T / d**0.5, dim=-1)

# Subtracting cancels weight that both maps place on the same tokens
diff = map1 - lam * map2
out = diff @ v
print(f"Each row sums to {diff.sum(dim=-1)[0]:.2f}; {(diff < 0).sum().item()} of {n * n} weights are negative")

Она выводит Each row sums to 0.20; 13 of 36 weights are negative — два свойства, которыми не может обладать ни одна карта внимания softmax. В реальной модели λ обучается с помощью четырёх небольших векторов и для слоя l изначально задаётся формулой 0.8 − 0.6 × exp(−0.3 × (l − 1)), поэтому более глубокие слои начинают со значения, более близкого к 0.8. Выход каждой головы нормализуется отдельно — в статье это называется GroupNorm, — а затем масштабируется на (1 − λ при инициализации), чтобы градиенты оставались того же порядка, что и в стандартном трансформере. В модели вдвое меньше голов, каждая из которых использует значения вдвое большей ширины, поэтому число параметров совпадает с базовой моделью. Каждая карта представляет собой обычное внимание softmax, поэтому реализации повторно используют ядра flash attention, а пропускная способность обучения на GPU H100 была на 6–12% ниже, чем у трансформера того же размера.

Заявленные преимущества#

В тесте иголка в стоге сена с 6 иголками и 2 вопросами в контекстном окне на 4K токенов DIFF Transformer набрал 0.85 против 0.55 у стандартного трансформера. Анализ внимания в статье связал это с фокусировкой: DIFF Transformer направлял на ответ 0.27–0.40 внимания, а трансформер — 0.03–0.09. Кроме того, он реже допускал галлюцинации при суммаризации текста и ответах на вопросы, а при контекстном обучении на малом числе примеров отвечал точнее и меньше зависел от порядка примеров.

Выбросы активаций тоже уменьшились. Максимальный логит внимания составил 38.8 против 318.0 у стандартного трансформера, а максимальная активация скрытого состояния — 1,688 против 3,609. При квантовании логитов внимания до 4 бит модель показала такую же точность, как стандартный трансформер с 6-битным представлением, и примерно на 25% превзошла 4-битный трансформер по точности.

Этот результат важен для квантования моделей, поскольку несколько экстремальных активаций задают диапазон, общий для всех остальных значений. Это относится и к моделям компьютерного зрения: при экспорте Ultralytics YOLO26 с помощью quantize=8 экспортёр калибрует диапазоны активаций на изображениях из набора данных data и рекомендует использовать не менее 300 изображений, а quantize="w8a16" оставляет веса 8-битными, а активации — 16-битными для экспорта в LiteRT, Core ML и QNN.

DIFF Transformer и похожие термины#

• Трансформер диффузии (DiT): Трансформер, который заменяет U-Net в моделях диффузии для генерации изображений и видео.
• Дифференциальная приватность: Математическая гарантия конфиденциальности обучающих данных.
• Разреженное внимание: Учитывает только фиксированное подмножество пар токенов и заранее обнуляет все остальные веса.
• Линейный переменный дифференциальный трансформатор: Электрический датчик, измеряющий линейное перемещение.