Differential Transformer

Differential Transformer(DIFF Transformer라고도 함)는 Transformer 표준 구조를 수정하여 attention mechanism 내의 주의를 산만하게 하거나 관련 없는 정보를 줄이기 위한 연구용 아키텍처입니다. 2024년에 도입되어 ICLR 2025에서 발표된 이 기술은 두 개의 attention map 간의 차이를 계산하여 모델이 유용한 신호를 증폭하고 공유된 노이즈를 상쇄하도록 돕습니다. 원본 Microsoft Research Differential Transformer 프로젝트는 물리적 센서보다는 주로 언어 모델을 대상으로 합니다. (microsoft.com)

Link to this sectionDifferential Attention 작동 방식#

표준 self-attention은 쿼리와 키를 비교하고 softmax normalization을 적용한 다음, 결과로 나온 음수가 아닌 가중치를 사용하여 값을 결합합니다. Differential attention은 두 개의 개별 softmax map을 생성하고 첫 번째에서 두 번째의 스케일 조정 버전을 뺍니다.

output = (attention_map_1 - lambda x attention_map_2) x values

여기서 lambda는 학습됩니다. 뺄셈을 사용하면 음의 attention 가중치가 허용되므로 두 맵에서 유사하게 간주되는 토큰을 억제할 수 있습니다. 이는 원본 Attention Is All You Need 논문의 원칙을 확장한 것이며, context window가 큰 모델에 특히 적합합니다. (arxiv.org)

이 실행 가능한 PyTorch softmax 예제는 핵심 작동 방식을 보여줍니다.

import torch

q1, q2, k1, k2 = [torch.randn(4, 8) for _ in range(4)]
values = torch.randn(4, 8)
scale = q1.shape[-1] ** -0.5
map1 = torch.softmax(q1 @ k1.T * scale, dim=-1)
map2 = torch.softmax(q2 @ k2.T * scale, dim=-1)
output = (map1 - 0.8 * map2) @ values
print(output.shape)

프로덕션 구현 시 최적화된 PyTorch scaled dot-product attention 커널을 사용하고 메모리, 처리량, 수치적 안정성을 신중하게 벤치마킹할 수 있습니다.

Link to this section이점 및 최근 개발 동향#

초기 실험에서는 일치하는 기존 모델보다 더 강력한 키 검색, 인컨텍스트 학습, 긴 시퀀스 모델링 및 낮은 LLM hallucination 비율을 보고했습니다. 하지만 attention 노이즈가 줄어든다고 해서 사실에 기반한 결과가 보장되는 것은 아닙니다.

최근 연구로는 매개변수 효율적인 Shared DIFF Transformer, 사전 학습된 모델을 조정하기 위한 NeurIPS 2025 DEX 방법, 그리고 파인 튜닝 중에 차등 동작을 추가하는 ICLR 2026 제출 논문인 Differential Attention Adaptation이 있습니다. Integral Transformer 연구에서도 과도한 노이즈 제거가 유용한 문맥을 삭제할 수 있다고 경고합니다. (arxiv.org)

Link to this section실제 애플리케이션 사례#

문서 및 대화형 AI: natural language processing 분야에서 differential attention은 질의응답 및 요약 시스템이 길고 노이즈가 많은 문서 내에서 중요한 문장을 찾는 데 도움을 줄 수 있습니다.

시각적 질의응답: 2025년 Differential Multimodal Transformers 연구는 이 메커니즘을 텍스트-이미지 입력에 적용하여 노이즈가 많은 정보 검색 기능을 향상했습니다. 이는 multimodal learning 및 vision-language models와 관련이 있습니다. (arxiv.org)

예측 및 비전: ADFormer 승객 수요 예측은 time-series analysis를 위한 differential attention을 탐구하며, 2025년 Linear Differential Vision Transformer는 대조적 차등 아이디어를 Vision Transformers에 적용합니다. 기초적인 Vision Transformer 연구가 유용한 문맥을 제공합니다. (arxiv.org)

Link to this section관련 용어 및 모범 사례#

Differential Transformer는 확산을 통해 이미지나 기타 데이터를 생성하는 Diffusion Transformer가 아니며, 물리적 linear variable differential transformer 센서도 아닙니다.

컴퓨터 비전의 경우, differential attention을 새로운 연구 옵션으로 다루고 RT-DETR 및 엣지 중심의 Ultralytics YOLO26과 같은 기존 아키텍처와 비교하십시오. 일치하는 매개변수, 학습 데이터, 지연 시간, 메모리 예산을 사용하고 깨끗한 입력과 의도적으로 노이즈가 섞인 입력 모두에서 성능을 평가하십시오.