Differential Transformer

Differential Transformer, còn được gọi là DIFF Transformer, là một kiến trúc nghiên cứu giúp sửa đổi Transformer tiêu chuẩn để giảm bớt thông tin gây nhiễu hoặc không liên quan trong cơ chế chú ý (attention mechanism) của nó. Được giới thiệu vào năm 2024 và công bố tại ICLR 2025, nó tính toán sự khác biệt giữa hai bản đồ chú ý, giúp model khuếch đại các tín hiệu hữu ích trong khi loại bỏ nhiễu chung. Dự án Microsoft Research Differential Transformer gốc chủ yếu nhắm vào các model ngôn ngữ thay vì các cảm biến vật lý. (microsoft.com)

Link to this sectionDifferential Attention hoạt động như thế nào#

Self-attention tiêu chuẩn so sánh các truy vấn (queries) và khóa (keys), áp dụng chuẩn hóa softmax, và sử dụng các trọng số không âm thu được để kết hợp các giá trị (values). Differential attention tạo ra hai bản đồ softmax riêng biệt và trừ một phiên bản được điều chỉnh tỷ lệ của bản đồ thứ hai từ bản đồ đầu tiên:

output = (attention_map_1 - lambda x attention_map_2) x values

Ở đây, lambda là tham số được học. Phép trừ cho phép các trọng số chú ý âm, có thể triệt tiêu các token mà cả hai bản đồ đều coi là tương tự nhau. Điều này mở rộng các nguyên tắc trong bài báo Attention Is All You Need gốc và đặc biệt phù hợp với các model có context window lớn. (arxiv.org)

Ví dụ PyTorch softmax có thể chạy này minh họa thao tác cốt lõi:

import torch

q1, q2, k1, k2 = [torch.randn(4, 8) for _ in range(4)]
values = torch.randn(4, 8)
scale = q1.shape[-1] ** -0.5
map1 = torch.softmax(q1 @ k1.T * scale, dim=-1)
map2 = torch.softmax(q2 @ k2.T * scale, dim=-1)
output = (map1 - 0.8 * map2) @ values
print(output.shape)

Các triển khai sản xuất có thể sử dụng các kernel PyTorch scaled dot-product attention được tối ưu hóa và đánh giá kỹ lưỡng về bộ nhớ, thông lượng và tính ổn định số học.

Link to this sectionLợi ích và những phát triển gần đây#

Các thí nghiệm ban đầu báo cáo khả năng truy xuất khóa, học trong ngữ cảnh (in-context learning), mô hình hóa chuỗi dài mạnh mẽ hơn và tỷ lệ LLM hallucination thấp hơn so với các model truyền thống tương đương. Tuy nhiên, việc giảm nhiễu chú ý không đảm bảo đầu ra sẽ đúng sự thật.

Các nghiên cứu gần đây bao gồm Shared DIFF Transformer hiệu quả về tham số, phương pháp NeurIPS 2025 DEX để thích nghi các model đã được huấn luyện trước, và Differential Attention Adaptation, một bài đệ trình ICLR 2026 bổ sung hành vi vi phân trong quá trình fine-tuning. Nghiên cứu Integral Transformer cũng cảnh báo rằng việc loại bỏ nhiễu quá mức có thể làm mất đi bối cảnh hữu ích. (arxiv.org)

Link to this sectionCác ứng dụng trong thực tế#

Tài liệu và AI hội thoại: Trong xử lý ngôn ngữ tự nhiên (NLP), differential attention có thể giúp các hệ thống hỏi đáp và tóm tắt định vị được câu quan trọng trong các tài liệu dài, nhiều nhiễu.

Trả lời câu hỏi bằng hình ảnh: Nghiên cứu Differential Multimodal Transformers năm 2025 đã áp dụng cơ chế này vào các đầu vào văn bản-hình ảnh, cải thiện việc truy xuất thông tin nhiễu. Điều này có liên quan đến multimodal learning và vision-language models. (arxiv.org)

Dự báo và thị giác: Dự báo nhu cầu hành khách ADFormer khám phá differential attention cho phân tích chuỗi thời gian, trong khi Linear Differential Vision Transformer năm 2025 điều chỉnh các ý tưởng vi phân tương phản cho Vision Transformers. Nghiên cứu nền tảng Vision Transformer cung cấp bối cảnh hữu ích. (arxiv.org)

Link to this sectionCác thuật ngữ liên quan và thực tiễn tốt nhất#

Differential Transformer không phải là Diffusion Transformer, vốn tạo ra hình ảnh hoặc dữ liệu khác thông qua quá trình khuếch tán, cũng không phải là cảm biến vật lý linear variable differential transformer.

Đối với thị giác máy tính, hãy coi differential attention là một tùy chọn nghiên cứu mới nổi và so sánh nó với các kiến trúc đã được thiết lập như RT-DETR và Ultralytics YOLO26 tập trung vào thiết bị biên (edge). Sử dụng các tham số, dữ liệu huấn luyện, độ trễ và ngân sách bộ nhớ tương đương, đồng thời đánh giá hiệu suất trên cả dữ liệu sạch và dữ liệu bị làm nhiễu có chủ đích.