Differential Transformer

المحوّل التفاضلي، أو DIFF Transformer، هو معمارية محوّل تحسب فيها رؤوس الانتباه خريطتي انتباه باستخدام softmax، ثم تطرح إحداهما من الأخرى لإلغاء الوزن الذي توزعه الخريطتان على السياق غير ذي الصلة. وقدمه Tianzhu Ye وLi Dong وFuru Wei وزملاؤهم في Microsoft Research وجامعة Tsinghua في أكتوبر 2024 ضمن ورقة المحوّل التفاضلي، التي عُرضت شفهيًا في ICLR 2025. ويستعير التصميم فكرته من المضخمات التفاضلية وسماعات الرأس المانعة للضوضاء، التي تطرح إشارتين لإزالة الضجيج المشترك بينهما. وفي نمذجة اللغة، احتاج DIFF Transformer إلى نحو 65% فقط من معاملات المحوّل القياسي أو رموز تدريبه لتحقيق الخسارة نفسها: فقد عادل نموذج ذو 6.8 مليارات معامل محوّلًا ذا 11 مليار معامل.

آلية عمل الانتباه التفاضلي#

يمنح الانتباه الذاتي القياسي كل رمز وزنًا غير سالب، لذا يقع بعض الوزن دائمًا على رموز غير مهمة، وهو ما يسميه المؤلفون ضوضاء الانتباه. يقسم الانتباه التفاضلي إسقاطات الاستعلام والمفتاح لكل رأس إلى نصفين، ويحسب خريطة softmax لكل زوج، ثم يدمج القيم على النحو التالي: (map1 − λ × map2) × V. تمنح الخريطتان أوزانًا للرموز غير المهمة نفسها، لذا يلغي الطرح هذه الأوزان، بينما يبقى الوزن الذي تمنحه map1 وحدها. وبما أن مجموع كل خريطة يساوي 1، فإن مجموع كل صف في الناتج يساوي 1 − λ، وقد تكون الأوزان الفردية سالبة:

import torch

torch.manual_seed(0)
n, d, lam = 6, 8, 0.8  # 6 tokens, head size 8, lambda near the paper's 0.8 initialization
q1, k1, q2, k2 = torch.randn(4, n, d)
v = torch.randn(n, 2 * d)  # values are twice as wide as each query-key pair

# Two ordinary softmax attention maps from separate query and key projections
map1 = torch.softmax(q1 @ k1.T / d**0.5, dim=-1)
map2 = torch.softmax(q2 @ k2.T / d**0.5, dim=-1)

# Subtracting cancels weight that both maps place on the same tokens
diff = map1 - lam * map2
out = diff @ v
print(f"Each row sums to {diff.sum(dim=-1)[0]:.2f}; {(diff < 0).sum().item()} of {n * n} weights are negative")

يطبع Each row sums to 0.20; 13 of 36 weights are negative، وهما خاصيتان لا يمكن أن تمتلكهما أي خريطة انتباه تستخدم softmax. في النموذج الحقيقي، تُتعلّم λ عبر أربعة متجهات صغيرة، وتبدأ بالقيمة 0.8 − 0.6 × exp(−0.3 × (l − 1)) للطبقة l، لذا تبدأ الطبقات الأعمق بقيمة أقرب إلى 0.8. يُطبَّع خرج كل رأس على حدة، وهو ما تسميه الورقة GroupNorm، ثم يُضرب في (1 − λ عند التهيئة) للحفاظ على أحجام التدرجات مماثلة لما في Transformer قياسي. يستخدم النموذج نصف عدد الرؤوس، مع قيم يبلغ عرض كل منها ضعف العرض، لذلك يطابق عدد معلماته عدد معلمات خط الأساس. كل خريطة هي انتباه softmax عادي، لذا تعيد التطبيقات استخدام نوى الانتباه السريع، وكان معدل إنتاجية التدريب على وحدات GPU من طراز H100 أقل بنسبة 6% إلى 12% مقارنةً بـ Transformer بالحجم نفسه.

الفوائد المبلّغ عنها#

في اختبار الإبرة في كومة قش يضم 6 إبر وسؤالين ضمن نافذة سياق من 4K رمز، حقق DIFF Transformer نتيجة 0.85 مقابل 0.55 لـ Transformer قياسي. وأرجع تحليل الانتباه في الورقة ذلك إلى التركيز: إذ وجّه 0.27 إلى 0.40 من انتباهه إلى الإجابة، مقابل 0.03 إلى 0.09 لدى Transformer. كما أنتج هلوسات أقل في تلخيص النصوص والإجابة عن الأسئلة، وكان في التعلم داخل السياق باستخدام عدد قليل من الأمثلة أدق وأقل حساسية لترتيب الأمثلة.

كما انخفضت القيم الشاذة للتنشيط. بلغ أكبر سجل انتباه لديه 38.8، مقابل 318.0 لدى Transformer قياسي، وبلغ أكبر تنشيط للحالة المخفية 1,688 مقابل 3,609. وعند تكميم سجلات الانتباه إلى 4 بتات، حقق دقة Transformer قياسي عند 6 بتات وتفوّق على Transformer ذي 4 بتات بنحو 25% في الدقة.

تكتسب هذه النتيجة أهمية في تكميم النماذج، لأن عددًا قليلًا من التنشيطات القصوى يحدد النطاق الذي يجب أن تشترك فيه كل قيمة أخرى. وينطبق الأمر نفسه على نماذج الرؤية: عند تصدير Ultralytics YOLO26 باستخدام quantize=8، يعاير المُصدِّر نطاقات التنشيط على صور من مجموعة البيانات data، ويوصي بما لا يقل عن 300 صورة منها، بينما يُبقي quantize="w8a16" الأوزان عند 8 بتات والتنشيطات عند 16 بتًا لصادرات LiteRT وCore ML وQNN.

مقارنة DIFF Transformer بالمصطلحات ذات الصلة#

• Transformer الانتشاري (DiT): Transformer يحل محل U-Net في نماذج الانتشار لتوليد الصور ومقاطع الفيديو.
• الخصوصية التفاضلية: ضمان رياضي لخصوصية بيانات التدريب.
• الانتباه المتناثر: لا يحسب الدرجات إلا لجزء ثابت من أزواج الرموز، ويضبط مسبقًا وزن كل زوج آخر على الصفر.
• المحوّل التفاضلي ذو المتغير الخطي: مستشعر كهربائي يقيس الإزاحة الخطية.