Differential Transformer

يُعد Differential Transformer، والذي يُسمى أيضًا DIFF Transformer، بنية بحثية تعدل بنية Transformer القياسية لتقليل المعلومات المشتتة أو غير ذات الصلة في آلية الانتباه الخاصة بها. تم تقديمه في عام 2024 ونُشر في ICLR 2025، وهو يحسب الفرق بين خريطتي انتباه، مما يساعد النموذج على تضخيم الإشارات المفيدة مع إلغاء الضوضاء المشتركة. يستهدف مشروع Microsoft Research Differential Transformer الأصلي نماذج اللغة بشكل أساسي وليس المستشعرات الفيزيائية. (microsoft.com)

Link to this sectionكيف يعمل الانتباه التفاضلي#

يقوم الانتباه الذاتي القياسي بمقارنة الاستعلامات والمفاتيح، ويطبق تطبيع softmax، ويستخدم الأوزان غير السالبة الناتجة لدمج القيم. يقوم الانتباه التفاضلي بإنشاء خريطتي softmax منفصلتين وطرح نسخة معدلة من الخريطة الثانية من الأولى:

output = (attention_map_1 - lambda x attention_map_2) x values

هنا، يتم تعلم lambda. يسمح الطرح بأوزان انتباه سالبة، والتي يمكنها قمع الرموز (tokens) التي تعتبرها كلتا الخريطتين متشابهتين. يوسع هذا المبادئ الواردة في ورقة Attention Is All You Need الأصلية، وهو ذو أهمية خاصة للنماذج ذات نافذة سياق كبيرة. (arxiv.org)

يوضح هذا مثال PyTorch softmax القابل للتنفيذ العملية الأساسية:

import torch

q1, q2, k1, k2 = [torch.randn(4, 8) for _ in range(4)]
values = torch.randn(4, 8)
scale = q1.shape[-1] ** -0.5
map1 = torch.softmax(q1 @ k1.T * scale, dim=-1)
map2 = torch.softmax(q2 @ k2.T * scale, dim=-1)
output = (map1 - 0.8 * map2) @ values
print(output.shape)

قد تستخدم تطبيقات الإنتاج أنوية PyTorch scaled dot-product attention المحسنة، وتجري تقييمًا دقيقًا للذاكرة، والإنتاجية، والاستقرار العددي.

Link to this sectionالفوائد والتطورات الأخيرة#

أبلغت التجارب الأصلية عن استرجاع أقوى للمفاتيح، وتعلم ضمن السياق، ونمذجة التسلسلات الطويلة، ومعدلات أقل من هلوسة LLM مقارنة بالنماذج التقليدية المماثلة. ومع ذلك، فإن تقليل ضوضاء الانتباه لا يضمن مخرجات واقعية.

تشمل الأعمال الأخيرة Shared DIFF Transformer الفعال في استخدام المعلمات، وطريقة NeurIPS 2025 DEX لتكييف النماذج المدربة مسبقًا، وDifferential Attention Adaptation، وهو مقترح لـ ICLR 2026 يضيف سلوكًا تفاضليًا أثناء الضبط الدقيق. كما تحذر دراسة Integral Transformer من أن إزالة الضوضاء المفرطة قد تؤدي إلى تجاهل سياق مفيد. (arxiv.org)

Link to this sectionتطبيقات العالم الحقيقي#

الذكاء الاصطناعي للمستندات والمحادثة: في معالجة اللغات الطبيعية، يمكن أن يساعد الانتباه التفاضلي أنظمة الإجابة على الأسئلة والتلخيص في تحديد جملة بالغة الأهمية من بين مستندات طويلة ومليئة بالضوضاء.

الإجابة على الأسئلة المرئية: طبقت دراسة Differential Multimodal Transformers لعام 2025 الآلية على مدخلات النصوص والصور، مما أدى إلى تحسين استرجاع المعلومات المليئة بالضوضاء. هذا ذو صلة بـ التعلم متعدد الوسائط ونماذج الرؤية واللغة. (arxiv.org)

التنبؤ والرؤية: يستكشف ADFormer passenger-demand forecasting الانتباه التفاضلي لـ تحليل السلاسل الزمنية، بينما يكيف Linear Differential Vision Transformer لعام 2025 الأفكار التفاضلية التباينية لـ Vision Transformers. يوفر بحث Vision Transformer التأسيسي سياقًا مفيدًا. (arxiv.org)

Link to this sectionالمصطلحات ذات الصلة وأفضل الممارسات#

لا يُعد Differential Transformer هو Diffusion Transformer، الذي يقوم بإنشاء صور أو بيانات أخرى من خلال الانتشار، ولا هو مستشعر محول تفاضلي متغير خطي فيزيائي.

بالنسبة لرؤية الكمبيوتر، تعامل مع الانتباه التفاضلي كخيار بحثي ناشئ وقارنه بالبنى الراسخة مثل RT-DETR وUltralytics YOLO26 الموجه للحافة. استخدم معلمات وبيانات تدريب وزمن وصول وميزانيات ذاكرة متطابقة، وقم بتقييم الأداء على المدخلات النظيفة والمدخلات المليئة بالضوضاء بشكل متعمد.