Attention Mechanism

آلية الانتباه عملية في شبكة عصبية تُنشئ كل مخرج على هيئة متوسط موزون لسمات المدخلات، مع احتساب الأوزان وفق مدى صلة كل مدخل بالعنصر الجاري معالجته. وتُقاس الصلة بمقارنة متجه الاستعلام بمتجهات المفاتيح، وتُستخدم الدرجات الناتجة لترجيح متجهات القيم المطابقة. وقد قُدّمت آلية الانتباه عام 2014 في مجال الترجمة الآلية، حيث أتاحت لمفكّك ترميز الشبكة العصبية المتكررة (RNN) الرجوع إلى كل كلمة في الجملة المصدر بدلًا من ضغط الجملة كاملةً في متجه واحد ذي طول ثابت. وقد بنى المحوّل الصادر عام 2017 معمارية كاملة قائمة على الانتباه، وأصبح الانتباه الآن العملية الأساسية في نماذج اللغة الكبيرة ومحوّلات الرؤية والعديد من نماذج الكشف عن الكائنات.

آلية عمل الانتباه#

تستخدم آلية الانتباه ثلاثة إسقاطات خطية متعلّمة لمدخلاتها. يصف الاستعلام (Q) ما يبحث عنه الرمز الحالي، ويصف كل مفتاح (K) ما يقدمه رمز ما، وتحمل كل قيمة (V) المحتوى الذي يُمرَّر. ويقارن النموذج الاستعلام بكل مفتاح، ويحوّل درجات المقارنة إلى أوزان، ثم يعيد المجموع الموزون للقيم. وعندما ينتج نموذج ترجمة «noir» مقابل «The black cat»، تحصل درجة الاستعلام في تلك الخطوة على أعلى قيمة عند المفتاح المقابل لكلمة «black»، رغم أن الصفة تأتي بعد الاسم في الفرنسية.

تنفّذ آلية الانتباه متعددة الرؤوس عدة حسابات من هذا النوع بالتوازي، باستخدام إسقاطات أقل أبعادًا مستقلة لكل منها، ثم تجمع النتائج. ويمكن عندئذٍ أن تتخصص الرؤوس المختلفة في علاقات مختلفة ضمن الطبقة نفسها.

انتباه حاصل الضرب النقطي المقيّس#

تُكتب آلية الانتباه في المحوّل بصيغة Attention(Q, K, V) = softmax(QKᵀ / √d_k) V. ويُقارَن كل استعلام بكل مفتاح باستخدام حاصل الضرب النقطي، ثم تُقسم الدرجات على الجذر التربيعي لبُعد المفتاح d_k كيلا تزداد مع حجم المتجه وتُشبِع دالة softmax. وتحول softmax درجات كل استعلام إلى أوزان مجموعها 1، ويكون المخرج هو المجموع الموزون لمتجهات القيم.

import torch
import torch.nn.functional as F

torch.manual_seed(0)

# ⁨الاستعلامات والمفاتيح والقيم لتسلسل من 4 رموز، لكل منها 8 أبعاد⁩
q, k, v = torch.randn(3, 4, 8).unbind(0)

# ⁨قيّم كل استعلام مقابل كل مفتاح، وقسّم الدرجات على sqrt(d_k)، ثم طبّع كل صف باستخدام softmax⁩
weights = (q @ k.T / k.shape[-1] ** 0.5).softmax(dim=-1)

# ⁨كل رمز في المخرج هو متوسط موزون لمتجهات القيم⁩
output = weights @ v

print("Attention weights of token 0:", [round(w, 3) for w in weights[0].tolist()])
print("Matches PyTorch SDPA:", torch.allclose(output, F.scaled_dot_product_attention(q, k, v), atol=1e-6))

يطبع [0.121, 0.741, 0.106, 0.032] وTrue: يستمد الرمز 0 نسبة 74% من مخرجه من متجه القيمة الخاص بالرمز 1، ومجموع أوزانه الأربعة يساوي 1، وتتطابق النتيجة المحسوبة يدويًا مع التنفيذ المدمج في PyTorch للعملية scaled_dot_product_attention، ويوجّه هذا التنفيذ العمليات الحسابية إلى نوى موفرة للذاكرة مثل FlashAttention على وحدات GPU المدعومة.

أنواع الانتباه#

• الانتباه الذاتي: تأتي الاستعلامات والمفاتيح والقيم كلها من التسلسل نفسه، لذا يجمع كل رمز السياق من جميع الرموز الأخرى. وهو الانتباه المستخدم في مشفّرات المحوّل ومحوّلات الرؤية (ViT).
• الانتباه المتقاطع: تأتي الاستعلامات من تسلسل واحد، بينما تأتي المفاتيح والقيم من تسلسل آخر. ينتبه مفكّك ترميز الترجمة إلى الجملة المصدر، وينتبه نموذج انتشار لتحويل النص إلى صورة إلى الموجّه، كما تنتبه استعلامات الكائنات في مفكّك ترميز DETR إلى سمات الصورة.
• الانتباه السببي: يمنع قناعٌ كل رمز من الانتباه إلى الرموز اللاحقة، فيولّد نموذج اللغة النص من اليسار إلى اليمين، ويمكن تخزين مفاتيح الرموز السابقة وقيمها في ذاكرة KV المؤقتة.
• الانتباه الفعّال: يقلل الانتباه المتناثر وانتباه النافذة المنزلقة والانتباه الخطي التكلفة التربيعية لمقارنة كل رمز بكل رمز آخر، بينما لا يأخذ الانتباه القابل للتشوه سوى بضع نقاط متعلّمة حول كل موقع مرجعي.
• انتباه القنوات في الشبكات العصبية الالتفافية (CNNs): تعيد شبكات الضغط والإثارة وزن قنوات خريطة السمات باستخدام متوسطها العام، وهو شكل بسيط من الانتباه شكّل أساس المشاركة الفائزة في تصنيف ILSVRC لعام 2017.

الانتباه مقابل الالتفاف#

تطبّق العملية الالتفافية المرشح الصغير نفسه في كل موضع، لذا يرى كل مخرج نافذة محلية ثابتة ولا تعتمد أوزانه على الصورة. أما الانتباه فيحسب أوزانه من المحتوى، ويمكنه ربط أي موضعين ضمن طبقة واحدة. لكن تكلفته تزداد مع مربع عدد الرموز. إذ تنتج صورة بأبعاد 640×640 عند الخطوة 32 شبكة 20×20 تضم 400 رمز و160,000 زوج من الاستعلامات والمفاتيح، بينما تضم شبكة الخطوة 8 للصورة نفسها 6,400 رمز ونحو 41 مليون زوج. ويضع YOLO26 كتل الانتباه في مواضع مناسبة: فكتلة C2PSA التي تنهي العمود الفقري وكتلة C3k2 واحدة في العنق مزوّدة بالانتباه تنفّذان كلتاهما الانتباه الذاتي متعدد الرؤوس على خريطة السمات ذات الخطوة 32 وأبعاد 20×20، بينما تظل كل طبقة أعلى دقةً التفافية.