Attention Mechanism

تُعدّ آلية الانتباه تقنيةً أساسية في الذكاء الاصطناعي (AI) تحاكي القدرة الإدراكية البشرية على التركيز على تفاصيل محددة مع تجاهل المعلومات غير ذات الصلة. وفي سياق التعلّم العميق (DL)، تتيح هذه الآلية لـ الشبكة العصبية (NN) إسناد مستويات مختلفة من الأهمية، أو «الأوزان»، إلى أجزاء مختلفة من بيانات الإدخال بصورة ديناميكية. فبدلاً من معالجة صورة أو جملة كاملة بالتركيز نفسه، يتعلم النموذج الانتباه إلى السمات الأكثر أهمية، مثل كلمة محددة في جملة لفهم السياق، أو كائن مميز في مشهد بصري معقد. ويمثل هذا الإنجاز القوة الدافعة وراء بنية Transformer، التي أحدثت تحولاً جذرياً في مجالات تمتد من معالجة اللغة الطبيعية (NLP) إلى الرؤية الحاسوبية المتقدمة (CV).

كيف تعمل آلية الانتباه#

صُممت آليات الانتباه في الأصل لمعالجة قيود الذاكرة في الشبكات العصبية المتكررة (RNNs)، وهي تعالج مشكلة تلاشي التدرج من خلال إنشاء اتصالات مباشرة بين الأجزاء المتباعدة من تسلسل البيانات. وغالباً ما تُوصف العملية باستخدام تشبيه بالاسترجاع يتضمن ثلاثة مكونات: الاستعلامات والمفاتيح والقيم.

• الاستعلام (Q): يمثّل ما يبحث عنه النموذج حالياً (مثل موضوع الجملة).
• المفتاح (K): يعمل كمعرّف للمعلومات المتاحة في الإدخال.
• القيمة (V): تحتوي على المحتوى المعلوماتي الفعلي.

بمقارنة الاستعلام بمفاتيح مختلفة، يحسب النموذج درجة الانتباه. وتحدد هذه الدرجة مقدار القيمة الذي يُسترجع ويُستخدم لتكوين المخرجات. ويتيح ذلك للنماذج التعامل بفاعلية مع التبعيات طويلة المدى، وفهم العلاقات بين نقاط البيانات بغض النظر عن المسافة الفاصلة بينها.

التطبيقات الواقعية#

أتاحت آليات الانتباه بعضاً من أبرز التطورات في التكنولوجيا الحديثة.

• الترجمة الآلية: تعتمد أنظمة مثل Google Translate على الانتباه لمحاذاة الكلمات بين اللغات. عند ترجمة «The black cat» (الإنجليزية) إلى «Le chat noir» (الفرنسية)، يجب على النموذج عكس ترتيب الصفة والاسم. ويتيح الانتباه لوحدة فك الترميز التركيز على «black» عند إنشاء «noir»، وعلى «cat» عند إنشاء «chat»، مما يضمن الدقة النحوية.
• تحليل الصور الطبية: في مجال الرعاية الصحية، تساعد خرائط الانتباه أطباء الأشعة على إبراز المناطق المشبوهة في صور الأشعة السينية أو فحوصات MRI. فعلى سبيل المثال، عند تشخيص الشذوذات في مجموعات بيانات أورام الدماغ، يركز النموذج قدرته على المعالجة على نسيج الورم، مع تصفية أنسجة الدماغ السليمة، مما يحسن دقة التشخيص.
• المركبات الذاتية القيادة: تستخدم السيارات ذاتية القيادة الانتباه البصري لإعطاء الأولوية لعناصر الطريق المهمة. ففي شارع مزدحم، يركز النظام بدرجة كبيرة على المشاة وإشارات المرور، باعتبارها إشارات ذات أولوية عالية، بينما يولي اهتماماً أقل لعناصر الخلفية الثابتة مثل السماء أو المباني.

الانتباه مقابل الالتفاف#

من المهم التمييز بين الانتباه و**الشبكات العصبية الالتفافية (CNNs)**. فبينما تعالج CNNs البيانات محلياً باستخدام نافذة ثابتة (نواة) لاكتشاف الحواف والأنسجة، يعالج الانتباه البيانات عالمياً، رابطاً كل جزء من الإدخال بكل جزء آخر.

• الانتباه الذاتي: نوع محدد من الانتباه ينظر فيه النموذج إلى نفسه لفهم السياق ضمن تسلسل واحد.
• الكفاءة: يمكن أن تكون نماذج الانتباه الخالصة مكلفة حسابياً (بتعقيد تربيعي). وتستخدم تقنيات التحسين الحديثة مثل Flash Attention عتاد GPU بكفاءة أكبر لتسريع التدريب.

في حين أن النماذج المتطورة مثل Ultralytics YOLO26 مُحسّنة لإجراء الاستدلال في الوقت الحقيقي باستخدام بُنى CNN متقدمة، تستخدم البُنى الهجينة مثل RT-DETR (محوّل الكشف في الوقت الحقيقي) آلية الانتباه صراحةً لتحقيق دقة عالية. ويمكن تدريب كلا النوعين من النماذج ونشرهما بسهولة باستخدام منصة Ultralytics.

مثال على التعليمات البرمجية#

يوضح مثال Python التالي كيفية إجراء الاستدلال باستخدام RT-DETR، وهي بنية نموذج تعتمد اعتماداً أساسياً على آليات الانتباه من أجل اكتشاف الكائنات.

from ultralytics import RTDETR

# Load a pre-trained RT-DETR model which uses attention mechanisms
# This model captures global context effectively compared to pure CNNs
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image URL
results = model("https://ultralytics.com/images/bus.jpg")

# Print the number of detections found via transformer attention
print(f"Detected {len(results[0].boxes)} objects using attention-based detection.")