آلية الانتباه

آلية الانتباه هي تقنية في الذكاء الاصطناعي (AI) تسمح للشبكات العصبية بالتركيز على أجزاء محددة من البيانات المدخلة أثناء معالجتها، تمامًا مثلما يركز البشر بصريًا على كائن معين في مشهد معقد. بدلاً من التعامل مع جميع البيانات المدخلة بنفس الأهمية، تقوم آلية الانتباه بتعيين أوزان مختلفة لأجزاء مختلفة من البيانات، مما يسمح للنموذج "بالاهتمام" بالمعلومات الأكثر صلة. أصبح هذا المفهوم حجر الزاوية في التعلم العميق (DL)، مما أدى إلى تحقيق اختراقات مهمة في مجالات مثل معالجة اللغة الطبيعية (NLP) والرؤية الحاسوبية المتقدمة الرؤية الحاسوبية (CV).

كيف يعمل الانتباه

في البنى التقليدية مثل الشبكات العصبية المتكررة (RNNs)، غالبًا ما كانت النماذج تواجه صعوبة في الاحتفاظ بالمعلومات من بداية التسلسلات الطويلة بحلول الوقت الذي تصل فيه إلى النهاية — وهو تحدٍ يُعرف باسم تلاشي التدرج . يحل الانتباه هذه المشكلة عن طريق إنشاء اتصالات مباشرة بين جميع أجزاء المدخلات والمخرجات، بغض النظر عن مسافتها في التسلسل.

تعمل الآلية عن طريق حساب مجموعة من "درجات الانتباه" أو الأوزان. عندما يحاول النموذج توقع الكلمة التالية في جملة أو تحديد كائن في صورة، فإنه يستخدم هذه الدرجات لتحديد أجزاء المدخلات الأكثر صلة في تلك اللحظة المحددة.

• الاستعلام والمفتاح والقيمة: غالبًا ما يتم شرح العملية باستخدام تشبيه نظام الاسترجاع. يقوم النموذج بإنشاء استعلام (ما يبحث عنه)، ومقارنته بالمفاتيح (واصفات أجزاء الإدخال)، واسترجاع القيم المقابلة (المحتوى الفعلي).
• متجه السياق: يتم دمج هذه القيم المرجحة لتشكيل متجه سياق، والذي يمنح النموذج ملخصًا مركّزًا للمعلومات ذات الصلة.

وقد اشتهر هذا النهج بفضل الورقة البحثية الرائدة "الانتباه هو كل ما تحتاجه"، التي قدمت Transformer .

أنواع الانتباه

في حين أن المفهوم الأساسي يظل كما هو، فإن الاختلافات المختلفة في الانتباه تخدم أغراضًا محددة في نماذج التعلم الآلي (ML) .

• الانتباه الذاتي: يُعرف أيضًا باسم الانتباه الداخلي، ويربط هذا الآلية بين المواقع المختلفة لتسلسل واحد لحساب تمثيل التسلسل نفسه. على سبيل المثال، في الجملة "لم يعبر الحيوان الشارع لأنه كان متعبًا جدًا "، يسمح الانتباه الذاتي للنموذج بربط "هو" بـ "الحيوان".
• Flash Attention: خوارزمية تحسين تجعل حساب الانتباه أسرع بكثير وأكثر كفاءة في استخدام الذاكرة على وحدات معالجة الرسومات دون التضحية بالدقة. وهو أمر بالغ الأهمية لتدريب نماذج اللغة الكبيرة (LLMs).
• الاهتمام العالمي مقابل الاهتمام المحلي: يراعي الاهتمام العالمي جميع مواقع الإدخال في وقت واحد، بينما يركز الاهتمام المحلي فقط على مجموعة فرعية من المواقع لتقليل تكلفة الحساب.

تطبيقات واقعية

آليات الانتباه هي المحرك وراء العديد من أقوى تطبيقات الذكاء الاصطناعي اليوم.

1. الترجمة الآلية: خدمات مثل Google تعتمد بشكل كبير على الانتباه. عند ترجمة جملة من English الفرنسية، يجب أن يقوم النموذج بمحاذاة الكلمات بشكل صحيح (على سبيل المثال، عكس ترتيب الصفة والاسم ). يتيح الانتباه للنموذج التركيز على الكلمات المصدر ذات الصلة لكل خطوة من خطوات إنشاء الترجمة .
2. الكشف البصري عن الكائنات: في الرؤية الحاسوبية، تساعد الانتباه النماذج على التركيز على المناطق البارزة في الصورة مع تجاهل الضوضاء في الخلفية. البنى المتقدمة مثل Vision Transformer (ViT) تستخدم هذا لالتقاط السياق العام. في حين أن النماذج الفعالة مثل Ultralytics تستخدم بشكل أساسي التلافيف من أجل السرعة، فإن النهج والنماذج الهجينة الأحدث مثل RT-DETR تدمج الانتباه لتحسين الدقة في المشاهد المعقدة.
3. التشخيص الطبي: في تحليل الصور الطبية، يمكن أن تسلط خرائط الانتباه الضوء على حالات شاذة محددة، مثل الأورام في مجموعات بيانات أورام الدماغ، مما يساعد أخصائيي الأشعة على تحديد المناطق الحرجة للتشخيص.

مثال على الكود: استخدام النماذج القائمة على الانتباه

الأطر الحديثة مثل PyTorch توفر اللبنات الأساسية للانتباه، والمكتبات عالية المستوى تجعل استخدامها سهلاً. يوضح المثال التالي كيفية تحميل نموذج قائم على الانتباه مثل RT-DETR محول الكشف في الوقت الحقيقي) باستخدام ultralytics حزمة لإجراء الاستدلال.

from ultralytics import RTDETR

# Load a pre-trained RT-DETR model which uses attention mechanisms
# This model is excellent for capturing global context in images
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image URL
results = model("https://ultralytics.com/images/bus.jpg")

# Print the number of detections found
print(f"Detected {len(results[0].boxes)} objects using transformer attention.")

الانتباه مقابل التداخل

من المفيد التمييز بين الانتباه و الشبكات العصبية التلافيفية (CNNs).

• التلافيف: معالجة البيانات محليًا باستخدام نافذة ذات حجم ثابت (نواة). وهي ممتازة في الكشف عن الميزات المحلية مثل الحواف والأنسجة، ولكنها قد تواجه صعوبة في ربط الأجزاء البعيدة من الصورة دون تكديس عميق . وهي عادةً ما تكون أسرع وأكثر كفاءة للأجهزة الطرفية، ولهذا السبب فإن نماذج مثل YOLO11 للتطبيقات في الوقت الفعلي.
• انتباه: يعالج البيانات بشكل شامل، مما يسمح للنموذج بربط أي جزأين من المدخلات بغض النظر عن المسافة. وهذا يوفر فهمًا أفضل للسياق، ولكنه عادةً ما يأتي بتكاليف حسابية أعلى ، تُعرف باسم التعقيد التربيعي.

التطورات الحديثة تعمل على سد هذه الفجوة. على سبيل المثال، يضم YOLO26 تصميمات معمارية متقدمة توفر الوعي السياقي الذي يرتبط غالبًا بالانتباه مع الحفاظ على السرعة الفائقة اللازمة الاستدلال في الوقت الحقيقي على Ultralytics .