Attention Mechanism

آلية الانتباه هي تقنية أساسية في الذكاء الاصطناعي (AI) تحاكي القدرة الإدراكية البشرية على التركيز على تفاصيل محددة مع تجاهل المعلومات غير ذات الصلة. وفي سياق التعلم العميق (DL)، تسمح هذه الآلية للشبكة العصبية (NN) بتعيين مستويات مختلفة من الأهمية، أو "الأوزان"، لأجزاء مختلفة من بيانات الإدخال ديناميكيًا. فبدلاً من معالجة صورة أو جملة بأكملها بنفس القدر من التركيز، يتعلم النموذج الانتباه إلى السمات الأكثر أهمية—مثل كلمة معينة في جملة لفهم السياق، أو كائن متميز في مشهد مرئي معقد. هذا الاختراق هو القوة الدافعة وراء معمارية Transformer، التي أحدثت ثورة في مجالات تتراوح من معالجة اللغات الطبيعية (NLP) إلى الرؤية الحاسوبية (CV) المتقدمة.

Link to this sectionكيف يعمل الانتباه#

صُممت آليات الانتباه في الأصل لحل قيود الذاكرة في الشبكات العصبية المتكررة (RNNs)، وهي تعالج مشكلة تلاشي التدرج عن طريق إنشاء روابط مباشرة بين الأجزاء البعيدة في تسلسل البيانات. غالبًا ما توصف العملية باستخدام تشبيه الاسترجاع الذي يتضمن ثلاثة مكونات: الاستعلامات (Queries)، والمفاتيح (Keys)، والقيم (Values).

• الاستعلام (Query (Q)): يمثل ما يبحث عنه النموذج حاليًا (على سبيل المثال، موضوع الجملة).
• المفتاح (Key (K)): يعمل كمعرف للمعلومات المتاحة في الإدخال.
• القيمة (Value (V)): تحتوي على محتوى المعلومات الفعلي.

من خلال مقارنة الاستعلام مقابل مفاتيح مختلفة، يحسب النموذج درجة الانتباه. تحدد هذه الدرجة مقدار ما يتم استرجاعه من القيمة واستخدامه لتكوين المخرجات. وهذا يسمح للنماذج بالتعامل مع التبعيات طويلة المدى بفعالية، وفهم العلاقات بين نقاط البيانات بغض النظر عن المسافة بينها.

Link to this sectionتطبيقات العالم الحقيقي#

مكنت آليات الانتباه بعضًا من أبرز التطورات في التكنولوجيا الحديثة.

• الترجمة الآلية: تعتمد أنظمة مثل Google Translate على الانتباه لمحاذاة الكلمات بين اللغات. عند ترجمة "The black cat" (بالإنجليزية) إلى "Le chat noir" (بالفرنسية)، يجب على النموذج قلب ترتيب الصفة والموصوف. يسمح الانتباه للمفكك (decoder) بالتركيز على "black" عند إنشاء "noir" وعلى "cat" عند إنشاء "chat"، مما يضمن الدقة النحوية.
• تحليل الصور الطبية: في الرعاية الصحية، تساعد خرائط الانتباه أطباء الأشعة من خلال تسليط الضوء على المناطق المشبوهة في صور الأشعة السينية أو الرنين المغناطيسي. على سبيل المثال، عند تشخيص الشذوذ في مجموعات بيانات أورام الدماغ، يركز النموذج قوة المعالجة لديه على أنسجة الورم مع تصفية أنسجة الدماغ السليمة، مما يحسن دقة التشخيص.
• المركبات ذاتية القيادة: تستخدم السيارات ذاتية القيادة الانتباه البصري لتحديد أولويات عناصر الطريق المهمة. في وسط شارع مزدحم، يركز النظام بشكل كبير على المشاة وإشارات المرور—معاملًا إياها كإشارات عالية الأولوية—مع إيلاء اهتمام أقل لعناصر الخلفية الساكنة مثل السماء أو المباني.

Link to this sectionالانتباه مقابل الالتفاف (Convolution)#

من المهم التمييز بين الانتباه و الشبكات العصبية الالتفافية (CNNs). بينما تعالج CNNs البيانات محليًا باستخدام نافذة ثابتة (نواة) لاكتشاف الحواف والقوام، يعالج الانتباه البيانات عالميًا، رابطًا كل جزء من الإدخال بكل جزء آخر.

• الانتباه الذاتي (Self-Attention): نوع محدد من الانتباه حيث ينظر النموذج إلى نفسه لفهم السياق داخل تسلسل واحد.
• الكفاءة: يمكن أن تكون نماذج الانتباه الخالص مكلفة من الناحية الحسابية (تعقيد تربيعي). تستخدم تقنيات التحسين الحديثة مثل Flash Attention أجهزة GPU بفعالية أكبر لتسريع التدريب.

بينما تم تحسين نماذج متطورة مثل Ultralytics YOLO26 لـ الاستنتاج في الوقت الفعلي باستخدام هياكل CNN متقدمة، تستخدم معماريات هجينة مثل RT-DETR (محول الكشف في الوقت الفعلي) الانتباه بشكل صريح لتحقيق دقة عالية. يمكن تدريب ونشر كلا النوعين من النماذج بسهولة باستخدام منصة Ultralytics.

Link to this sectionمثال برمجي#

يوضح مثال Python التالي كيفية إجراء الاستنتاج باستخدام RT-DETR، وهي معمارية نموذج تعتمد بشكل أساسي على آليات الانتباه لـ كشف الكائنات.

from ultralytics import RTDETR

# Load a pre-trained RT-DETR model which uses attention mechanisms
# This model captures global context effectively compared to pure CNNs
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image URL
results = model("https://ultralytics.com/images/bus.jpg")

# Print the number of detections found via transformer attention
print(f"Detected {len(results[0].boxes)} objects using attention-based detection.")