آلية الانتباه الذاتي (Self-Attention)

الانتباه الذاتي هو آلية تمكن النموذج من تقدير أهمية العناصر المختلفة داخل تسلسل إدخال واحد. بدلاً من معاملة كل جزء من الإدخال على قدم المساواة، فإنه يسمح للنموذج بالتركيز بشكل انتقائي على الأجزاء الأكثر صلة عند معالجة عنصر معين. هذه القدرة ضرورية لفهم السياق والتبعيات طويلة المدى والعلاقات داخل البيانات، وتشكل حجر الأساس للعديد من بنيات الذكاء الاصطناعي (AI) الحديثة، وخاصة المحولات (Transformer). تم تقديمه بشكل مشهور في الورقة البحثية الأساسية "الانتباه هو كل ما تحتاجه (Attention Is All You Need)"، والتي أحدثت ثورة في مجال معالجة اللغة الطبيعية (NLP).

كيف يعمل الانتباه الذاتي (Self-Attention)

في جوهرها، تعمل آلية الانتباه الذاتي عن طريق تعيين "درجة انتباه" لكل عنصر آخر في تسلسل الإدخال بالنسبة إلى العنصر الذي تتم معالجته حاليًا. يتم تحقيق ذلك عن طريق إنشاء ثلاثة متجهات لكل عنصر إدخال: استعلام (Q) ومفتاح (K) وقيمة (V).

1. الاستعلام: يمثل العنصر الحالي الذي "يبحث عن" السياق.
2. المفتاح (Key): يمثل جميع العناصر في التسلسل التي يمكن مقارنة الاستعلام بها للعثور على المعلومات ذات الصلة.
3. القيمة: تمثل المحتوى الفعلي لكل عنصر، والذي سيتم تجميعه بناءً على درجات الانتباه.

بالنسبة إلى استعلام معين، تحسب الآلية مدى تشابهه مع جميع المفاتيح في التسلسل. ثم يتم تحويل درجات التشابه هذه إلى أوزان (غالبًا باستخدام دالة softmax)، والتي تحدد مقدار التركيز الذي يجب وضعه على قيمة كل عنصر. الناتج النهائي للاستعلام هو مجموع مرجح لجميع القيم، مما يخلق تمثيلًا جديدًا لهذا العنصر مُثرى بسياق من التسلسل بأكمله. هذه العملية هي جزء أساسي من كيفية عمل نماذج اللغة الكبيرة (LLMs). يمكن العثور على شرح مرئي ممتاز لعملية Q-K-V هذه على موارد مثل مدونة Jay Alammar.

الانتباه الذاتي مقابل آلية الانتباه

الانتباه الذاتي هو نوع معين من آلية الانتباه. والفرق الرئيسي هو مصدر متجهات الاستعلام (Query) والمفتاح (Key) والقيمة (Value).

• الانتباه الذاتي: يتم اشتقاق جميع المتجهات الثلاثة (Q، K، V) من نفس تسلسل الإدخال نفسه. يتيح ذلك للنموذج تحليل العلاقات الداخلية داخل جملة أو صورة واحدة.
• الانتباه العام (أو الانتباه المتبادل): قد يأتي متجه الاستعلام من تسلسل واحد بينما تأتي متجهات المفتاح والقيمة من تسلسل آخر. هذا شائع في مهام التسلسل إلى التسلسل مثل الترجمة الآلية، حيث يولي جهاز فك التشفير (الذي يقوم بإنشاء النص المترجم) اهتمامًا لتمثيل المشفر للنص المصدر.

التطبيقات في الذكاء الاصطناعي ورؤية الكمبيوتر

في حين أن الانتباه الذاتي (Self-Attention) اشتهر لأول مرة في معالجة اللغة الطبيعية (NLP) لمهام مثل تلخيص النصوص والترجمة، فقد أثبت فعاليته العالية في الرؤية الحاسوبية (CV) أيضًا.

• معالجة اللغة الطبيعية: في جملة مثل "التقط الروبوت المفتاح لأنها كانت ثقيلة"، يسمح الانتباه الذاتي (self-attention) للنموذج بربط "ها" بشكل صحيح بـ "المفتاح" بدلاً من "الروبوت". هذا الفهم أساسي للنماذج مثل BERT و GPT-4.
• الرؤية الحاسوبية: يطبق نموذج محول الرؤية (ViT) الانتباه الذاتي على أجزاء من الصورة، مما يمكنه من تعلم العلاقات بين الأجزاء المختلفة من المشهد المرئي لمهام مثل تصنيف الصور. تتضمن بعض نماذج اكتشاف الكائنات أيضًا وحدات قائمة على الانتباه لتحسين خرائط الميزات وتحسين الدقة. في حين أن بعض النماذج مثل YOLO12 تستخدم الانتباه، فإننا نوصي بـ Ultralytics YOLO11 القوي والفعال لمعظم حالات الاستخدام.

التوجهات المستقبلية

تستمر الأبحاث في تحسين آليات الانتباه الذاتي، بهدف تحقيق كفاءة حسابية أكبر (على سبيل المثال، طرق مثل FlashAttention ومتغيرات الانتباه المتفرقة) وقابلية تطبيق أوسع. مع تزايد تعقيد نماذج الذكاء الاصطناعي، من المتوقع أن يظل الانتباه الذاتي تقنية أساسية، تدفع التقدم في مجالات من تطبيقات الذكاء الاصطناعي المتخصصة مثل الروبوتات إلى السعي لتحقيق الذكاء الاصطناعي العام (AGI). تسهل الأدوات والمنصات مثل Ultralytics HUB تدريب و نشر النماذج التي تتضمن هذه التقنيات المتقدمة، والتي غالبًا ما تكون متاحة عبر مستودعات مثل Hugging Face وتم تطويرها باستخدام أطر عمل مثل PyTorch و TensorFlow.