آلية الانتباه

كيف يعمل الانتباه

تقوم آلية الانتباه في جوهرها بحساب مجموعة من أوزان الانتباه للمدخلات. تحدد هذه الأوزان مقدار التركيز الذي يجب أن يضعه النموذج على كل عنصر من عناصر تسلسل المدخلات أو الصورة. على سبيل المثال، عند ترجمة جملة طويلة، يحتاج النموذج إلى التركيز على كلمات مصدر محددة لتوليد الكلمة التالية الصحيحة في الترجمة. وقبل آليات الانتباه، كانت النماذج مثل الشبكات العصبية المتكررة التقليدية (RNNs) تعاني قبل آليات الانتباه من مشكلة التسلسلات الطويلة، وغالبًا ما "تنسى" الأجزاء السابقة من المدخلات - وهي مشكلة تُعرف باسم مشكلة التدرج المتلاشي. يتغلب الانتباه على هذه المشكلة من خلال توفير اتصال مباشر بجميع أجزاء المدخلات، مما يسمح للنموذج بالرجوع إلى أي جزء من التسلسل حسب الحاجة، بغض النظر عن طوله. كانت هذه القدرة على التعامل مع التبعيات بعيدة المدى إنجازًا كبيرًا، وقد تم تفصيلها بشكل شهير في الورقة البحثية "الانتباه هو كل ما تحتاجه".

الانتباه مقابل الانتباه الذاتي

على الرغم من استخدامه في كثير من الأحيان بالتبادل، إلا أنه من المهم التمييز بين آلية الانتباه العام والانتباه الذاتي.

• يتضمن الانتباه عادةً تسلسلين مختلفين. على سبيل المثال، في الترجمة الآلية، يحدد الانتباه العلاقة بين الجملة المصدر والجملة الهدف.
• يعمل الانتباه الذاتي على تسلسل واحد، مما يسمح للنموذج بتقييم أهمية الكلمات أو العناصر المختلفة داخل نفس التسلسل. يساعد هذا النموذج على فهم السياق وتركيب الجملة والعلاقات، مثل تحديد أن كلمة "هو" في جملة ما تشير إلى اسم معين مذكور سابقًا. الانتباه الذاتي هو اللبنة الأساسية لبنية المحول.

التطبيقات الواقعية

تُعد آليات الانتباه جزءًا لا يتجزأ من العديد من تطبيقات الذكاء الاصطناعي الحديثة:

• الترجمة الآلية: في خدمات مثل خدمة الترجمة من Google Translate، يساعد الانتباه النموذج على التركيز على كلمات المصدر ذات الصلة عند توليد كل كلمة في اللغة الهدف. وهذا يحسن بشكل كبير من جودة الترجمة وطلاقتها، حيث يلتقط الفروق الدقيقة التي كانت مفقودة في السابق.
• اكتشاف الأجسام والرؤية الحاسوبية: يمكن لنماذج مثل Ultralytics YOLO11 استخدام آليات الانتباه لتركيز الموارد الحاسوبية على المناطق المهمة داخل الصورة. وهذا يعزز دقة الكشف مع الحفاظ على الكفاءة اللازمة للاستدلال في الوقت الحقيقي. وهذا أمر بالغ الأهمية للتطبيقات في المركبات ذاتية القيادة والروبوتات.
• تلخيص النص: يساعد الانتباه في تحديد الجمل أو العبارات الرئيسية في مستند طويل لإنشاء ملخصات موجزة، وهي ميزة تستخدمها أدوات مثل SummarizeBot.
• شرح الصور: كما هو موصوف في بحث من جامعة ستانفورد، تتعلم النماذج التركيز على الأشياء أو المناطق البارزة في الصورة عند إنشاء تعليقات نصية وصفية.
• تحليل الصور الطبية: يمكن للانتباه تسليط الضوء على المناطق الحرجة في الفحوصات الطبية (مثل الأورام في التصوير بالرنين المغناطيسي) للتشخيص أو التحليل، مما يساعد أخصائيي الأشعة. يمكنك استكشاف أمثلة في مجموعات بيانات التصوير الطبي العامة.

تسمح منصات مثل Ultralytics HUB للمستخدمين بتدريب النماذج المتقدمة والتحقق من صحتها ونشرها، بما في ذلك النماذج التي تتضمن آليات الانتباه. وغالباً ما تستفيد هذه النماذج من أوزان النماذج المدربة مسبقاً والمتاحة على منصات مثل Hugging Face، كما أنها مبنية باستخدام أطر عمل قوية مثل PyTorch و TensorFlow. لقد دفع تطوير الانتباه حدود ما هو ممكن في مجال التعلم الآلي، مما جعله حجر الزاوية في أبحاث الذكاء الاصطناعي الحديثة والتطوير في مؤسسات مثل DeepMind.