اكتشف كيف تُحدث آليات الانتباه ثورة في الذكاء الاصطناعي من خلال تعزيز معالجة اللغة الطبيعية ومهام الرؤية الحاسوبية مثل الترجمة واكتشاف الكائنات والمزيد!
آلية الانتباه هي تقنية مستخدمة في الشبكات العصبية تحاكي الانتباه المعرفي البشري. إنها تسمح للنموذج بالتركيز ديناميكيًا على الأجزاء الأكثر صلة من بيانات الإدخال عند إنتاج إخراج. بدلاً من معاملة جميع أجزاء الإدخال على قدم المساواة، يتعلم النموذج تعيين درجات "انتباه" مختلفة لكل جزء، وتضخيم تأثير المعلومات المهمة وتقليل تأثير البيانات غير ذات الصلة. لقد كان لهذه القدرة دور فعال في تحسين أداء النماذج عبر مجالات مختلفة، من معالجة اللغة الطبيعية (NLP) إلى الرؤية الحاسوبية (CV).
في جوهرها، تحسب آلية الانتباه مجموعة من أوزان الانتباه للإدخال. تحدد هذه الأوزان مقدار التركيز الذي يجب أن يضعه النموذج على كل عنصر من عناصر تسلسل الإدخال أو الصورة. على سبيل المثال، عند ترجمة جملة طويلة، يحتاج النموذج إلى التركيز على كلمات مصدر محددة لإنشاء الكلمة التالية الصحيحة في الترجمة. قبل آليات الانتباه، كانت النماذج مثل الشبكات العصبية المتكررة (RNNs) التقليدية تعاني من التسلسلات الطويلة، وغالبًا ما "تنسى" الأجزاء السابقة من الإدخال - وهي مشكلة تُعرف باسم مشكلة تلاشي التدرج. يتغلب الانتباه على ذلك من خلال توفير اتصال مباشر بجميع أجزاء الإدخال، مما يسمح للنموذج بالنظر إلى أي جزء من التسلسل حسب الحاجة، بغض النظر عن طوله. كانت هذه القدرة على التعامل مع التبعيات طويلة المدى بمثابة اختراق كبير، تم تفصيله بشكل مشهور في ورقة "الانتباه هو كل ما تحتاجه."
في حين يتم استخدامها بشكل تبادلي غالبًا، من المهم التمييز بين آلية الانتباه العامة والانتباه الذاتي (self-attention).
آليات الانتباه جزء لا يتجزأ من العديد من تطبيقات الذكاء الاصطناعي الحديثة:
تتيح منصات مثل Ultralytics HUB للمستخدمين تدريب النماذج المتقدمة والتحقق من صحتها و نشرها، بما في ذلك تلك التي تتضمن آليات الانتباه. غالبًا ما تستفيد هذه النماذج من أوزان النموذج المدربة مسبقًا والمتاحة على منصات مثل Hugging Face ويتم بناؤها باستخدام أُطر قوية مثل PyTorch و TensorFlow. لقد دفعت عملية تطوير الانتباه حدود ما هو ممكن في التعلم الآلي، مما جعلها حجر الزاوية في أبحاث وتطوير الذكاء الاصطناعي الحديثة في مؤسسات مثل DeepMind.
