تانه (الظل الزائد)

تانه (الظل الزائدي) هي دالة تنشيط مستخدمة على نطاق واسع في الشبكات العصبية. وهي دالة رياضية تقوم بسحق قيم المدخلات في نطاق يتراوح بين -1 و1. بصرياً، تنتج الدالة منحنى على شكل حرف "S"، على غرار الدالة السيجيمية. خاصيتها الرئيسية هي أن مخرجاتها تتمحور حول الصفر، مما يعني أن المدخلات السالبة يتم تحويلها إلى مخرجات سالبة والمدخلات الموجبة يتم تحويلها إلى مخرجات موجبة. يمكن أن تساعد هذه الخاصية في تسريع تقارب خوارزميات التحسين مثل نزول التدرج أثناء عملية تدريب النموذج.

كيف يعمل تانه

في نموذج التعلّم العميق، تقرر دالة التنشيط ما إذا كان ينبغي تنشيط خلية عصبية أم لا من خلال حساب مجموع مرجح وإضافة المزيد من التحيز معه. تأخذ دالة تانه أي رقم ذي قيمة حقيقية وتعيّنه إلى النطاق [-1, 1]. يتم تعيين القيم الموجبة الكبيرة بالقرب من 1، ويتم تعيين القيم السالبة الكبيرة بالقرب من -1، ويتم تعيين القيم القريبة من الصفر إلى قيم قريبة من الصفر. تعد هذه الطبيعة المتمركزة حول الصفر ميزة مهمة، حيث تساعد في الحفاظ على مخرجات الطبقات من التحول بعيدًا جدًا في اتجاه واحد، مما يجعل التدريب أكثر استقرارًا. للحصول على شرح تقني متعمق، تقدم مصادر من مؤسسات مثل ستانفورد ملاحظات مفصلة عن دوال التنشيط.

مقارنة مع وظائف التنشيط الأخرى

غالبًا ما تتم مقارنة تانه بدوال تنشيط أخرى، ولكل منها نقاط قوتها وضعفها:

• تانه مقابل السيني: كلتا الدالتين لها شكل S متشابه. ومع ذلك، تُخرِج دالة Sigmoid قيمًا في النطاق، بينما تُخرِج دالة تانه قيمًا في [-1، 1]. ونظرًا لأن مخرجات دالة تانه تتمحور حول الصفر، فغالبًا ما تُفضَّل على دالة سيغمويد في الطبقات المخفية للشبكة، حيث تميل إلى تحقيق تقارب أسرع.
• تانه مقابل ريلو أصبحت ReLU ومتغيراتها، مثل Leaky ReLU و SiLU، الخيار الافتراضي في العديد من بنيات الرؤية الحاسوبية الحديثة. على عكس تانه، فإن ReLU ليست مكلفة من الناحية الحسابية وتساعد على التخفيف من مشكلة التدرج المتلاشي، حيث تصبح التدرجات صغيرة للغاية أثناء الترحيل العكسي. ومع ذلك، فإن تانه لا تزال ذات قيمة في سياقات محددة حيث يكون الإخراج المحدود مطلوبًا. يمكنك رؤية استخدام وظائف التنشيط الحديثة في نماذج مثل Ultralytics YOLO11.

تطبيقات في الذكاء الاصطناعي والتعلم الآلي

لطالما كان تانه خياراً شائعاً على مر التاريخ، خاصة في:

• الشبكات العصبية المتكررة (RNNs): يشيع استخدام تانه في الحالات الخفية للشبكات العصبية المتكررة (RNNs) ومتغيراتها مثل شبكات الذاكرة طويلة المدى القصيرة الأجل (LSTM) ، خاصةً في مهام معالجة اللغات الطبيعية (NLP). يساعد مداها المحدود في تنظيم تدفق المعلومات داخل الاتصالات المتكررة. راجع فهم LSTMs لمزيد من التفاصيل.
• تحليل المشاعر: في نماذج البرمجة اللغوية العصبية القديمة، ساعد تانه في تعيين الميزات المستخرجة من النص (على سبيل المثال، تضمينات الكلمات التي تمت معالجتها بواسطة شبكة RNN) إلى نطاق متواصل، يمثل قطبية المشاعر من السلبية (-1) إلى الإيجابية (+1). يمكنك العثور على مجموعات البيانات ذات الصلة بتحليل المشاعر على منصات مثل Kaggle.
• أنظمة التحكم والروبوتات: في التعلم المعزز (RL)، يُستخدم تانه أحيانًا كدالة تنشيط نهائية للسياسات التي تُخرج إجراءات مستمرة محصورة ضمن نطاق محدد (على سبيل المثال، التحكم في عزم دوران المحرك بين -1 و +1). وغالبًا ما تُستخدم أطر مثل Gymnasium (المعروفة سابقًا باسم OpenAI Gym) في أبحاث تعلم الروبوتات.
• الطبقات المخفية: يمكن استخدامه في الطبقات المخفية للشبكات المغذية، على الرغم من أن متغيرات ReLU أصبحت الآن أكثر شيوعًا. يمكن اختيارها عندما تكون خاصية التمركز الصفري مفيدة بشكل خاص للمشكلة أو البنية المحددة. يمكنك استكشاف أداء البنى المختلفة في صفحات مقارنة النماذج الخاصة بنا.

في حين أن البنى الحديثة مثل Ultralytics YOLO غالبًا ما تستخدم وظائف مثل SiLU لمهام مثل اكتشاف الأجسام، فإن فهم تانه يظل ذا قيمة. فهو يوفر سياقًا لتطور وظائف التنشيط وقد يستمر في الظهور في تصاميم شبكات محددة أو أنظمة قديمة. توفر أطر عمل مثل PyTorch و TensorFlow تطبيقات قياسية لـ Tanh. يمكنك تدريب وتجربة وظائف تنشيط مختلفة باستخدام منصات مثل Ultralytics HUB. يسرد الموقع الإلكتروني Papers with Code أيضًا الأبحاث التي تستخدم تانه.