Tanh (ظل الزائدية)

تانه (الظل الزائدي) هو دالة تنشيط مستخدمة على نطاق واسع على نطاق واسع في مجال التعلم العميق الذي يقدم اللاخطية إلى للشبكات العصبية. رياضياً، تقوم الدالة بسحق قيم المدخلات إلى نطاق محدد بين -1 و1. يشبه هذا المنحنى على شكل حرف "S" دالة الدالة السيجيمية لكنه يقدم مزايا مميزة بسبب خرجها المتمركز حول الصفر. من خلال تعيين المدخلات السالبة إلى مخرجات سالبة بقوة والمدخلات الموجبة إلى مخرجات موجبة بقوة تساعد دالة تانه في نمذجة الأنماط المعقدة بشكل أكثر فعالية من دالة الانحدار الخطي البسيط، مما يجعلها مكونًا أساسيًا في تاريخ الذكاء الاصطناعي.

كيف يعمل Tanh

الدور الأساسي ل Tanh هو تحديد خرج الخلية العصبية بناءً على مدخلاتها المرجحة. إنه يحوّل أي مدخلات ذات قيمة حقيقية إلى نطاق محدود من [-1، 1]. وتُعرف هذه الخاصية باسم "التمركز الصفري"، مما يعني أن أي أن متوسط قيم الخرج أقرب إلى الصفر مقارنةً بدوال مثل دالة سيغمويد التي تُخرج قيمًا بين 0 و 1.

تعد البيانات المتمركزة حول الصفر أمرًا بالغ الأهمية لكفاءة خوارزميات التحسين مثل نزول التدرج العشوائي (SGD). أثناء الترحيل العكسي، تسمح عمليات التنشيط المتمركزة حول الصفر تسمح للتدرجات بالتحرك في اتجاهات موجبة أو سالبة بحرية أكبر، مما يمنع سلوك "التعرج" في تحديثات الوزن التي يمكن أن تبطئ تدريب النموذج. للتعمق أكثر في هذه الديناميكيات, توفر ملاحظات CS231n لجامعة ستانفورد CS231n نظرة عامة تقنية ممتازة.

دالة تانه متاحة بسهولة في الأطر الحديثة. فيما يلي مثال قابل للتشغيل باستخدام PyTorch لتوضيح كيفية تحويل المدخلات إلى النطاق [-1, 1].

import torch
import torch.nn as nn

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Create a sample tensor with negative, zero, and positive values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Apply Tanh: Values are squashed between -1 and 1
output = tanh(input_data)
print(f"Output: {output}")
# Output: tensor([-0.9640, -0.4621,  0.0000,  0.4621,  0.9640])

مقارنة مع وظائف التنشيط ذات الصلة

يتطلب فهم متى يجب استخدام تانه تمييزها عن دوال التنشيط الشائعة الأخرى الموجودة في المسرد.

• تانه مقابل السيني: كلاهما له شكل على شكل S، لكن الدالة السيجيمية تقصر الخرج على [0، 1]. غالباً ما يجعل نطاق تانه من [-1, 1] وتدرجه الأكثر انحداراً مفضلاً للطبقات المخفية، لأنه يخفف من مشكلة إزاحة التحيز التي تسببها البيانات غير الصفرية المركز.
• تانه ضد ريلو في حين أن تانه قوية، إلا أنها تعاني من مشكلة تلاشي التدرج مشكلة تلاشي التدرج، حيث تصبح التدرجات تصبح صفرًا تقريبًا في حالة المدخلات الكبيرة جدًا أو الصغيرة جدًا، مما يوقف التعلّم في الشبكات العميقة. تتفادى ReLU هذه المشكلة من خلال الحفاظ على التدرجات ثابتة للمدخلات الموجبة. البنى الحديثة مثل YOLO11 عادةً ما تُفضِّل ReLU أو SiLU لكفاءتها الحسابية وقدرتها على تدريب نماذج أعمق.

التطبيقات في الذكاء الاصطناعي وتعلم الآلة

على الرغم من ظهور ReLU، لا يزال تانه حيويًا بالنسبة لبنى ومهام محددة.

الشبكات العصبية المتكررة (RNNs) والبرمجة اللغوية العصبية

كان تانه تاريخياً دالة التفعيل القياسية ل الشبكات العصبية المتكررة (RNNs) و وشبكات الذاكرة قصيرة المدى الطويلة (LSTM). في معالجة اللغة الطبيعية (NLP) مثل الترجمة الآلية أو توليد النصوص ينظم تانه تدفق المعلومات من خلال خلايا ذاكرة الشبكة، مما يضمن عدم انفجار القيم أثناء انتشارها عبر الزمن.

شبكات الخصومة التوليدية (GANs)

في شبكات الخصومة التوليدية (GANs)، كثيرًا ما يُستخدم تانه في الطبقة الأخيرة من نموذج المولد. فهو يقيس قيم البكسل الناتجة من الصور المولدة للصور المُولَّدة إلى نطاق معياري [-1, 1]، مما يساعد على استقرار عملية التدريب العدائي ضد المميِّز. يمكنك أن ترى هذه البنية في الأعمال الأساسية مثل ورقة ورقة DCGAN.

تحليل المشاعر (Sentiment Analysis)

بالنسبة لنماذج تحليل المشاعر البسيطة، يمكن أن يعمل تانه بمثابة تنشيط الإخراج لتعيين درجات المشاعر مباشرةً إلى سلسلة متصلة، حيث يمثل -1 شعورًا سلبيًا للغاية سلبيًا للغاية، و0 يمثل شعورًا محايدًا، و1+1 يمثل شعورًا إيجابيًا للغاية. هذا التعيين البديهي يجعل من السهل تفسير تنبؤات النموذج على مجموعات بيانات مثل تلك الموجودة على Kaggle.

في حين أن أحدث نماذج الرؤية الحاسوبية مثل YOLO11 قد انتقلت نحو الدوال غير المحدودة ل يبقى تانه أداةً حاسمة في مجموعة أدوات مهندس التعلّم العميق، خاصةً بالنسبة للمهام التي تتطلب مخرجات محدودة ومتمحورة حول الصفر.