Activation Function

دالة التنشيط هي مكوّن أساسي في الشبكة العصبية (NN) تحدد مخرجات العصبون استنادًا إلى مجموعة من المدخلات. وغالبًا ما توصف بأنها «حارس البوابة»، إذ تقرر ما إذا كان ينبغي أن يكون العصبون نشطًا—أي يساهم في تنبؤ الشبكة—أو غير نشط. ومن دون هذه العمليات الرياضية، ستتصرف الشبكة العصبية مثل نموذج الانحدار الخطي البسيط، وتعجز عن استيعاب الأنماط المعقدة بغض النظر عن عمقها. ومن خلال إدخال اللاخطية، تُمكّن دوال التنشيط نماذج التعلم العميق (DL) من تعلم بُنى معقدة، مثل المنحنيات في الأرقام المكتوبة بخط اليد أو الحالات الشاذة الدقيقة في تحليل الصور الطبية.

الوظائف الأساسية والأنواع الشائعة#

يتمثل الدور الأساسي لدالة التنشيط في تحويل إشارات الإدخال إلى نطاق إخراج مطلوب وإدخال التعقيد إلى خرائط السمات التي تولدها الشبكة. ويختار المطورون دوالًا محددة استنادًا إلى موضع الطبقة وأهداف عملية تدريب النموذج.

• ReLU (الوحدة الخطية المصححة): الدالة الأكثر استخدامًا حاليًا في الطبقات المخفية. تُخرج الإدخال مباشرةً إذا كان موجبًا، وتُخرج صفرًا خلاف ذلك. وتسرّع هذه البساطة عملية الحساب وتساعد على الحد من مشكلة تلاشي التدرج، وهي تحدٍ شائع عند تدريب البنى العميقة.
• Sigmoid: «تضغط» هذه الدالة قيم الإدخال إلى نطاق يتراوح بين 0 و1. وتُستخدم كثيرًا في الطبقة النهائية لمهام التصنيف الثنائي، مثل تحديد ما إذا كانت رسالة بريد إلكتروني بريدًا عشوائيًا، إذ يمكن تفسير الناتج على أنه درجة احتمالية.
• Softmax: تُعد أساسية للمشكلات متعددة الفئات، إذ تحوّل Softmax متجهًا من الأعداد إلى توزيع احتمالي يكون مجموع جميع قيمه مساويًا لواحد. وهذا معيار شائع في تحديات تصنيف الصور، مثل تلك الموجودة في مجموعة بيانات ImageNet.
• SiLU (الوحدة الخطية لـ Sigmoid): دالة ناعمة غير رتيبة تُستخدم غالبًا في البنى المتقدمة جدًا، مثل YOLO26. وتتيح SiLU تدفقًا أفضل للتدرجات مقارنةً بـ ReLU في النماذج العميقة جدًا، مما يساهم في تحقيق دقة أعلى.

التطبيقات الواقعية في الذكاء الاصطناعي#

يؤثر اختيار دالة التنشيط مباشرةً في أداء أنظمة الذكاء الاصطناعي المنشورة في العمليات اليومية وزمن استدلالها.

1. اكتشاف الأجسام في قطاع التجزئة: في أنظمة الدفع الآلي، تحدد نماذج اكتشاف الأجسام المنتجات الموجودة على الحزام الناقل. وتستخدم الطبقات المخفية دوالًا فعّالة مثل ReLU أو SiLU لمعالجة السمات المرئية بسرعة. وتحدد طبقة الإخراج الفئة (مثل «تفاحة» أو «حبوب الإفطار») وإحداثيات الصندوق المحيط، مما يتيح للنظام احتساب الفاتورة تلقائيًا. ويُعد ذلك أمرًا بالغ الأهمية بالنسبة إلى الذكاء الاصطناعي في قطاع التجزئة لضمان السرعة ورضا العملاء.

2. تحليل المشاعر: في معالجة اللغة الطبيعية (NLP)، تحلل النماذج مراجعات العملاء لتقييم مستوى رضاهم. وقد تعالج الشبكة بيانات نصية وتستخدم دالة Sigmoid في الطبقة النهائية لإخراج درجة للمشاعر تتراوح بين 0 (سلبية) و1 (إيجابية)، مما يساعد الشركات على فهم ملاحظات العملاء على نطاق واسع باستخدام التعلم الآلي (ML).

مثال على التنفيذ#

يمكنك تصور كيفية تحويل دوال التنشيط المختلفة للبيانات باستخدام مكتبة PyTorch. ويوضح مقتطف الشفرة التالي الفرق بين ReLU (التي تصفّر القيم السالبة) وSigmoid (التي تضغط القيم).

import torch
import torch.nn as nn

# Input data: negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])

# Apply ReLU: Negatives become 0, positives stay unchanged
relu_output = nn.ReLU()(data)
print(f"ReLU:    {relu_output}")
# Output: tensor([0., 0., 2.])

# Apply Sigmoid: Squashes values between 0 and 1
sigmoid_output = nn.Sigmoid()(data)
print(f"Sigmoid: {sigmoid_output}")
# Output: tensor([0.1192, 0.5000, 0.8808])

التمييز بين المفاهيم ذات الصلة#

من المهم التمييز بين دوال التنشيط والمكوّنات الرياضية الأخرى في مسار التعلم.

• دالة التنشيط مقابل دالة الخسارة: تعمل دالة التنشيط أثناء المرور الأمامي لتشكيل مخرجات العصبون. أما دالة الخسارة، مثل متوسط مربع الخطأ، فتحسب الخطأ بين التنبؤ والهدف الفعلي في نهاية المرور الأمامي.
• دالة التنشيط مقابل خوارزمية التحسين: بينما تحدد دالة التنشيط بنية المخرجات، يقرر المُحسِّن (مثل Adam أو الانحدار المتدرج العشوائي) كيفية تحديث أوزان النموذج لتقليل الخطأ الذي تحسبه دالة الخسارة.
• دالة التنشيط مقابل التعلم بالنقل: دوال التنشيط هي عمليات رياضية ثابتة ضمن طبقات الشبكة. أما التعلم بالنقل فهو تقنية تُكيَّف فيها بنية مدرّبة مسبقًا لمهمة جديدة، مع الحفاظ غالبًا على دوال التنشيط في البنية الأصلية، في حين تُضبط الأوزان بدقة على مجموعة بيانات مخصصة عبر منصة Ultralytics.

للتعمق أكثر في كيفية اندماج هذه الدوال ضمن أنظمة أكبر، استكشف توثيق PyTorch حول عمليات التنشيط غير الخطية أو اقرأ عن كيفية اعتماد مهام الرؤية الحاسوبية عليها لاستخراج السمات.