Activation Function

دالة التنشيط هي مكون أساسي في الشبكة العصبية (NN) التي تحدد مخرج العصبون بناءً على مجموعة من المدخلات. غالبًا ما توصف بأنها "حارس البوابة"، حيث تقرر ما إذا كان يجب أن يكون العصبون نشطًا—مما يعني أنه يساهم في تنبؤ الشبكة—أو غير نشط. بدون هذه العمليات الرياضية، ستتصرف الشبكة العصبية مثل نموذج انحدار خطي بسيط، غير قادر على استيعاب الأنماط المعقدة بغض النظر عن عمقه. من خلال إدخال اللاخطية، تُمكّن دوال التنشيط نماذج التعلم العميق (DL) من تعلم هياكل معقدة، مثل المنحنيات في الأرقام المكتوبة بخط اليد أو الشذوذات الدقيقة في تحليل الصور الطبية.

Link to this sectionالوظيفة الأساسية والأنواع الشائعة#

الدور الرئيسي لدالة التنشيط هو تعيين إشارات المدخلات إلى نطاق مخرجات مرغوب وإدخال التعقيد في خرائط الميزات التي تولدها الشبكة. يختار المطورون دوال محددة بناءً على موقع الطبقة وأهداف عملية تدريب النموذج.

• ReLU (وحدة الخطية المصححة): هي حاليًا الدالة الأكثر استخدامًا للطبقات المخفية. تقوم بإخراج المدخل مباشرة إذا كان موجبًا وصفرًا بخلاف ذلك. تعمل هذه البساطة على تسريع الحساب والمساعدة في تخفيف مشكلة تلاشي التدرج، وهو تحدٍ متكرر عند تدريب البنى العميقة.
• Sigmoid: تقوم هذه الدالة بـ "ضغط" قيم المدخلات إلى نطاق بين 0 و1. تُستخدم بشكل متكرر في الطبقة النهائية لمهام التصنيف الثنائي، مثل تحديد ما إذا كان البريد الإلكتروني مزعجًا (spam)، حيث يمكن تفسير المخرج كـ درجة احتمالية.
• Softmax: ضرورية للمشاكل متعددة الفئات، حيث تحول Softmax متجهًا من الأرقام إلى توزيع احتمالي حيث مجموع كل القيم يساوي واحدًا. هذا هو المعيار في تحديات تصنيف الصور مثل تلك الموجودة في مجموعة بيانات ImageNet.
• SiLU (Sigmoid Linear Unit): A smooth, non-monotonic function often used in state-of-the-art architectures like YOLO26. SiLU allows for better gradient flow than ReLU in very deep models, contributing to higher accuracy.

Link to this sectionتطبيقات العالم الحقيقي في الذكاء الاصطناعي#

يؤثر اختيار دالة التنشيط بشكل مباشر على أداء وزمن استجابة الاستنتاج لأنظمة الذكاء الاصطناعي المنشورة في العمليات اليومية.

1. الكشف عن الأشياء في التجزئة: في أنظمة الدفع الآلي، تحدد نماذج الكشف عن الأشياء المنتجات على حزام ناقل. تستخدم الطبقات المخفية دوال فعالة مثل ReLU أو SiLU لمعالجة الميزات المرئية بسرعة. تحدد طبقة المخرجات الفئة (مثل "تفاحة"، "حبوب إفطار") وإحداثيات صندوق الإحاطة، مما يتيح للنظام حساب الفاتورة تلقائيًا. هذا أمر بالغ الأهمية لـ الذكاء الاصطناعي في التجزئة لضمان السرعة ورضا العملاء.

2. تحليل المشاعر: في معالجة اللغات الطبيعية (NLP)، تحلل النماذج مراجعات العملاء لقياس الرضا. قد تعالج الشبكة بيانات نصية وتستخدم دالة Sigmoid في الطبقة النهائية لإخراج درجة مشاعر بين 0 (سلبي) و1 (إيجابي)، مما يساعد الشركات على فهم ملاحظات العملاء على نطاق واسع باستخدام التعلم الآلي (ML).

Link to this sectionمثال على التنفيذ#

يمكنك تصور كيفية تحويل دوال التنشيط المختلفة للبيانات باستخدام مكتبة PyTorch. يوضح مقتطف الكود التالي الفرق بين ReLU (الذي يصفر القيم السالبة) وSigmoid (الذي يضغط القيم).

import torch
import torch.nn as nn

# Input data: negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])

# Apply ReLU: Negatives become 0, positives stay unchanged
relu_output = nn.ReLU()(data)
print(f"ReLU:    {relu_output}")
# Output: tensor([0., 0., 2.])

# Apply Sigmoid: Squashes values between 0 and 1
sigmoid_output = nn.Sigmoid()(data)
print(f"Sigmoid: {sigmoid_output}")
# Output: tensor([0.1192, 0.5000, 0.8808])

Link to this sectionالتمييز بين المفاهيم ذات الصلة#

من المهم التمييز بين دوال التنشيط والمكونات الرياضية الأخرى في خط أنابيب التعلم.

• دالة التنشيط مقابل دالة الخسارة: تعمل دالة التنشيط أثناء التمرير الأمامي لتشكيل مخرج العصبون. تحسب دالة الخسارة، مثل متوسط مربع الخطأ، الخطأ بين التنبؤ والهدف الفعلي في نهاية التمرير الأمامي.
• دالة التنشيط مقابل خوارزمية التحسين: بينما تحدد دالة التنشيط هيكل المخرجات، يقرر المُحسِّن (مثل Adam أو الانحدار العشوائي للتدرج) كيفية تحديث أوزان النموذج لتقليل الخطأ الذي تحسبه دالة الخسارة.
• دالة التنشيط مقابل التعلم بنقل المعرفة: دوال التنشيط هي عمليات رياضية ثابتة داخل طبقات الشبكة. التعلم بنقل المعرفة هو أسلوب يتم فيه تكييف نموذج مُدرب مسبقًا لمهمة جديدة، وغالبًا ما يتم الحفاظ على دوال التنشيط للبنية الأصلية مع ضبط الأوزان على مجموعة بيانات مخصصة عبر منصة Ultralytics.

لتعمق أكبر في كيفية ملاءمة هذه الدوال لأنظمة أكبر، استكشف وثائق PyTorch حول التنشيطات غير الخطية أو اقرأ عن كيفية اعتماد مهام رؤية الحاسوب عليها لاستخراج الميزات.