Leaky ReLU

تُعد Leaky ReLU نوعاً متخصصاً من دالة التنشيط Rectified Linear Unit القياسية المستخدمة في نماذج التعلم العميق. في حين تقوم دالة ReLU القياسية بضبط جميع قيم الإدخال السالبة إلى صفر تماماً، تقدم Leaky ReLU ميلاً صغيراً غير صفري للمدخلات السالبة. يسمح هذا التعديل الطفيف بمرور كمية صغيرة من المعلومات عبر الشبكة حتى عندما لا تكون الخلية العصبية نشطة، مما يعالج مشكلة حرجة تُعرف باسم مشكلة "موت ReLU". من خلال الحفاظ على تدرج مستمر، تساعد هذه الدالة الشبكات العصبية على التعلم بشكل أكثر قوة خلال مرحلة التدريب، لا سيما في البنى العميقة المستخدمة لمهام معقدة مثل التعرف على الصور ومعالجة اللغات الطبيعية.

Link to this sectionمعالجة مشكلة موت ReLU#

لفهم ضرورة Leaky ReLU، من المفيد أولاً النظر في قيود دالة تنشيط ReLU القياسية. في الإعداد القياسي، إذا تلقت الخلية العصبية مدخلاً سالباً، فإنها تخرج صفراً. ونتيجة لذلك، يصبح تدرج الدالة صفراً أثناء الانتشار العكسي. إذا علقت الخلية العصبية فعلياً في هذه الحالة لجميع المدخلات، فإنها تتوقف عن تحديث أوزانها تماماً، وتصبح "ميتة".

تعالج Leaky ReLU هذه المشكلة من خلال السماح بتدرج موجب صغير للقيم السالبة—غالباً ما يكون ميلاً ثابتاً مثل 0.01. يضمن هذا أن خوارزمية التحسين يمكنها دائماً الاستمرار في تعديل الأوزان، مما يمنع الخلايا العصبية من أن تصبح غير نشطة بشكل دائم. تعتبر هذه الخاصية ذات قيمة خاصة عند تدريب الشبكات العميقة حيث يكون الحفاظ على مقدار الإشارة أمراً حاسماً لتجنب ظاهرة تلاشي التدرج.

Link to this sectionتطبيقات العالم الحقيقي#

تُستخدم Leaky ReLU على نطاق واسع في السيناريوهات التي يكون فيها استقرار التدريب وتدفق التدرج أمراً بالغ الأهمية.

• الشبكات التنافسية التوليدية (GANs): أحد أبرز استخدامات Leaky ReLU هو في الشبكات التنافسية التوليدية (GANs). في شبكة التمييز (discriminator) الخاصة بـ GAN، يمكن للتدرجات المتفرقة الناتجة عن ReLU القياسية أن تمنع النموذج من التعلم بفعالية. يضمن استخدام Leaky ReLU تدفق التدرجات عبر البنية بأكملها، مما يساعد المولد (generator) على إنشاء صور اصطناعية ذات جودة أعلى، وهي تقنية مفصلة في أبحاث محورية مثل ورقة بحث DCGAN.
• اكتشاف الأشياء خفيف الوزن: بينما تعتمد النماذج المتطورة مثل YOLO26 غالباً على دوال أكثر سلاسة مثل SiLU، تظل Leaky ReLU خياراً شائعاً للبنى المخصصة وخفيفة الوزن التي يتم نشرها على أجهزة الذكاء الاصطناعي الطرفي. تعني بساطتها الرياضية (خطية مجزأة) أنها تتطلب طاقة حوسبة أقل من الدوال المعتمدة على الأسس، مما يجعلها مثالية لعمليات اكتشاف الأشياء في الوقت الفعلي على الأجهزة ذات قدرات المعالجة المحدودة مثل الهواتف المحمولة القديمة أو المتحكمات الدقيقة المدمجة.

Link to this sectionمقارنة بالمفاهيم ذات الصلة#

يعد اختيار دالة التنشيط الصحيحة خطوة حيوية في ضبط المعلمات الفائقة. من المهم التمييز بين Leaky ReLU ونظيراتها:

• Leaky ReLU مقابل ReLU القياسية: تجبر ReLU القياسية المخرجات السالبة على أن تكون صفراً، مما يخلق شبكة "متفرقة" قد تكون فعالة ولكنها تخاطر بفقدان المعلومات. تضحي Leaky ReLU بهذه الندرة الصرفة لضمان توافر التدرج.
• Leaky ReLU مقابل SiLU (Sigmoid Linear Unit): تستخدم البنى الحديثة، مثل Ultralytics YOLO26، دالة SiLU. على عكس الزاوية الحادة لـ Leaky ReLU، فإن SiLU عبارة عن منحنى سلس ومستمر. غالباً ما تؤدي هذه السلاسة إلى تعميم ودقة أفضل في الطبقات العميقة، على الرغم من أن Leaky ReLU أسرع من حيث التنفيذ الحسابي.
• Leaky ReLU مقابل PReLU (Parametric ReLU): في Leaky ReLU، الميل السالب هو معامل فائق ثابت (على سبيل المثال، 0.01). في PReLU (Parametric ReLU)، يصبح هذا الميل معاملاً قابلاً للتعلم يقوم بتعديله الشبكة أثناء التدريب، مما يسمح للنموذج بتكييف شكل التنشيط مع مجموعة البيانات المحددة.

Link to this sectionتنفيذ Leaky ReLU في Python#

يوضح المثال التالي كيفية تنفيذ طبقة Leaky ReLU باستخدام مكتبة PyTorch. يقوم هذا المقطع البرمجي بتهيئة الدالة وتمرير مصفوفة (tensor) تحتوي على قيم موجبة وسالبة من خلالها.

import torch
import torch.nn as nn

# Initialize Leaky ReLU with a negative slope of 0.1
# This means negative input x becomes 0.1 * x
leaky_relu = nn.LeakyReLU(negative_slope=0.1)

# Input data with positive and negative values
data = torch.tensor([10.0, -5.0, 0.0])

# Apply activation
output = leaky_relu(data)

print(f"Input: {data}")
print(f"Output: {output}")
# Output: tensor([10.0000, -0.5000,  0.0000])

يعد فهم هذه الفروق الدقيقة أمراً ضرورياً عند تصميم بنى مخصصة أو استخدام منصة Ultralytics لتعليق وتدريب ونشر نماذج الرؤية الحاسوبية الخاصة بك. يضمن اختيار دالة التنشيط المناسبة تقارب نموذجك بشكل أسرع وتحقيق دقة أعلى في مهامك المحددة.