Leaky ReLU

‏Leaky ReLU هو نوع متخصص من دالة التنشيط القياسية Rectified Linear Unit المستخدمة في نماذج التعلم العميق. بينما تضبط ReLU القياسية جميع قيم الإدخال السالبة إلى الصفر تمامًا، تُدخل Leaky ReLU ميلًا صغيرًا غير صفري للمدخلات السالبة. يتيح هذا التعديل الدقيق مرور قدر صغير من المعلومات عبر الشبكة حتى عندما تكون الخلية العصبية غير نشطة، مما يعالج مشكلة حرجة تُعرف باسم مشكلة «موت ReLU». ومن خلال الحفاظ على تدرج مستمر، تساعد هذه الدالة الشبكات العصبية على التعلم بمزيد من المتانة أثناء مرحلة التدريب، ولا سيما في البنى العميقة المستخدمة في مهام معقدة مثل التعرف على الصور ومعالجة اللغة الطبيعية.

معالجة مشكلة موت ReLU#

لفهم ضرورة استخدام Leaky ReLU، من المفيد أولًا النظر في حدود دالة تنشيط ReLU القياسية. في الإعداد القياسي، إذا تلقت خلية عصبية إدخالًا سالبًا، فإنها تُخرج صفرًا. وبالتالي، يصبح تدرج الدالة صفرًا أثناء الانتشار العكسي. وإذا علقت خلية عصبية فعليًا في هذه الحالة بالنسبة إلى جميع المدخلات، فإنها تتوقف تمامًا عن تحديث أوزانها، وتصبح «ميتة».

تحل Leaky ReLU هذه المشكلة بالسماح بتدرج موجب صغير للقيم السالبة—وغالبًا ما يكون ميلًا ثابتًا مثل 0.01. ويضمن ذلك أن يتمكن خوارزمية التحسين دائمًا من مواصلة ضبط الأوزان، مما يمنع الخلايا العصبية من أن تصبح غير نشطة بشكل دائم. وتكتسب هذه الخاصية قيمة خاصة عند تدريب الشبكات العميقة، حيث يُعد الحفاظ على مقدار الإشارة أمرًا بالغ الأهمية لتجنب ظاهرة تلاشي التدرج.

التطبيقات الواقعية#

تُستخدم Leaky ReLU على نطاق واسع في الحالات التي تكون فيها استقرارية التدريب وتدفق التدرجات أمرين بالغَي الأهمية.

• الشبكات التوليدية الخصمية (GANs): من أبرز استخدامات Leaky ReLU استخدامها في الشبكات التوليدية الخصمية (GANs). ففي شبكة التمييز ضمن GAN، قد تمنع التدرجات المتناثرة الناتجة عن ReLU القياسية النموذج من التعلم بفعالية. ويضمن استخدام Leaky ReLU تدفق التدرجات عبر البنية بأكملها، مما يساعد المولّد على إنشاء صور اصطناعية أعلى جودة، وهي تقنية موضحة في أبحاث محورية مثل ورقة DCGAN.
• اكتشاف الأجسام خفيف الوزن: بينما تعتمد النماذج الحديثة مثل YOLO26 غالبًا على دوال أكثر سلاسة مثل SiLU، تظل Leaky ReLU خيارًا شائعًا للبنى المخصصة وخفيفة الوزن التي تُنشر على أجهزة الذكاء الاصطناعي الطرفي. وتعني بساطتها الرياضية (خطية مقطعية) أنها تتطلب قدرة حوسبية أقل من الدوال القائمة على الدوال الأسية، مما يجعلها مثالية لـاكتشاف الأجسام في الوقت الفعلي على الأجهزة ذات القدرات المحدودة على المعالجة، مثل الهواتف المحمولة القديمة أو المتحكمات الدقيقة المضمّنة.

المقارنة مع المفاهيم ذات الصلة#

يُعد اختيار دالة التنشيط الصحيحة خطوة حيوية في ضبط المعلمات الفائقة. ومن المهم التمييز بين Leaky ReLU ونظيراتها:

• Leaky ReLU مقابل ReLU القياسية: تفرض ReLU القياسية جعل المخرجات السالبة مساوية للصفر، مما ينشئ شبكة «متناثرة» قد تكون فعالة، لكنه يعرّضها لخطر فقدان المعلومات. وتضحي Leaky ReLU بهذا التَناثر الخالص لضمان توفر التدرج.
• Leaky ReLU مقابل SiLU (وحدة خطية سيغمويدية): تستخدم البنى الحديثة، مثل Ultralytics YOLO26، SiLU. وعلى عكس الزاوية الحادة في Leaky ReLU، تمثل SiLU منحنى سلسًا ومستمرًا. وغالبًا ما تؤدي هذه السلاسة إلى تعميم ودقة أفضل في الطبقات العميقة، رغم أن تنفيذ Leaky ReLU أسرع حوسبيًا.
• Leaky ReLU مقابل ReLU البارامترية (PReLU): في Leaky ReLU، يكون الميل السالب معلمة فائقة ثابتة (مثل 0.01). أما في ReLU البارامترية (PReLU)، فيصبح هذا الميل معلمة قابلة للتعلم يضبطها النموذج أثناء التدريب، مما يسمح للنموذج بتكييف شكل التنشيط مع مجموعة البيانات المحددة.

تطبيق Leaky ReLU في Python#

يوضح المثال التالي كيفية تطبيق طبقة Leaky ReLU باستخدام مكتبة PyTorch. يهيّئ هذا المقتطف الدالة ويمرر عبرها موترًا يحتوي على قيم موجبة وسالبة.

import torch
import torch.nn as nn

# Initialize Leaky ReLU with a negative slope of 0.1
# This means negative input x becomes 0.1 * x
leaky_relu = nn.LeakyReLU(negative_slope=0.1)

# Input data with positive and negative values
data = torch.tensor([10.0, -5.0, 0.0])

# Apply activation
output = leaky_relu(data)

print(f"Input: {data}")
print(f"Output: {output}")
# Output: tensor([10.0000, -0.5000,  0.0000])

يُعد فهم هذه الفروق الدقيقة أمرًا ضروريًا عند تصميم البنى المخصصة أو استخدام منصة Ultralytics لإضافة التعليقات التوضيحية إلى نماذج الرؤية الحاسوبية وتدريبها ونشرها. ويضمن اختيار دالة التنشيط المناسبة تقارب النموذج بسرعة أكبر وتحقيقه دقة أعلى في مهامك المحددة.