تسرب ريلو

كيف يعمل التسريب ReLU

مثل ReLU، تُخرِج ReLU المتسربة المدخلات مباشرةً إذا كانت موجبة. ولكن، على عكس ReLU التي تُخرج صفرًا لأي مدخلات سالبة، تسمح ReLU المتسربة بتدرج (ميل) صغير غير صفري وثابت للمدخلات السالبة. ويضمن هذا "التسرب" بقاء الخلايا العصبية نشطة حتى عندما تكون مدخلاتها سالبة، مما يسمح للتدرجات بالتدفق إلى الوراء عبر الشبكة وتمكين التعلم المستمر. وعادةً ما يكون الميل الصغير قيمة صغيرة ثابتة (على سبيل المثال، 0.01)، ولكن هناك اختلافات مثل Parametric ReLU (PReLU) تسمح بتعلم هذا الميل أثناء التدريب.

معالجة مشكلة احتضار ريلو المحتضر

الدافع الأساسي وراء تسرب ReLU هو التخفيف من مشكلة موت ReLU. عندما تتلقى خلية عصبية ReLU قياسية مدخلات سالبة كبيرة، يصبح خرجها صفراً. إذا كان التدرج المتدفق للخلف أثناء التدريب صفراً أيضاً، فلن يتم تحديث أوزان الخلية العصبية، وقد تظل غير نشطة بشكل دائم لجميع المدخلات. تمنع ReLU المتسربة هذا الأمر من خلال ضمان وجود تدرج صغير غير صفري دائمًا، حتى بالنسبة للمدخلات السالبة، وبالتالي منع الخلايا العصبية من الموت تمامًا وتحسين متانة عملية التدريب، خاصة في الشبكات العميقة جدًا حيث يمكن أن تكون مشكلة تلاشي التدرج مصدر قلق أيضًا.

الأهمية والتطبيقات في الذكاء الاصطناعي والتعلم الآلي

تُعد ReLU المتسربة أداة قيّمة في السيناريوهات التي يكون فيها الحفاظ على الخلايا العصبية النشطة طوال فترة التدريب أمرًا بالغ الأهمية. إن كفاءتها الحسابية، على غرار ReLU القياسية، تجعلها مناسبة للنماذج واسعة النطاق. تشمل التطبيقات الرئيسية ما يلي:

• الرؤية الحاسوبية (CV): غالبًا ما تُستخدم تقنية ReLU المتسربة في الشبكات العصبية التلافيفية (CNNs) لمهام مثل تصنيف الصور واكتشاف الأجسام وتجزئة الصور. على سبيل المثال، الإصدارات المبكرة من Ultralytics YOLO استخدمت النماذج طبقات ReLU المتسربة لتحسين دقة النموذج واستقرار التدريب. بينما النماذج الأحدث مثل YOLO11 قد تستخدم عمليات تنشيط أخرى مثل SiLU، إلا أن Leaky ReLU يظل خيارًا قابلاً للتطبيق، خاصةً عندما تكون التكلفة الحسابية قيدًا رئيسيًا.
• شبكات الخصومة التوليدية (GANs): في الذكاء الاصطناعي التوليدي، غالبًا ما تُستخدم تقنية ReLU المتسربة في الجزء التمييزي من هياكل شبكات GAN التوليدية لمنع التدرجات من الانقراض، مما يساعد على استقرار تدريب GAN. يمكن استخدامه أيضًا في الشبكة المولدة.
• معالجة اللغات الطبيعية (NLP): على الرغم من أنها أقل شيوعًا من السيرة الذاتية، إلا أنه يمكن تطبيق ReLU المتسرب في بعض بنيات التعلم العميق لمهام البرمجة اللغوية العصبية.
• الاستدلال في الوقت الحقيقي: بساطته الحسابية تجعله مناسباً للتطبيقات التي تتطلب استدلالاً سريعاً، بما في ذلك النشر على الأجهزة الطرفية.

تسرب ريلو مقابل وظائف التنشيط الأخرى

بالمقارنة مع ReLU القياسية، فإن الميزة الرئيسية لوظيفة ReLU المتسربة هي تجنب مشكلة موت الخلايا العصبية. كما تعالج دوال تنشيط أخرى مثل ELU (الوحدة الخطية الأسية) أو SiLU (الوحدة الخطية السيجيمية) هذه المشكلة أيضًا، وتقدم أحيانًا مزايا مثل التدرجات الأكثر سلاسة، كما رأينا في نماذج مثل Ultralytics YOLOv8. ومع ذلك، فإن هذه البدائل، مثل ELU، يمكن أن تكون أكثر تكلفة من الناحية الحسابية من وحدة ريلو السيجيبي(انظر مقارنات دالة التنشيط). يعتمد الاختيار الأمثل في كثير من الأحيان على بنية الشبكة العصبية المحددة، ومجموعة البيانات (مثل تلك الموجودة في مجموعات بياناتUltralytics )، والنتائج التجريبية التي تم الحصول عليها من خلال عمليات مثل ضبط المعلمة الفائقة. أطر مثل PyTorchPyTorch Docs) و TensorFlowTensorFlow ) تطبيقات سهلة لوظائف التنشيط المختلفة، مما يسهل التجريب داخل منصات مثل Ultralytics HUB.