ReLU المتسرب

الوحدة الخطية المصححة المتسربة، أو Leaky ReLU، هي دالة تنشيط مستخدمة في الشبكات العصبية (NN) وهي تحسين مباشر على دالة الوحدة الخطية المصححة القياسية (ReLU). تم تصميمه لمعالجة مشكلة "ReLU الميتة"، حيث يمكن أن تصبح الخلايا العصبية غير نشطة وتتوقف عن التعلم أثناء التدريب. من خلال إدخال ميل صغير وغير صفري لقيم الإدخال السلبية، تضمن Leaky ReLU أن الخلايا العصبية لديها دائمًا تدرج، مما يسمح بتدريب أكثر استقرارًا واتساقًا في نماذج التعلم العميق (DL). لقد ثبت أن هذا التعديل البسيط فعال في مختلف البنى، مما يساعد على تحسين أداء النموذج وديناميكيات التدريب.

كيف تحل ReLU المتسربة مشكلة تلاشي العصبون؟

الدافع الرئيسي وراء استخدام دالة ReLU المُسرَّبة (Leaky ReLU) هو حل مشكلة "الخلايا العصبية الميتة". في دالة ReLU القياسية، يؤدي أي مُدخل سلبي إلى خلية عصبية إلى إخراج قيمته صفر. وإذا تلقت خلية عصبية باستمرار مُدخلات سلبية، فسيكون خرجها دائمًا صفرًا. ونتيجة لذلك، سيكون التدرج المتدفق عبر هذه الخلية العصبية أثناء الانتشار العكسي صفرًا أيضًا. وهذا يعني أن أوزان الخلية العصبية لن يتم تحديثها بعد ذلك، وستتوقف فعليًا عن المشاركة في عملية التعلم - أي "تموت".

تعالج Leaky ReLU هذا عن طريق السماح بتدرج إيجابي صغير عندما تكون الوحدة غير نشطة. بدلاً من إخراج صفر للمدخلات السلبية، فإنها تخرج قيمة مضروبة في ثابت صغير ("التسرب"). وهذا يضمن ألا يكون للخلايا العصبية تدرج صفري أبدًا، مما يسمح لها بالتعافي والاستمرار في التعلم. تم تفصيل هذا النهج لأول مرة في ورقة حول التقييم التجريبي للتنشيطات المصححة في الشبكة التلافيفية.

تطبيقات واقعية

إن قدرة Leaky ReLU على تعزيز تدريب أكثر استقرارًا جعلتها ذات قيمة في العديد من مجالات الذكاء الاصطناعي (AI).

• شبكات الخصومة التوليدية (GANs): غالبًا ما يتم استخدام Leaky ReLU في شبكات التمييز الخاصة بـ شبكات الخصومة التوليدية (GANs). تتضمن GANs توازنًا دقيقًا بين المولد والمميز، ويمكن أن تؤدي التدرجات المتلاشية من ReLU القياسي إلى زعزعة استقرار هذا التدريب. كما هو موضح في موارد مثل مدونة مطوري Google حول GANs، فإن التدرجات المتسقة وغير الصفرية لـ Leaky ReLU تساعد كلا الشبكتين على التعلم بشكل أكثر فعالية، مما يؤدي إلى إنشاء بيانات اصطناعية عالية الجودة.
• نماذج اكتشاف الكائنات: استخدمت نماذج اكتشاف الكائنات المبكرة والمؤثرة، بما في ذلك بعض إصدارات YOLO، Leaky ReLU. في الشبكات العصبية الالتفافية العميقة (CNNs)، يمكن للخلايا العصبية المحتضرة أن تمنع النموذج من تعلم الميزات الحاسمة. يساعد Leaky ReLU على ضمان بقاء جميع الخلايا العصبية نشطة، مما يحسن قدرة النموذج على اكتشاف الكائنات عبر مجموعات بيانات متنوعة مثل COCO. في حين أن العديد من البنى الحديثة مثل Ultralytics YOLO11 تستخدم الآن وظائف أكثر تقدمًا، إلا أن Leaky ReLU كان مكونًا رئيسيًا في تأسيس أسسها.

Leaky ReLU مقابل دوال التنشيط الأخرى

تعد Leaky ReLU واحدة من العديد من دوال التنشيط المصممة لتحسين ReLU الأصلية. يساعد فهم علاقتها بالآخرين في اختيار الدالة المناسبة لمهمة معينة.

• ReLU: الفرق الرئيسي هو أن ReLU غير نشط تمامًا للمدخلات السلبية، بينما يحافظ Leaky ReLU على تدرج صغير وثابت.
• SiLU و GELU: توفر وظائف التنشيط الأحدث مثل SiLU (وحدة خطية سيجمويد) و GELU (وحدة خطأ جاوسي خطية) منحنيات سلسة وغير رتيبة يمكن أن تؤدي أحيانًا إلى دقة أفضل. غالبًا ما توجد هذه في النماذج المتقدمة مثل المحولات (Transformers). ومع ذلك، فهي أكثر تعقيدًا من الناحية الحسابية من العملية الخطية البسيطة لـ Leaky ReLU. يمكن أن توفر نظرة عامة مفصلة لوظائف التنشيط المزيد من المقارنات.
• ReLU المعياري (PReLU): PReLU هو نوع متغير حيث يتم تعلم معامل التسرب أثناء التدريب، مما يجعله معلمة للنموذج بدلاً من كونه معلمة فائقة ثابتة.

غالبًا ما يعتمد الاختيار الأمثل لوظيفة التنشيط على البنية المحددة ومجموعة البيانات (مثل تلك المتوفرة في Ultralytics Datasets) والنتائج من ضبط المعلمات الفائقة. يظل Leaky ReLU خيارًا قويًا لبساطته وتكاليفه الحسابية المنخفضة وفعاليته في منع موت الخلايا العصبية.

توفر أطر التعلم العميق الرئيسية مثل PyTorch و TensorFlow تطبيقات مباشرة، كما هو موضح في الوثائق الرسمية الخاصة بها لـ LeakyReLU الخاص بـ PyTorch و LeakyReLU الخاص بـ TensorFlow. يتيح هذا الوصول للمطورين إمكانية التجربة والدمج بسهولة في نماذجهم باستخدام منصات مثل Ultralytics HUB.