تسرب ريلو

الوحدة الخطية المعدلة المتسربة، أو الوحدة الخطية المتسربة، هي دالة تنشيط مستخدمة في الشبكات العصبية (NN) وهي تحسين مباشر على دالة الوحدة الخطية المعدلة القياسية (ReLU). وقد تم تصميمها لمعالجة مشكلة "ReLU المحتضرة"، حيث يمكن أن تصبح الخلايا العصبية غير نشطة وتتوقف عن التعلم أثناء التدريب. من خلال إدخال منحدر صغير غير صفري لقيم المدخلات السالبة، تضمن دالة ReLU المتسرّبة أن يكون للخلايا العصبية تدرجًا دائمًا، مما يسمح بتدريب أكثر استقرارًا واتساقًا في نماذج التعلّم العميق (DL). أثبت هذا التعديل البسيط فعاليته في العديد من البنى، مما يساعد على تحسين أداء النموذج وديناميكيات التدريب.

كيف تحل مشكلة الخلايا العصبية المحتضرة في حالة الموت

إن الدافع الأساسي وراء دالة ReLU المتسربة هو حل مشكلة الخلايا العصبية المحتضرة. في دالة ReLU القياسية، أي مدخلات سالبة للخلية العصبية ينتج عنها خرج يساوي صفر. إذا كانت الخلية العصبية تتلقى مدخلات سالبة باستمرار، فإن الخرج سيكون دائماً صفراً. وبالتالي، فإن التدرج الذي يتدفق عبر هذه الخلية العصبية أثناء التكاثر العكسي سيكون صفرًا أيضًا. وهذا يعني أن أوزان الخلية العصبية لم تعد تُحدَّث، وتتوقف فعلياً عن المشاركة في عملية التعلم - أي أنها "تموت".

يعالج ReLU المتسرب هذا من خلال السماح بتدرج صغير موجب عندما تكون الوحدة غير نشطة. فبدلاً من إخراج صفر للمدخلات السالبة، فإنها تخرج قيمة مضروبة في ثابت صغير ("التسرب"). وهذا يضمن عدم وجود تدرج صفري للخلية العصبية أبداً، مما يسمح لها بالتعافي ومواصلة التعلم. تم تفصيل هذا النهج لأول مرة في الورقة البحثية حول التقييم التجريبي للتفعيلات المعدلة في الشبكة التلافيفية.

التطبيقات الواقعية

إن قدرة ريلو على تعزيز التدريب الأكثر استقرارًا جعلها ذات قيمة في العديد من مجالات الذكاء الاصطناعي.

• شبكات الخصومة التوليدية (GANs): كثيرًا ما تُستخدَم تقنية ReLU المتسربة في الشبكات التمييزية لشبكات الخصومة التوليدية (GANs). تتضمن شبكات GANs توازنًا دقيقًا بين المولد والمميز، ويمكن أن يؤدي تلاشي التدرجات من ReLU القياسية إلى زعزعة استقرار هذا التدريب. كما هو موضح في موارد مثل مدونة مطوري Google على GANs، تساعد التدرجات الثابتة غير الصفرية لشبكات ReLU التدرجات الثابتة غير الصفرية لشبكة ReLU التوليدية على تعلم الشبكتين بشكل أكثر فعالية، مما يؤدي إلى توليد بيانات تركيبية عالية الجودة.
• نماذج كشف الكائنات: استخدمت النماذج المبكرة ولكن المؤثرة للكشف عن الأج سام، بما في ذلك بعض إصدارات YOLO، نماذج الكشف عن الأجسام التي استخدمت نموذج "ريلو" (ReLU) المتسرب. في الشبكات العصبية التلافيفية العميقة (CNNs)، يمكن للخلايا العصبية المحتضرة أن تمنع النموذج من تعلم الميزات المهمة. تساعد تقنية Leaky ReLU على ضمان بقاء جميع الخلايا العصبية نشطة، مما يحسن قدرة النموذج على اكتشاف الأجسام عبر مجموعات بيانات متنوعة مثل COCO. في حين أن العديد من البنى الحديثة مثل Ultralytics YOLO11 تستخدم الآن وظائف أكثر تقدماً، إلا أن Leaky ReLU كان عنصراً رئيسياً في تأسيس أسسها.

تسرب ريلو مقابل وظائف التنشيط الأخرى

تُعد دالة ReLU المتسربة إحدى دوال التنشيط العديدة المصممة لتحسين دالة ReLU الأصلية. يساعد فهم علاقتها بالآخرين في اختيار الدالة المناسبة لمهمة معينة.

• ReLU: الفرق الرئيسي هو أن ReLU غير نشط تمامًا بالنسبة للمدخلات السالبة، بينما يحافظ ReLU المتسرب على تدرج صغير وثابت.
• SiLU و GELU: توفر دوال التنشيط الأحدث مثل SiLU (الوحدة الخطية السيجيمية) و GELU (الوحدة الخطية للخطأ الغاوسي) منحنيات سلسة غير متجانسة يمكن أن تؤدي أحيانًا إلى دقة أفضل. غالبًا ما توجد هذه النماذج في النماذج المتقدمة مثل المحولات. ومع ذلك، فهي أكثر تعقيدًا من الناحية الحسابية من العملية الخطية البسيطة لوحدة التفعيل الخطية غير المترابطة. يمكن أن توفر نظرة عامة مفصلة عن دوال التنشيط مزيدًا من المقارنات.
• البارامترية ReLU (PReLU): PReLU هو متغير يتم فيه تعلُّم معامل التسرب أثناء التدريب، مما يجعله معلمة للنموذج بدلاً من معيار مفرط ثابت.

يعتمد الاختيار الأمثل لوظيفة التنشيط غالبًا على البنية المحددة، ومجموعة البيانات (مثل تلك المتوفرة على مجموعات بيانات Ultralytics)، ونتائج ضبط المعلمة الفائقة. تظل دالة ReLU المتسربة خيارًا قويًا لبساطتها ونفقاتها الحسابية المنخفضة وفعاليتها في منع موت الخلايا العصبية.

توفر أطر عمل التعلم العميق الرئيسية مثل PyTorch و TensorFlow تطبيقات مباشرة، كما هو موضح في وثائقها الرسمية لـ LeakyReLU الخاص بـ PyTorch و LeakyReLU الخاص بـ TensorFlow. تسمح إمكانية الوصول هذه للمطورين بتجربتها بسهولة ودمجها في نماذجهم باستخدام منصات مثل Ultralytics HUB.