الوحدة الخطية السهمية (SiLU)

الوحدة الخطية السينية، المعروفة باسم SiLU، هي دالة تنشيط مستخدمة في الشبكات العصبية اكتسبت شعبية بسبب كفاءتها وأدائها. وهي دالة ذاتية التفعيل تجمع بشكل أنيق بين خصائص دالة الوحدة الخطية السهمية والوحدة الخطية المعدلة (ReLU). تم تقديم دالة SiLU في الورقة البحثية"البحث عن دوال التنشيط"، حيث كانت تسمى في الأصل Swish. تسمح لها خصائصها الفريدة، مثل السلاسة وعدم الاطراد، بالتفوق في كثير من الأحيان على دوال التنشيط التقليدية مثل ReLU في النماذج العميقة، مما يؤدي إلى دقة أفضل وتقارب أسرع أثناء تدريب النموذج.

كيف تعمل SiLU

يتم تعريف SiLU من خلال ضرب قيمة المدخلات في دالة سيغمويد. تسمح هذه الآلية ذاتية التحديد للدالة بالانتقال بسلاسة من كونها خطية للمدخلات الموجبة إلى ما يقارب الصفر للمدخلات السالبة الكبيرة، مما يساعد على تنظيم تدفق المعلومات عبر الشبكة. من الخصائص الرئيسية لدالة SiLU هي عدم رتابتها؛ حيث يمكن أن تنخفض قليلاً إلى ما دون الصفر للمدخلات السالبة الصغيرة قبل أن ترتفع مرة أخرى نحو الصفر. يُعتقد أن هذه الخاصية تحسّن القوة التعبيرية للشبكة العصبية من خلال إنشاء مشهد تدرج أكثر ثراءً ومنع مشكلة تلاشي التدرج التي يمكن أن تبطئ أو توقف عملية التعلم في البنى العميقة. تُعد سلاسة منحنى SiLU ميزة مهمة أيضًا، حيث إنها تضمن تدرجًا سلسًا لخوارزميات التحسين مثل نزول التدرج.

SiLU مقارنة بوظائف التنشيط الأخرى

تقدم SiLU العديد من المزايا مقارنةً بوظائف التنشيط الأخرى شائعة الاستخدام، مما يجعلها خيارًا مقنعًا لبنى التعلم العميق الحديثة.

• الوحدة الخطية المعدلة (ReLU): على عكس ReLU، التي لها تغير مفاجئ عند الصفر وتدرج صفري ثابت لجميع المدخلات السالبة، فإن SiLU هي دالة سلسة ومستمرة. تساعد هذه السلاسة أثناء عملية الترحيل العكسي. وعلاوة على ذلك، تتجنب SiLU مشكلة "موت ReLU"، حيث يمكن أن تصبح الخلايا العصبية غير نشطة بشكل دائم إذا كانت تتلقى مدخلات سلبية باستمرار.
• الـ ReLU المتسرب: بينما يعالج Leaky ReLU المتسرب أيضًا مشكلة الخلايا العصبية المحتضرة من خلال السماح بتدرج صغير غير صفري للمدخلات السالبة، فإن منحنى SiLU السلس وغير المتواتر يمكن أن يؤدي أحيانًا إلى تعميم وتحسين أفضل في الشبكات العميقة جدًا.
• الدالة السيجيمية: تُعد الدالة السيجيغمويدية مكونًا أساسيًا في SiLU، لكن تطبيقاتها تختلف بشكل كبير. وعادةً ما تُستخدم الدالة السهمية في طبقة الخرج لمهام التصنيف الثنائي أو كآلية بوابات في الشبكات العصبية الشبكية الشبكية التلافيفية، وهي مصممة للطبقات الخفية. في المقابل، تم تصميم SiLU للطبقات المخفية وقد ثبت أنه يحسن الأداء في الشبكات العصبية التلافيفية (CNNs).
• GELU (الوحدة الخطية للخطأ الغاوسي): غالبًا ما تتم مقارنة SiLU ب GELU، وهي دالة تنشيط سلسة أخرى أظهرت أداءً ممتازًا، خاصةً في نماذج المحولات. تتمتع كلتا الدالتين بأشكال وخصائص أداء متشابهة، وغالبًا ما يعود الاختيار بينهما إلى النتائج التجريبية من ضبط المعلمة الفائقة.

تطبيقات في الذكاء الاصطناعي والتعلم الآلي

إن التوازن بين الكفاءة والأداء جعل من SiLU خياراً شائعاً في مختلف الطرازات الحديثة.

• اكتشاف الكائنات: تستخدم النماذج المتقدمة لاكتشاف الأجسام، بما في ذلك إصدارات Ultralytics YOLO، تقنية SiLU في طبقاتها المخفية. على سبيل المثال، في تطبيقات مثل المركبات ذاتية القيادة التي تعتمد على الكشف في الوقت الحقيقي، تساعد SiLU النموذج على تعلم الميزات المعقدة من بيانات المستشعر بشكل أكثر فعالية، مما يحسن دقة الكشف عن المشاة وإشارات المرور والمركبات الأخرى. هذا التعلم المحسّن للميزات أمر بالغ الأهمية للسلامة والموثوقية، خاصةً عند التدريب على مجموعات بيانات واسعة النطاق مثل COCO.
• تصنيف الصور: يُعدّ SiLU مكونًا رئيسيًا في نماذج التصنيف الفعالة والقوية، مثل عائلة نماذج EfficientNet. في مجالات مثل تحليل الصور الطبية، تساعد قدرة SiLU على الحفاظ على تدفق التدرج في النماذج على تعلم القوام والأنماط الدقيقة. هذا مفيد لمهام مثل تصنيف الأورام من فحوصات التصوير بالرنين المغناطيسي أو تحديد الأمراض من الأشعة السينية للصدر، حيث تكون الدقة العالية أمرًا بالغ الأهمية.

التنفيذ

يتوفر SiLU بسهولة في أطر التعلم العميق الرئيسية، مما يجعل من السهل دمجه في النماذج الجديدة أو الحالية.

• PyTorch تم التنفيذ على النحو التالي torch.nn.SiLUرسميًا وثائق PyTorch ل SiLU متوفرة.
• تينسورفلو: Available as tf.keras.activations.swish أو tf.keras.activations.siluالموثقة في وثائق TensorFlow ل SiLU.

تدعم منصات مثل Ultralytics HUB نماذج التدريب واستكشاف خيارات النشر المختلفة للنماذج التي تستخدم مكونات متقدمة مثل SiLU. وتساعد الأبحاث والموارد المستمرة من مؤسسات مثل DeepLearning.AI الممارسين على الاستفادة من هذه الدوال بفعالية. ويظل اختيار دالة التنشيط جزءًا مهمًا من تصميم البنى الفعالة للشبكات العصبية، وتمثل SiLU خطوة مهمة إلى الأمام في هذا المجال.