SiLU (وحدة خطية سيجمويد)

الوحدة الخطية السينية (Sigmoid Linear Unit)، المعروفة باسم SiLU، هي دالة تنشيط تستخدم في الشبكات العصبية وقد اكتسبت شعبية لكفاءتها وأدائها. إنها دالة ذات بوابات ذاتية تجمع بأناقة بين خصائص دوال Sigmoid و الوحدة الخطية المصححة (ReLU). تم تقديم SiLU في ورقة "البحث عن دوال التنشيط"، حيث أطلق عليها في الأصل اسم Swish. تسمح لها خصائصها الفريدة، مثل السلاسة وعدم الرتابة، غالبًا بالتفوق على دوال التنشيط التقليدية مثل ReLU في النماذج العميقة، مما يؤدي إلى دقة أفضل وتقارب أسرع أثناء تدريب النموذج.

كيفية عمل دالة SiLU

يتم تعريف SiLU بضرب قيمة الإدخال بالسيجمويد الخاص بها. تسمح آلية البوابة الذاتية هذه للوظيفة بالانتقال بسلاسة من كونها خطية للإدخالات الموجبة إلى قريبة من الصفر للإدخالات السالبة الكبيرة، مما يساعد على تنظيم تدفق المعلومات عبر الشبكة. إحدى الخصائص الرئيسية لـ SiLU هي عدم رتابتها؛ يمكن أن تنخفض قليلاً إلى ما دون الصفر للإدخالات السالبة الصغيرة قبل أن ترتفع مرة أخرى نحو الصفر. يُعتقد أن هذه الخاصية تعمل على تحسين القوة التعبيرية للشبكة العصبية من خلال إنشاء مشهد تدرج أكثر ثراءً ومنع مشكلة التدرج المتلاشي التي يمكن أن تبطئ أو توقف عملية التعلم في البنى العميقة. تعد سلاسة منحنى SiLU أيضًا ميزة مهمة، لأنها تضمن تدرجًا سلسًا لخوارزميات التحسين مثل نزول التدرج.

مقارنة SiLU بوظائف التنشيط الأخرى

توفر SiLU العديد من المزايا مقارنة بوظائف التنشيط الأخرى شائعة الاستخدام، مما يجعلها خيارًا مقنعًا لبنى التعلم العميق (DL) الحديثة.

• ReLU (وحدة التقويم الخطي): على عكس ReLU، التي لديها تغيير مفاجئ عند الصفر وتدرج صفري ثابت لجميع المدخلات السلبية، فإن SiLU هي دالة سلسة ومستمرة. تساعد هذه السلاسة أثناء عملية الانتشار الخلفي. علاوة على ذلك، تتجنب SiLU مشكلة "موت ReLU"، حيث يمكن أن تصبح الخلايا العصبية غير نشطة بشكل دائم إذا تلقت باستمرار مدخلات سلبية.
• ReLU المتسرب (Leaky ReLU): في حين أن ReLU المتسرب (Leaky ReLU) يعالج أيضًا مشكلة الخلية العصبية الميتة (dying neuron) من خلال السماح بتدرج صغير وغير صفري للمدخلات السالبة، إلا أن منحنى SiLU السلس وغير الرتيب يمكن أن يؤدي أحيانًا إلى تعميم وتحسين أفضل في الشبكات العميقة (deep networks) جدًا.
• سيجمويد (Sigmoid): دالة سيجمويد (Sigmoid) هي عنصر أساسي في SiLU، لكن تطبيقاتهما تختلف اختلافًا كبيرًا. تُستخدم سيجمويد (Sigmoid) عادةً في طبقة الإخراج لـ مهام التصنيف الثنائي أو كآلية بوابات في الشبكات العصبونية المتكررة (RNNs). في المقابل، تم تصميم SiLU للطبقات المخفية وقد ثبت أنها تحسن الأداء في الشبكات العصبونية الالتفافية (CNNs).
• GELU (وحدة خطأ جاوس الخطية): غالبًا ما تتم مقارنة SiLU بـ GELU، وهي دالة تنشيط سلسة أخرى أظهرت أداءً ممتازًا، خاصة في نماذج Transformer. تتمتع كلتا الدالتين بأشكال وخصائص أداء متشابهة، وغالبًا ما يعتمد الاختيار بينهما على النتائج التجريبية من ضبط المعلمات الفائقة.

التطبيقات في الذكاء الاصطناعي وتعلم الآلة

إن التوازن بين الكفاءة والأداء جعل SiLU خيارًا شائعًا في مختلف النماذج الحديثة.

• اكتشاف الكائنات: تستخدم نماذج اكتشاف الكائنات المتقدمة، بما في ذلك إصدارات Ultralytics YOLO، SiLU في طبقاتها المخفية. على سبيل المثال، في تطبيقات مثل المركبات ذاتية القيادة التي تعتمد على الاكتشاف في الوقت الفعلي، تساعد SiLU النموذج على تعلم الميزات المعقدة من بيانات المستشعر بشكل أكثر فعالية، مما يحسن دقة اكتشاف المشاة وإشارات المرور والمركبات الأخرى. يعد تعلم الميزات المحسن هذا أمرًا بالغ الأهمية للسلامة والموثوقية، خاصة عند التدريب على مجموعات بيانات واسعة النطاق مثل COCO.
• تصنيف الصور: SiLU هو عنصر أساسي في نماذج التصنيف الفعالة والقوية، مثل عائلة نماذج EfficientNet. في مجالات مثل تحليل الصور الطبية، تساعد قدرة SiLU على الحفاظ على تدفق التدرج النماذج على تعلم الأنسجة والأنماط الدقيقة. هذا مفيد لمهام مثل تصنيف الأورام من فحوصات التصوير بالرنين المغناطيسي أو تحديد الأمراض من الأشعة السينية على الصدر، حيث الدقة العالية أمر بالغ الأهمية.

التنفيذ

يتوفر SiLU بسهولة في أطر التعلم العميق الرئيسية، مما يجعله سهل الاندماج في النماذج الجديدة أو الحالية.

• PyTorch: تم تنفيذه كـ torch.nn.SiLU، مع مسؤول وثائق PyTorch لـ SiLU متاحة.
• TensorFlow: متاح بصيغة tf.keras.activations.swish أو tf.keras.activations.silu، موثقة في وثائق TensorFlow لـ SiLU.

تدعم منصات مثل Ultralytics HUB تدريب النماذج واستكشاف خيارات النشر المختلفة للنماذج التي تستخدم مكونات متقدمة مثل SiLU. تساعد الأبحاث والموارد المستمرة من منظمات مثل DeepLearning.AI الممارسين على الاستفادة من هذه الوظائف بشكل فعال. يظل اختيار دالة التنشيط جزءًا مهمًا من تصميم بنى الشبكات العصبية الفعالة، ويمثل SiLU خطوة كبيرة إلى الأمام في هذا المجال.