سيني

كيفية عمل سيغمويد

تأخذ دالة الدالة الجيبية أي عدد ذي قيمة حقيقية وتضغطه في النطاق (0، 1). تنتج المدخلات السالبة الكبيرة مخرجات قريبة من 0، والمدخلات الموجبة الكبيرة تنتج مخرجات قريبة من 1، والمدخلات التي قيمتها 0 تنتج مخرجات قيمتها 0.5. إنها دالة غير خطية، وهو أمر بالغ الأهمية لأن تكديس طبقات خطية متعددة في شبكة عصبية بدون لا خطية سينتج عنه ببساطة دالة خطية أخرى، مما يحد من قدرة النموذج على تعلم الأنماط المعقدة الموجودة في البيانات مثل الصور أو النصوص. كما أن الدالة السهمية قابلة للاشتقاق أيضًا، وهي خاصية ضرورية لتدريب الشبكات العصبية باستخدام طرق التحسين القائمة على التدرج مثل التدرج العكسي والتدرج المنحدر.

تطبيقات السيني

التطبيق الأساسي ل Sigmoid اليوم هو في طبقة الخرج لنماذج التصنيف الثنائية. نظرًا لأن مخرجاتها تقع بشكل طبيعي بين 0 و 1، فهي مثالية لتمثيل احتمالية انتماء المدخلات إلى الفئة الموجبة.

1. التشخيص الطبي: في تحليل الصور الطبية، قد يقوم النموذج بتحليل السمات من الفحص (على سبيل المثال، مجموعة بيانات ورم دماغي) واستخدام طبقة مخرجات سيغمويدية للتنبؤ باحتمالية وجود حالة معينة (على سبيل المثال، ورم خبيث). يشير الناتج فوق عتبة معينة (غالباً ما تكون 0.5) إلى تنبؤ إيجابي. يساعد هذا الناتج الاحتمالي الأطباء السريريين على فهم ثقة النموذج. انظر أمثلة في أبحاث الذكاء الاصطناعي للأشعة.
2. اكتشاف الرسائل غير المرغوب فيها: في معالجة اللغة الطبيعية (NLP)، يمكن استخدام دالة Sigmoid في الطبقة الأخيرة من نموذج مصمم لتصنيف النصوص، مثل تحديد ما إذا كان البريد الإلكتروني بريدًا مزعجًا أم لا. يعالج النموذج محتوى البريد الإلكتروني ويخرج احتمالاً (عبر دالة سيغمويد) بأن البريد الإلكتروني هو بريد مزعج. هذه مشكلة تصنيف ثنائية كلاسيكية شائعة في تطبيقات البرمجة اللغوية العصبية.

يمكن أيضًا استخدام Sigmoid في مهام التصنيف متعدد التسميات، حيث يمكن أن تنتمي المدخلات إلى فئات متعددة في وقت واحد (على سبيل المثال، مقالة إخبارية موسومة ب "السياسة" و "الاقتصاد" و "أوروبا"). في هذه الحالة، يتم استخدام خلية عصبية سيغمويدية منفصلة لكل تسمية محتملة، مع تقدير احتمالية أن تكون تلك التسمية المحددة ذات صلة، بشكل مستقل عن التسميات الأخرى. يتناقض هذا مع التصنيف متعدد الفئات (حيث تنطبق تسمية واحدة فقط، مثل تصنيف صورة على أنها "قطة" أو "كلب" أو "طائر")، والتي تستخدم عادةً دالة Softmax.

وظائف التنشيط السيني مقابل وظائف التنشيط ذات الصلة

غالبًا ما يتضمن فهم الدالة السينغمية مقارنتها بدوال تنشيط أخرى:

• ReLU (الوحدة الخطية المعدلة): تُخرج ReLU المدخلات مباشرةً إذا كانت المدخلات موجبة، وصفراً إذا كانت غير ذلك. إنها أبسط من الناحية الحسابية وتتجنب مشكلة التدرج المتلاشي للمدخلات الموجبة، مما يجعلها الخيار المفضل للطبقات المخفية في معظم الشبكات العصبية الحديثة، بما في ذلك العديد من Ultralytics YOLO مثل YOLOv8. تعالج المتغيرات مثل ReLU المتسربة مشكلة "الخلايا العصبية المحتضرة" في ReLU.
• تانه (الظل الزائدي): يرتبط تانه رياضيًا بدالة الظل السيجيمي ولكنه يضغط المدخلات إلى النطاق (-1، 1). يكون ناتجها صفري التمركز، وهو ما يمكن أن يساعد أحيانًا في التحسين مقارنةً بخرج سيغمويد غير الصفري التمركز (من 0 إلى 1). ومع ذلك، مثل دالة سيغميد، فهي تعاني من مشكلة تلاشي التدرج.
• سوفت ماكس: يُستخدم في طبقة الخرج لمشاكل التصنيف متعدد الفئات. وعلى عكس Sigmoid (الذي يوفر احتمالات مستقلة للمهام الثنائية أو متعددة التسميات)، فإن Softmax ينتج توزيعاً احتمالياً عبر جميع الفئات، مما يضمن أن مجموع الاحتمالات يساوي 1.
• SiLU (الوحدة الخطية السيجيمية) / حفيف: دالة تنشيط أكثر حداثة تضاعف المدخلات في الشكل السيجمي للمدخلات. وغالبًا ما يكون أداؤها أفضل من أداء ReLU في النماذج الأعمق وتُستخدم في البنى مثل EfficientNet وبعض متغيرات YOLO . يوضّح كيف لا يزال Sigmoid مناسبًا كمكوّن ضمن الدوال الأحدث. راجع وثائق PyTorch للاطلاع على تطبيق SiLU.

المزايا والقيود

المزايا:

• التفسير الاحتمالي: يعد نطاق الخرج (0، 1) بديهيًا لتمثيل الاحتمالات في التصنيف الثنائي.
• تدرج سلس: على عكس الدوال ذات التغييرات المفاجئة (مثل الدوال المتدرجة)، فإن الدوال المنحدرة لها مشتق سلس ومحدد جيدًا، مما يسهل التعلم القائم على التدرج.

القيود:

• التدرجات المتلاشية: بالنسبة لقيم المدخلات العالية جدًا أو المنخفضة جدًا، يصبح تدرج الدالة الجيبية صغيرًا للغاية (قريبًا من الصفر). أثناء الترحيل العكسي، يمكن أن تتضاعف هذه التدرجات الصغيرة عبر العديد من الطبقات، مما يتسبب في تلاشي تدرجات الطبقات السابقة، مما يؤدي إلى إيقاف التعلم بشكل فعال. هذا هو السبب الرئيسي الذي يجعلها أقل تفضيلاً للطبقات المخفية العميقة.
• الإخراج غير متمركز حول الصفر: لا يتمركز نطاق الخرج (0، 1) حول الصفر. قد يؤدي ذلك أحيانًا إلى إبطاء تقارب خوارزميات نزول التدرج مقارنةً بالدوال ذات التمركز الصفري مثل دالة تانه.
• التكلفة الحسابية: العملية الأسية المتضمنة تجعلها أكثر تكلفة حسابيًا بقليل من الدوال الأبسط مثل ReLU.

الاستخدام الحديث والتوافر

على الرغم من أنه أقل شيوعًا في الطبقات المخفية للشبكات العميقة اليوم، إلا أنه يظل خيارًا قياسيًا لطبقات الخرج في مهام التصنيف الثنائي والتصنيف متعدد التسميات. كما أنه يشكل أيضًا مكونًا أساسيًا في آليات البوابات داخل الشبكات العصبية المتكررة (RNNs) مثل LSTMs وGRUs، حيث يتحكم في تدفق المعلومات.

يتوفر السينيغمويد بسهولة في جميع الأماكن الرئيسية أطر التعلم العميقبما في ذلك PyTorch (مثل torch.sigmoid) و TensorFlow (مثل tf.keras.activations.sigmoid). منصات مثل Ultralytics HUB دعم النماذج التي تستخدم دوال تنشيط مختلفة، مما يسمح للمستخدمين ب القطار و النشر متطورة الرؤية الحاسوبية الحلول.