وظيفة التفعيل

أنواع وظائف التنشيط

هناك العديد من أنواع دوال التنشيط، ولكل منها خصائص فريدة. يمكن أن يؤثر اختيار الدالة بشكل كبير على أداء النموذج وكفاءة التدريب.

• سينيغمويد: تقوم هذه الدالة بتعيين أي قيمة مدخلات إلى نطاق بين 0 و 1. كانت هذه الدالة شائعة تاريخياً لكنها الآن أقل شيوعاً في الطبقات المخفية لنماذج التعلم العميق بسبب مشكلة التدرج المتلاشي، والتي يمكن أن تبطئ التدريب. لا تزال تُستخدم في طبقة الخرج لمهام التصنيف الثنائي.
• تانه (الظل الزائد): مشابه لـ Sigmoid، لكنه يعيّن المدخلات إلى نطاق بين -1 و1. ولأن خارجه يتمحور حول الصفر، فإنه غالباً ما يساعد النماذج على التقارب بشكل أسرع من Sigmoid. وكثيراً ما يستخدم في الشبكات العصبية المتكررة (RNNs). يمكنك العثور على تطبيقه في أطر مثل PyTorch و TensorFlow.
• ReLU (الوحدة الخطية المعدلة): هذه هي دالة التنشيط الأكثر استخدامًا في الشبكات العصبية الحديثة، خاصة في الشبكات العصبية التلافيفية (CNNs). وهي تقوم بإخراج المدخلات مباشرةً إذا كانت موجبة وصفرًا في غير ذلك. تساعد بساطتها وكفاءتها في التخفيف من مشكلة تلاشي التدرج، مما يؤدي إلى تدريب أسرع.
• تسرب ريلو: متغير من ReLU يسمح بتدرج صغير غير صفري عندما تكون المدخلات سالبة. وهذا مصمم لمعالجة مشكلة "ReLU المحتضرة"، حيث يمكن أن تصبح الخلايا العصبية غير نشطة وتتوقف عن التعلم.
• SiLU (الوحدة الخطية الجيبية): دالة سلسة غير رتيبة اكتسبت شعبية في أحدث النماذج مثل Ultralytics YOLO. وغالبًا ما تتفوق في أدائها على ReLU في النماذج العميقة من خلال الجمع بين مزايا الخطية وغير الخطية.
• سوفت ماكس: يُستخدم حصريًا في طبقة الخرج للشبكة العصبية لمهام تصنيف الصور متعددة الفئات. يقوم بتحويل متجه من الدرجات الأولية (اللوغاريتمات) إلى توزيع احتمالي حيث تمثل كل قيمة احتمال انتماء المدخلات إلى فئة معينة.

تطبيقات في الذكاء الاصطناعي والتعلم الآلي

تُعد وظائف التنشيط أساسية لكل تطبيق ذكاء اصطناعي تقريبًا يعتمد على الشبكات العصبية.

• الرؤية الحاسوبية: في مهام مثل اكتشاف الأجسام، تستخدم الشبكات المترابطة الشبكية ذاتية التصفح (CNNs) وظائف مثل ReLU و SiLU في طبقاتها المخفية لمعالجة المعلومات البصرية. على سبيل المثال، يستخدم نظام إدراك المركبات ذاتية القيادة هذه الوظائف لتحديد المشاة والسيارات الأخرى وإشارات المرور من بيانات الكاميرا في الوقت الفعلي.
• معالجة اللغة الطبيعية (NLP): في الترجمة الآلية، تستخدم آلات LSTMs في الترجمة الآلية دوال سيغمويد وتانه ضمن آلياتها البوابية للتحكم في تدفق المعلومات عبر الشبكة، مما يساعد على تذكر السياق من الأجزاء السابقة من الجملة. يمكن الاطلاع على نظرة عامة شاملة في كتاب "فهم الآلات الآلية ذات التحويلات الضوئية الطويلة" لكريستوفر أولا.

مقارنة مع المصطلحات ذات الصلة

من المهم التمييز بين دوال التنشيط والمفاهيم الرئيسية الأخرى في الشبكات العصبية:

• دوال الخسارة: تحدد دالة الخسارة الفرق بين تنبؤات النموذج والقيم المستهدفة الفعلية ("الخطأ"). والهدف منها هو توجيه عملية التدريب من خلال توفير مقياس لمدى جودة أداء النموذج. بينما تحدد دوال التنشيط مخرجات الخلية العصبية أثناء التمرير الأمامي، تقوم دوال الخسارة بتقييم مخرجات النموذج الكلية في نهاية التمرير لحساب الخطأ المستخدم لتحديث الأوزان أثناء الترحيل العكسي.
• خوارزميات التحسين: تحدّد هذه الخوارزميات (على سبيل المثال، مُحسِّن آدم، ونسب التدرج العشوائي) كيفية تحديث أوزان النموذج بناءً على الخسارة المحسوبة. وهي تستخدم التدرجات المستمدة من دالة الخسارة لضبط المعلمات وتقليل الخطأ. تؤثر دوال التنشيط على حساب هذه التدرجات ولكنها ليست طريقة التحسين نفسها. راجع نظرة عامة على خوارزميات التحسين من مطوري Google.
• تقنيات التطبيع: تهدف أساليب مثل تطبيع الدُفعات إلى تحقيق الاستقرار وتسريع عملية التدريب من خلال تطبيع المدخلات إلى طبقة ما. يحدث التطبيع قبل تطبيق دالة التنشيط، مما يساعد على الحفاظ على توزيع متسق للبيانات في جميع أنحاء الشبكة. يمكنك قراءة المزيد في ورقة تطبيع الدُفعات الأصلية.

يُعد فهم دالات التنشيط أمرًا ضروريًا لتصميم نماذج التعلّم الآلي (ML) الفعّالة وتدريبها وتحسينها. يمكن أن يؤثر الاختيار الصحيح بشكل كبير على أداء النموذج وديناميكيات التدريب. يمكنك استكشاف النماذج المختلفة ومكوناتها باستخدام أدوات مثل Ultralytics HUB، التي تسهل بناء نماذج الذكاء الاصطناعي ونشرها.