تدرج التلاشي

تعد مشكلة التدرج المتلاشي تحديًا شائعًا تتم مواجهته أثناء تدريب الشبكات العصبية العميقة. وهي تحدث عندما تصبح التدرجات، وهي الإشارات المستخدمة لتحديث أوزان الشبكة عبر الترحيل العكسي، صغيرة للغاية عندما يتم نشرها من طبقة الخرج إلى الطبقات الأولية. عندما تقترب هذه التدرجات من الصفر، لا يتم تحديث أوزان الطبقات الأولية بشكل فعال، أو لا يتم تحديثها على الإطلاق. يؤدي هذا بشكل أساسي إلى إيقاف عملية التعلّم لتلك الطبقات، مما يمنع نموذج التعلّم العميق من الوصول إلى الحل الأمثل والتعلّم من البيانات.

ما الذي يسبب اختفاء التدرجات؟

يكمن السبب الرئيسي لتلاشي التدرجات في طبيعة بعض دوال التنشيط وعمق الشبكة نفسها.

• دوال التنشيط: تضغط دوال التنشيط التقليدية مثل الدوال السهمية ودوال الظل الزائدي (tanh) على مدخلاتها في نطاق مخرجات صغير جدًا. تكون مشتقات هذه الدوال صغيرة. أثناء الترحيل العكسي، يتم ضرب هذه المشتقات الصغيرة معًا عبر العديد من الطبقات. كلما زاد عدد الطبقات في الشبكة، كلما زاد عدد هذه الأعداد الصغيرة المضاعفة، مما يؤدي إلى تقلص التدرج النهائي أسيًا نحو الصفر.
• البنى العميقة: تبرز المشكلة بشكل خاص في الشبكات العميقة جدًا، بما في ذلك الشبكات العصبية المتكررة المبكرة (RNNs)، حيث يتم نشر التدرجات عبر العديد من الخطوات الزمنية. تتضمن كل خطوة عملية ضرب، مما قد يقلل من إشارة التدرج على مدى تسلسلات طويلة.

التدرجات المتلاشية مقابل التدرجات المتفجرة

التدرجات المتلاشية هي عكس التدرجات المتفجرة. وترتبط كلتا المشكلتين بتدفق التدرجات أثناء التدريب، ولكن لهما تأثيرات مختلفة:

• التدرجات المتلاشية: تتقلص التدرجات أضعافًا مضاعفة حتى تصبح صغيرة جدًا لتسهيل أي تعلم ذي معنى في الطبقات الأولى من الشبكة.
• التدرجات المتفجرة: تنمو التدرجات بشكل لا يمكن السيطرة عليه، مما يؤدي إلى تحديثات وزن هائلة تتسبب في عدم استقرار النموذج وفشل في التقارب.

إن معالجة كلتا المشكلتين أمر بالغ الأهمية للنجاح في تدريب نماذج ذكاء اصطناعي عميقة وقوية.

الحلول واستراتيجيات التخفيف من المخاطر

تم تطوير العديد من التقنيات لمكافحة مشكلة تلاشي التدرج:

• دوال تنشيط أفضل: يعد استبدال دالتَي الدالة السهمية ودالة الظل بدوال مثل الوحدة الخطية المعدلة (ReLU) أو متغيراتها( الوحدة الخطية المعدلة (ReLU)، GELU) حلًا شائعًا. مشتق ReLU هو 1 للمدخلات الموجبة، مما يمنع التدرج من الانكماش.
• البنى المتقدمة: تم تصميم البنى خصيصًا للتخفيف من هذه المشكلة. تقدم الشبكات المتبقية (ResResNets) "وصلات التخطي" التي تسمح للتدرج بتجاوز الطبقات، مما يوفر مسارًا أقصر أثناء الترحيل العكسي. بالنسبة للبيانات المتتابعة، تستخدم شبكات الذاكرة قصيرة الأجل الطويلة (LSTM) وشبكات الوحدة المتكررة ذات البوابات (GRU) آليات بوابات للتحكم في تدفق المعلومات والتدرجات، كما هو مفصل في ورقة LSTM الأصلية وورقة GRU.
• تهيئة الأوزان: يمكن أن تساعد التهيئة السليمة لأوزان الشبكة، باستخدام طرق مثل تهيئة He أو Xavier، في ضمان بدء التدرجات ضمن نطاق معقول. يمكن العثور على مزيد من المعلومات حول هذا الأمر في المناقشات حول أفضل ممارسات التعلم العميق.
• تطبيع الدُفعات: يساعد تطبيق التطبيع الدفعي على تطبيع المدخلات لكل طبقة، مما يؤدي إلى استقرار الشبكة ويقلل من الاعتماد على التهيئة وبالتالي التخفيف من مشكلة تلاشي التدرج.

تأثير العالم الحقيقي وأمثلة على ذلك

كان التغلب على التدرجات المتلاشية إنجازًا حاسمًا للذكاء الاصطناعي الحديث.

1. معالجة اللغة الطبيعية (NLP): فشلت الشبكات الشبكية الشبكية العصبية العصبية المبكرة في مهام مثل الترجمة الآلية وتحليل المشاعر الطويلة لأنها لم تستطع تذكر المعلومات من بداية الجملة الطويلة. وقد سمح اختراع LSTMs و GRUs للنماذج بالتقاط هذه التبعيات بعيدة المدى. وتستخدم البنى الحديثة مثل المحولات الانتباه الذاتي لتجاوز مشكلة التدرج المتسلسل تماماً، مما يؤدي إلى أداء متطور.
2. الرؤية الحاسوبية: كان يُعتقد في السابق أن مجرد تعميق الشبكات العصبية التلافيفية (CNNs) لن يحسن الأداء بسبب صعوبات التدريب مثل تلاشي التدرجات. وقد أثبت إدخال معماريات الشبكات العصبية التلافيفية (ResNet ) خطأ هذا الاعتقاد، مما أتاح إمكانية إنشاء شبكات بمئات الطبقات. وقد أدى ذلك إلى حدوث تقدم كبير في تصنيف الصور وتجزئة الصور واكتشاف الأجسام، مما شكل الأساس لنماذج مثل Ultralytics YOLO. غالبًا ما يتضمن تدريب هذه النماذج مجموعات بيانات كبيرة للرؤية الحاسوبية ويمكن إدارتها على منصات مثل Ultralytics HUB.