تلاشي التدرج

تشير التدرجات المتفجرة إلى حالة عدم استقرار حرجة تصادف أثناء تدريب الشبكات العصبية العميقة حيث تتراكم تتراكم تدرجات دالة الخسارة وتصبح كبيرة بشكل مفرط. تحدث هذه الظاهرة أثناء عملية الترحيل العكسي، وهي العملية المستخدمة لحساب مشتقات الخطأ وتحديث أوزان النموذج. عندما تنمو هذه التدرجات بشكل كبير، فإنها تجبر خوارزمية خوارزمية التحسين على إجراء ضخمة لمعلمات الشبكة. وبالتالي، يمكن للنموذج أن يتجاوز التكوين الأمثل، مما يؤدي إلى عملية تدريب متباينة حيث تتقلب قيمة الخسارة بشكل كبير أو تصبح NaN (ليس رقمًا)، مما يجعل النموذج غير قادر على التعلم من بيانات التدريب.

الأسباب والآليات

السبب الجذري لانفجار التدرجات يكمن في قاعدة السلسلة الرياضية المستخدمة لحساب المشتقات في العميقة. عندما تنتشر الأخطاء إلى الوراء من طبقة الخرج إلى طبقة الإدخال، يتم ضربها في أوزان كل طبقة وسيطة.

• عمق الشبكة العميقة: في الشبكات العميقة جدًا، مثل تلك المستخدمة في التعلُّم العميق (DL)، فإن ضرب العديد من التدرجات أكبر من 1.0 ينتج عنه قيمة تنمو أسيًا مع كل طبقة، على غرار الفائدة المركبة.
• تهيئة ضعيفة: إذا كانت الأوزان الأولية الأوزان الأولية عالية جداً، تتضخم الإشارة عند كل خطوة. تُعد استراتيجيات استراتيجيات تهيئة الوزن المناسبة ضرورية للحفاظ على الإشارات ضمن نطاق يمكن التحكم فيه.
• معدلات تعلم عالية: A يمكن أن يؤدي معدل التعلُّم الشديد إلى تفاقم مشكلة المشكلة، مما يتسبب في اتخاذ المُحسِّن خطوات كبيرة جدًا، مما يدفع النموذج إلى مناطق غير مستقرة في الخطأ.
• البنى المتكررة: من المعروف أن هذه المشكلة شائعة في الشبكات العصبية المتكررة (RNNs), حيث يتم تطبيق نفس الأوزان بشكل متكرر على تسلسل زمني طويل.

استراتيجيات الوقاية

تستخدم أطر وبنى الذكاء الاصطناعي الحديثة تقنيات محددة للتخفيف من هذه المخاطر، مما يضمن تقارباً مستقراً.

• قص التدرج: هذا هو الحل الأكثر مباشرة. وهو يتضمن تصغير متجه التدرج إذا تجاوز معياره عتبة محددة مسبقًا. يضمن ذلك بقاء التحديثات ضمن حد معقول, بغض النظر عن مدى انحدار سطح الخطأ. يمكنك قراءة المزيد عن ميكانيكيات قص التدرج في الأدلة التقنية.
• التطبيع الدفعي: من خلال تطبيع مدخلات الطبقة يعمل التطبيع الدفعي على استقرار توزيع التنشيطات في جميع أنحاء الشبكة، مما يمنع القيم من الخروج عن السيطرة.
• تسوية الوزن: تقنيات مثل L1 و L2 تنظيم معاقبة قيم الوزن الكبيرة, تثبط النموذج من الحفاظ على المعلمات التي يمكن أن تضخم التدرجات.
• محسنات متقدمة: الخوارزميات مثل مُحسِّن مُحسِّنAdam بتكييف معدل التعلُّم لكل معلم، والذي يمكن أن يساعد في التعامل مع مقاييس التدرج غير المتناسقة بشكل أفضل من معيار نزول التدرج العشوائي (SGD).

ما يلي PyTorch يوضح المقتطف كيفية تنفيذ قص التدرج اللوني يدويًا، وهي تقنية يتم التعامل معها تلقائيًا في عمليات سير عمل التدريب عالية المستوى مثل تلك الموجودة في ultralytics:

import torch
import torch.nn as nn

# Define a simple linear model and optimizer
model = nn.Linear(10, 1)
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

# Simulate a training step
loss = model(torch.randn(10)).sum()
loss.backward()

# Apply gradient clipping to prevent explosion before the optimizer step
# This limits the maximum norm of the gradients to 1.0
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

optimizer.step()

التدرجات المتفجرة مقابل التدرجات المتلاشية

من المهم التمييز بين التدرجات المتطايرة ونظيرتها المتلاشية التدرج المتلاشي. بينما ينبع كلاهما من نفس تضاعف القاعدة المتسلسلة في الشبكات العميقة، إلا أن تأثيراتهما متعاكسة:

• تدرج متفجر: تصبح التدرجات لا نهائية بشكل أساسي. تتغير أوزان النموذج بشكل كبير, مما يتسبب في التباعد وأخطاء NaN. غالبًا ما يتم إصلاحه عن طريق قص أو خفض معدلات التعلم.
• تدرج متلاشٍ: تقترب التدرجات من الصفر. تتوقف أوزان النموذج في الطبقات المبكرة عن التغير, مما يتسبب في توقف الشبكة العصبية عن التعلم. غالبًا ما يتم معالجة هذا الأمر بتخطي الاتصالات (كما هو الحال في الشبكات العصبية) أو دوال تنشيط محددة مثل ريلو.

تطبيقات واقعية

تعد إدارة مقدار التدرج شرطًا أساسيًا لتدريب النماذج المتطورة المستخدمة في الذكاء الاصطناعي الحديث.

1. معالجة اللغة الطبيعية (NLP): في مهام مثل الترجمة الآلية أو توليد النصوص باستخدام LSTMs، يجب على النماذج معالجة طويلة. بدون قص التدرج، قد تتسبب التدرجات المتراكمة على مدار العديد من الخطوات الزمنية في تعطل التدريب مما يمنع النموذج من تعلم التراكيب النحوية.
2. اكتشاف الأجسام عالية الأداء: عند تدريب نماذج الرؤية الحديثة مثل YOLO11 على مجموعات بيانات كبيرة مثل COCOفإن البنية عميقة ومشهد الخسارة معقدة. تستخدم نماذج Ultralytics تصاميم معمارية مستقرة ومعلمات تدريب افتراضية فائقة (بما في ذلك أحجام الدُفعات الاسمية) التي تمنع بطبيعتها التدرجات من الانفجار، مما يضمن أداءً قويًا في أداءً قويًا للكشف عن الكائنات.

للمزيد من القراءة حول تثبيت تدريب الشبكات العصبية، يمكن الرجوع إلى ملاحظات مقرر ستانفورد CS231n، يوفر منظور رياضي أعمق رياضية أعمق.