Exploding Gradient

تحدث التدرجات المتفجرة أثناء تدريب الشبكات العصبية الاصطناعية عندما تتراكم التدرجات — وهي القيم المستخدمة لتحديث أوزان الشبكة — وتصبح كبيرة بشكل مفرط. تحدث هذه الظاهرة عادةً أثناء الانتشار العكسي، وهي العملية التي تحسب فيها الشبكة الخطأ وتعدّل نفسها لتحسين الدقة. وعندما تُضرب إشارات الخطأ هذه بشكل متكرر عبر الطبقات العميقة، يمكن أن تنمو أُسِّيًا، مما يؤدي إلى تحديثات هائلة لـأوزان النموذج. ويمنع عدم الاستقرار هذا النموذج من التقارب، مما يؤدي فعليًا إلى تعطيل عملية التعلم، وغالبًا ما يتسبب في أن تُنتج دالة الخسارة قيم NaN (ليست رقمًا).

آلية عدم الاستقرار#

لفهم سبب انفجار التدرجات، من المفيد النظر في بنية معماريات التعلم العميق. في الشبكات العميقة، مثل الشبكات العصبية المتكررة (RNNs) أو الشبكات العصبية الالتفافية العميقة جدًا (CNNs)، يكون تدرج الطبقات المبكرة حاصل ضرب حدود من جميع الطبقات اللاحقة. وإذا كانت هذه الحدود أكبر من 1.0، فإن الضرب المتكرر يعمل مثل تأثير كرة الثلج.

يؤدي ذلك إلى حالة يتخذ فيها المُحسِّن خطوات أكبر بكثير من اللازم، متجاوزًا الحل الأمثل في مشهد الأخطاء. ويمثل هذا تحديًا شائعًا عند التدريب على بيانات معقدة باستخدام خوارزميات قياسية مثل الانحدار المتدرج العشوائي (SGD).

تقنيات الوقاية والتخفيف#

يستخدم تطوير AI الحديث عدة تقنيات قياسية لمنع التدرجات من الخروج عن السيطرة، مما يضمن تدريب النموذج بشكل موثوق.

• قصّ التدرجات: هذا هو التدخل الأكثر مباشرةً. ويتضمن ذلك تعيين قيمة عتبة. فإذا تجاوز معيار متجه التدرج هذه العتبة، يُخفَّض (يُقصّ) ليتوافق مع الحد. وتُعد هذه التقنية قياسية في أطر معالجة اللغة الطبيعية، وتسمح للنموذج بمواصلة التعلم باستقرار.
• تطبيع الدفعة: من خلال تطبيع مدخلات كل طبقة بحيث يكون متوسطها صفرًا وتباينها واحدًا، يمنع تطبيع الدفعة القيم من أن تصبح كبيرة جدًا أو صغيرة جدًا. ويؤدي هذا التغيير البنيوي إلى تنعيم مشهد التحسين بدرجة كبيرة.
• تهيئة الأوزان: تضبط استراتيجيات التهيئة المناسبة، مثل تهيئة Xavier (أو تهيئة Glorot)، الأوزان الأولية بحيث يظل تباين التنشيطات متساويًا عبر الطبقات.
• الوصلات المتبقية: تقدم معماريات مثل الشبكات المتبقية (ResNets) وصلات تخطٍّ. وتسمح هذه المسارات للتدرجات بالتدفق عبر الشبكة دون المرور عبر كل دالة تنشيط غير خطية، مما يخفف التأثير الضربي.
• المُحسِّنات المتقدمة: تستخدم خوارزميات مثل مُحسِّن Adam معدلات تعلم تكيفية للمعلمات الفردية، ويمكنها التعامل مع مقاييس التدرجات المتفاوتة بصورة أفضل من SGD الأساسي.

التدرجات المتفجرة مقابل المتلاشية#

غالبًا ما تُناقش مشكلة التدرج المتفجر إلى جانب نظيرتها، التدرج المتلاشي. وينشأ كلاهما من قاعدة السلسلة في التفاضل والتكامل المستخدمة في الانتشار العكسي، لكنهما يظهران بطرائق متعاكسة.

• التدرج المتفجر: تصبح التدرجات كبيرة جدًا (أكبر من 1.0). ويؤدي ذلك إلى تحديثات غير مستقرة للأوزان، وتجاوز عددي، وتباعد. وغالبًا ما تُعالَج هذه المشكلة بقصّ التدرجات.
• التدرج المتلاشي: تصبح التدرجات صغيرة جدًا (أصغر من 1.0) وتقترب من الصفر. ويتسبب ذلك في توقف الطبقات المبكرة من الشبكة عن التعلم تمامًا. وغالبًا ما تُعالَج هذه المشكلة باستخدام دوال تنشيط مثل ReLU أو المتغيرات المتسربة.

التطبيقات الواقعية#

يُعد التعامل مع مقدار التدرج أمرًا بالغ الأهمية لنشر حلول AI متينة عبر مختلف الصناعات.

1. الذكاء الاصطناعي التوليدي ونمذجة اللغة: يتطلب تدريب نماذج اللغة الكبيرة (LLMs) أو نماذج مثل GPT-4 معالجة تسلسلات نصية طويلة للغاية. ومن دون آليات مثل قصّ التدرجات وتطبيع الطبقة، ستؤدي التدرجات المتراكمة عبر مئات الخطوات الزمنية إلى فشل التدريب فورًا. وتضمن التدرجات المستقرة أن يتعلم النموذج البنى النحوية المعقدة والسياق.

2. الرؤية الحاسوبية المتقدمة: في مهام مثل اكتشاف الأجسام، تستخدم النماذج الحديثة مثل YOLO26 معماريات عميقة تضم مئات الطبقات. يدمج Ultralytics YOLO26 كتل التطبيع والكتل المتبقية المتقدمة بصورة أصلية، مما يضمن قدرة المستخدمين على التدريب على مجموعات بيانات ضخمة مثل COCO دون ضبط عتبات التدرج يدويًا. ويُعد هذا الاستقرار ضروريًا عند استخدام منصة Ultralytics لسير عمل التدريب المؤتمت.

مثال على شفرة Python#

رغم أن المكتبات عالية المستوى تتولى ذلك تلقائيًا غالبًا، يمكنك تطبيق قصّ التدرجات صراحةً في PyTorch أثناء حلقة تدريب مخصصة. يوضح هذا المقتطف كيفية قصّ التدرجات قبل أن يُحدّث المُحسِّن الأوزان.

import torch
import torch.nn as nn

# Define a simple model and optimizer
model = nn.Linear(10, 1)
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

# Simulate a training step
loss = torch.tensor(100.0, requires_grad=True)  # Simulated high loss
loss.backward()

# Clip gradients in place to a maximum norm of 1.0
# This prevents the weight update from being too drastic
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

# Update weights using the safe, clipped gradients
optimizer.step()