Stochastic Gradient Descent (SGD)

يُعد الانحدار الاشتقاقي العشوائي (SGD) خوارزمية تحسين قوية تُستخدم على نطاق واسع في التعلم الآلي لتدريب النماذج بكفاءة، خاصة عند العمل مع مجموعات بيانات ضخمة. في جوهره، يُعتبر SGD تنويعاً لطريقة الانحدار الاشتقاقي القياسية، وهو مصمم لتسريع عملية التعلم من خلال تحديث معاملات النموذج بشكل متكرر. بدلاً من حساب الخطأ لمجموعة البيانات بأكملها قبل إجراء تحديث واحد—كما يتم في انحدار الدفعة التقليدي—يقوم SGD بتحديث أوزان النموذج باستخدام عينة تدريب واحدة فقط يتم اختيارها عشوائياً في كل مرة. تُدخل هذه الطبيعة "العشوائية" ضوضاء في مسار التحسين، مما يساعد النموذج على الهروب من الحلول دون المثالية والتقارب بشكل أسرع في مجموعات البيانات الضخمة حيث تكون معالجة جميع البيانات دفعة واحدة أمراً مكلفاً حسابياً.

Link to this sectionكيف يعمل الانحدار الاشتقاقي العشوائي#

الهدف الأساسي لأي عملية تدريب هو تقليل دالة الخسارة، التي تحدد الفرق بين تنبؤات النموذج والقيم المستهدفة الفعلية. يحقق SGD ذلك من خلال دورة تكرارية. أولاً، تختار الخوارزمية نقطة بيانات عشوائية من بيانات التدريب. ثم تقوم بإجراء تمرير أمامي لتوليد تنبؤ وحساب الخطأ. باستخدام الانتشار العكسي، تحسب الخوارزمية الاشتقاق—الذي يمثل جوهرياً ميل مشهد الخطأ—بناءً على تلك العينة الواحدة. أخيراً، تقوم بتحديث أوزان النموذج في الاتجاه المعاكس للاشتقاق لتقليل الخطأ.

تتكرر هذه العملية لمرات عديدة، غالباً ما يتم تجميعها في عصور، حتى يستقر أداء النموذج. يتم التحكم في حجم هذه التحديثات بواسطة معامل تشعبي يُعرف باسم معدل التعلم. ولأن كل خطوة تعتمد على عينة واحدة فقط، فإن المسار إلى الحد الأدنى غالباً ما يكون متعرجاً أو صاخباً مقارنة بالمسار السلس لانحدار الدفعة. ومع ذلك، فإن هذه الضوضاء غالباً ما تكون مفيدة في التعلم العميق، حيث يمكن أن تمنع النموذج من الوقوع في حد أدنى محلي، مما قد يؤدي إلى حل عالمي أفضل.

Link to this sectionمقارنة SGD بخوارزميات التحسين الأخرى#

يعد فهم الفروق بين SGD وخوارزميات التحسين ذات الصلة أمراً بالغ الأهمية لاختيار استراتيجية التدريب الصحيحة.

• انحدار الدفعة: تحسب هذه الطريقة التقليدية الاشتقاق باستخدام مجموعة البيانات بأكملها لكل تحديث. في حين أنها توفر مساراً مستقراً ومباشراً للحد الأدنى، فهي بطيئة للغاية وتستهلك الكثير من الذاكرة لمهام التعلم الآلي (ML) واسعة النطاق.
• انحدار الدفعة المصغرة: من الناحية العملية، تطبق معظم أطر عمل التعلم العميق الحديثة، بما في ذلك PyTorch، نهجاً هجيناً يُشار إليه غالباً بـ SGD ولكنه تقنياً يُسمى بـ "Mini-Batch SGD". تقوم هذه الطريقة بتحديث المعاملات باستخدام مجموعة صغيرة من العينات (دفعة) بدلاً من عينة واحدة فقط. إنها توازن بين الكفاءة الحسابية لـ SGD النقي واستقرار انحدار الدفعة، مما يجعلها المعيار لتدريب نماذج مثل YOLO26.
• مُحسِّن Adam: Adam هو خوارزمية تحسين ذات معدل تعلم تكيفي تعتمد على SGD. يقوم بضبط معدل التعلم لكل معامل بشكل فردي بناءً على تقديرات اللحظة. في حين أن Adam غالباً ما يتقارب بشكل أسرع، لا يزال SGD مع الزخم يُستخدم بشكل متكرر في الرؤية الحاسوبية (CV) لقدرته على إيجاد حلول أكثر قابلية للتعميم في سيناريوهات معينة.

Link to this sectionتطبيقات العالم الحقيقي#

تُعد SGD ومشتقاتها المحركات خلف العديد من تقنيات الذكاء الاصطناعي التحويلية المستخدمة اليوم.

1. المركبات ذاتية القيادة: في تطوير المركبات ذاتية القيادة، يجب على النماذج معالجة تدفقات هائلة من البيانات البصرية لتحديد المشاة وإشارات المرور والعوائق. يتطلب تدريب شبكات كشف الأشياء المعقدة هذه تحسيناً فعالاً للتعامل مع ملايين صور الطرق. يسمح SGD للمهندسين بتحسين دقة النموذج تكرارياً، مما يضمن أن الأنظمة الحساسة للسلامة في الذكاء الاصطناعي في السيارات يمكنها اتخاذ قرارات موثوقة في الوقت الفعلي.

2. التشخيص الطبي: يعتمد مجال تحليل الصور الطبية بشكل كبير على التعلم العميق للكشف عن الشذوذ مثل الأورام في صور الرنين المغناطيسي أو الأشعة السينية. نظراً لأن مجموعات البيانات الطبية يمكن أن تكون ضخمة وعالية الدقة، فإن SGD يتيح تدريب الشبكات العصبية التلافيفية (CNNs) المعقدة دون استنفاد موارد الذاكرة. هذا يسهل إنشاء أدوات تشخيص عالية الدقة تساعد الأطباء في الذكاء الاصطناعي في الرعاية الصحية.

Link to this sectionمثال كود Python#

بينما تتعامل المكتبات عالية المستوى مثل ultralytics مع التحسين داخلياً أثناء أمر train()، يمكنك رؤية كيفية تهيئة مُحسِّن SGD واستخدامه ضمن سير عمل PyTorch منخفض المستوى. يوضح هذا المقتطف تعريف مُحسِّن SGD بسيط لموتر.

import torch
import torch.nn as nn
import torch.optim as optim

# Define a simple linear model
model = nn.Linear(10, 1)

# Initialize Stochastic Gradient Descent (SGD) optimizer
# 'lr' is the learning rate, and 'momentum' helps accelerate gradients in the right direction
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

# Create a dummy input and target
data = torch.randn(1, 10)
target = torch.randn(1, 1)

# Forward pass
output = model(data)
loss = nn.MSELoss()(output, target)

# Backward pass and optimization step
optimizer.zero_grad()  # Clear previous gradients
loss.backward()  # Calculate gradients
optimizer.step()  # Update model parameters
print("Model parameters updated using SGD.")

Link to this sectionالتحديات والحلول#

على الرغم من شعبيته، يأتي SGD مع تحديات. القضية الأساسية هي الضوضاء في خطوات الاشتقاق، والتي يمكن أن تسبب تقلب الخسارة بشكل كبير بدلاً من التقارب بسلاسة. للتخفيف من ذلك، يستخدم الممارسون غالباً الزخم، وهو تقنية تساعد على تسريع SGD في الاتجاه الصحيح وتخفيف التذبذبات، على غرار كرة ثقيلة تتدحرج أسفل تل. بالإضافة إلى ذلك، يعد العثور على معدل التعلم الصحيح أمراً بالغ الأهمية؛ إذا كان مرتفعاً جداً، فقد يتجاوز النموذج الحد الأدنى (اشتقاق متفجر)، وإذا كان منخفضاً جداً، فسيكون التدريب بطيئاً بشكل مؤلم. تساعد أدوات مثل منصة Ultralytics في أتمتة هذه العملية من خلال إدارة ضبط المعاملات التشعبية وتوفير تصور لمقاييس التدريب. تؤدي التطورات مثل مُحسِّن Adam إلى أتمتة ضبط معدل التعلم بشكل أساسي، مما يعالج بعض الصعوبات الكامنة في SGD.