النزول التدريجي العشوائي (SGD)

يُعدّ "تدرج الميول العشوائي" (SGD) خوارزمية تحسين أساسية ومستخدمة على نطاق واسع في التعلم الآلي (ML). وهي طريقة تكرارية تُستخدم لتدريب النماذج عن طريق تعديل معاييرها الداخلية، مثل الأوزان والانحيازات، لتقليل دالة الخسارة. على عكس "تدرج الميول" التقليدي، الذي يعالج مجموعة البيانات بأكملها لكل تحديث، يقوم SGD بتحديث المعلمات باستخدام عينة تدريب واحدة فقط يتم اختيارها عشوائيًا. هذا النهج "العشوائي" يجعل عملية التدريب أسرع وأكثر قابلية للتطوير بشكل ملحوظ، وهو أمر مهم بشكل خاص عند العمل مع البيانات الضخمة. يمكن أن تساعد التحديثات المشوبة بالضوضاء النموذج أيضًا على الهروب من الحد الأدنى المحلي الضعيف في مشهد الخطأ وربما إيجاد حل عام أفضل.

آلية عمل نزول التدرج الاحتمالي

الفكرة الأساسية وراء SGD هي تقريب التدرج الحقيقي لدالة الخسارة، والذي يتم حسابه على مجموعة البيانات بأكملها، باستخدام تدرج الخسارة لعينة واحدة. في حين أن هذا التدرج أحادي العينة هو تقدير صاخب، إلا أنه رخيص من الناحية الحسابية، وفي المتوسط، يشير إلى الاتجاه الصحيح. تتضمن العملية تكرار دورة بسيطة من خطوتين لكل عينة تدريب:

1. حساب التدرج: حساب تدرج دالة الخسارة فيما يتعلق بمعلمات النموذج لمثال تدريب واحد.
2. تحديث المعلمات: اضبط المعلمات في الاتجاه المعاكس للتدرج، مع قياسها بواسطة معدل التعلم. يؤدي هذا إلى نقل النموذج نحو حالة ذات خطأ أقل لتلك العينة المحددة.

تتكرر هذه الدورة لعدة تمريرات على مجموعة البيانات بأكملها، والمعروفة باسم الحقب، مما يحسن أداء النموذج تدريجيًا. لقد جعلت كفاءة SGD حجر الزاوية في التعلم العميق (DL) الحديث، وهي مدعومة من قبل جميع الأطر الرئيسية مثل PyTorch و TensorFlow.

مُحسِّن Sgd مُقارنةً بالمُحسِّنات الأخرى

SGD هي واحدة من عدة طرق تحسين تعتمد على التدرج، ولكل منها مقايضات خاصة بها.

• هبوط التدرج المجمّع: تحسب هذه الطريقة التدرج باستخدام مجموعة بيانات التدريب بأكملها. وهي توفر مسارًا ثابتًا ومباشرًا إلى الحد الأدنى ولكنها بطيئة للغاية وتستهلك الكثير من الذاكرة لمجموعات البيانات الكبيرة، مما يجعلها غير عملية لمعظم التطبيقات الحديثة.
• النزول التدريجي المصغر: هذا حل وسط بين Batch GD و SGD. يقوم بتحديث المعلمات باستخدام مجموعة فرعية صغيرة وعشوائية ("دفعة صغيرة") من البيانات. إنه يوازن بين استقرار Batch GD وكفاءة SGD وهو النهج الأكثر شيوعًا المستخدم في الممارسة.
• محسِّن Adam: Adam عبارة عن خوارزمية تحسين تكيفية تحافظ على معدل تعلم منفصل لكل معلمة وتعدله مع تقدم التعلم. غالبًا ما يتقارب بشكل أسرع من SGD، ولكن SGD يمكنه أحيانًا العثور على الحد الأدنى الأفضل وتقديم تعميم أفضل، مما يساعد على منع التجاوز.

تطبيقات واقعية

تعتبر SGD ومتغيراتها ضرورية لتدريب مجموعة واسعة من نماذج الذكاء الاصطناعي عبر مجالات مختلفة.

• تدريب الكشف عن الكائنات في الوقت الفعلي: بالنسبة للنماذج مثل Ultralytics YOLO المصممة للاستدلال في الوقت الفعلي، يجب أن يكون التدريب فعالاً. يسمح SGD للمطورين بتدريب هذه النماذج على مجموعات بيانات صور كبيرة مثل COCO أو مجموعات البيانات المخصصة التي تتم إدارتها عبر منصات مثل Ultralytics HUB. تتيح التحديثات السريعة تقاربًا أسرع مقارنةً بـ Batch GD، وهو أمر بالغ الأهمية للتكرار السريع أثناء تطوير النموذج و ضبط المعلمات الفائقة. تدعم هذه الكفاءة التطبيقات في مجالات مثل المركبات ذاتية القيادة و الروبوتات.
• تدريب نماذج اللغة الكبيرة (LLMs): غالبًا ما يتضمن تدريب النماذج لـ معالجة اللغات الطبيعية (NLP) مجموعات بيانات نصية ضخمة. يعتبر SGD ومتغيراته ضروريًا للتكرار خلال هذه البيانات بكفاءة، مما يسمح لنماذج مثل GPT-4 أو تلك الموجودة على Hugging Face بتعلم القواعد والسياق والدلالات. تساعد الطبيعة العشوائية على الهروب من الحد الأدنى المحلي الضعيف في منظر الخسارة (loss landscape) المعقد، وهو تحد شائع في تدريب الشبكات العصبية (neural networks) الكبيرة. هذه العملية أساسية لمهام مثل الترجمة الآلية (machine translation) و تحليل المشاعر (sentiment analysis).