مسرد المصطلحات

مُحسِّن آدم

تعرّف على كيفية قيام مُحسِّن آدم بتشغيل تدريب الشبكة العصبية الفعال بمعدلات تعلُّم تكيُّفية وزخم وتطبيقات واقعية في مجال الذكاء الاصطناعي.

تدريب YOLO النماذج
ببساطة مع Ultralytics HUB

التعرف على المزيد

آدم (Adaptive Momentment Estimation) هي خوارزمية تحسين معتمدة على نطاق واسع وتستخدم على نطاق واسع في التعلم العميق (DL) والتعلم الآلي (ML). وهي مصممة لتحديث أوزان الشبكة بكفاءة أثناء عملية التدريب من خلال تكييف معدل التعلم لكل معلمة على حدة. تم تقديمه في ورقة بحثيةبعنوان "آدم: طريقة للتحسين العشوائي" من قبل ديديريك ب. كينجما وجيمي با، يجمع آدم بين مزايا تقنيتين أخريين شائعتين للتحسين: AdaGrad (خوارزمية التدرج التكيفي) و RMSprop(الانتشار الجذري لمربع المتوسط الجذري). هذا المزيج يجعلها فعالة بشكل خاص لتدريب الشبكات العصبية الكبيرة ذات المعلمات العديدة ومجموعات البيانات المعقدة.

كيف يعمل آدم

يحسب آدم معدلات التعلم التكيفي لكل معلمة بناءً على تقديرات اللحظات الأولى والثانية للتدرجات. في الأساس، يتتبع بشكل أساسي متوسط تضاؤل أسي للتدرجات السابقة (على غرار الزخم) ومتوسط تضاؤل أسي للتدرجات المربعة السابقة (على غرار AdaGrad/RMSprop).

  • الزخم: يساعد على تسريع نزول التدرج في الاتجاه ذي الصلة ويخفف من التذبذبات، مما يؤدي إلى تقارب أسرع.
  • معدلات التعلم التكيفي: يضبط معدّل التعلّم لكل وزن بناءً على عدد مرات التحديثات وحجمها تاريخيًا. تحصل المعلمات التي تتلقى تحديثات كبيرة أو متكررة على معدلات تعلم أصغر، بينما تحصل المعلمات ذات التحديثات الصغيرة أو النادرة على معدلات تعلم أكبر. هذا مفيد بشكل خاص للمشكلات ذات التدرجات المتفرقة أو البيانات الصاخبة.
  • تصحيح التحيز: يتضمن آدم آلية لمعاكسة الانحياز الأولي نحو الصفر في تقديرات اللحظة، خاصةً خلال المراحل الأولى من التدريب عندما تكون متوسطات التضاؤل لا تزال في طور التهيئة.

بالمقارنة مع خوارزميات أبسط مثل خوارزمية "نزول التدرج العشوائي" (SGD)، التي تستخدم معدل تعلم واحد ثابت (أو معدل يتحلل وفقًا لجدول زمني)، غالبًا ما يسمح تكييف آدم لكل معيار بتقدم أسرع في إيجاد حل جيد، خاصةً مع مناظر الخسارة المعقدة.

مزايا آدم

يحظى آدم بشعبية كبيرة لعدة أسباب:

  • الكفاءة الحسابية: تتطلب ذاكرة قليلة نسبيًا وفعالة من الناحية الحسابية.
  • أداء افتراضي جيد: غالبًا ما تعمل المعلمات التشعبية الافتراضية بشكل جيد عبر مجموعة واسعة من المشاكل، مما يقلل من الحاجة إلى ضبط المعلمات التشعبية بشكل مكثف.
  • الملاءمة للمشاكل الكبيرة: تعمل بشكل جيد على المشاكل ذات مجموعات البيانات الكبيرة ومساحات المعلمات عالية الأبعاد، وهي شائعة في الرؤية الحاسوبية ومعالجة اللغات الطبيعية.
  • يعالج الأهداف غير الثابتة: إنه مناسب تمامًا للمشاكل التي تتغير فيها دالة الهدف بمرور الوقت.
  • فعالة مع التدرجات المتفرقة: تجعل معدلات التعلّم التكيّفية من هذه التقنية مناسبة للسيناريوهات التي تكون فيها التدرجات متناثرة.

أمثلة من العالم الحقيقي

يُعد آدم مُحسِّنًا للعديد من النماذج الحديثة:

مثال 1: الرؤية الحاسوبية

في مجال الرؤية الحاسوبية، يُستخدم آدم بشكل متكرر لتدريب الشبكات العصبية التلافيفية العميقة (CNNs) لمهام مثل تصنيف الصور واكتشاف الأجسام وتجزئة الصور. على سبيل المثال، تدريب Ultralytics YOLO لاكتشاف الكائنات في الصور(مثل تلك الموجودة في مجموعة بيانات COCO) أو إجراء تجزئة للصور، يمكن الاستفادة من آدم لتحقيق التقارب الفعال أثناء مرحلة التدريب. يتم تطبيقه أيضًا في تحليل الصور الطبية لمهام مثل اكتشاف الأورام.

مثال 2: معالجة اللغة الطبيعية

آدم هو مُحسِّن قياسي لتدريب النماذج اللغوية الكبيرة (LLMs) مثل متغيرات BERT و GPT. عند تدريب النماذج لمهام مثل الترجمة الآلية، أو تلخيص النصوص، أو تحليل المشاعر، يساعد آدم في التنقل بكفاءة في مشهد دالة الخسارة المعقدة المرتبطة بهذه النماذج الكبيرة(القائمة على المحولات).

الاستخدام في Ultralytics YOLO

ضمن نظام Ultralytics البيئي، يُعد Adam ومتغيره AdamW (آدم مع اضمحلال الوزن المنفصل) من المُحسِّنات المتاحة لتدريب نماذجYOLO الخاصة بـ Ultralytics . يمكن للاستفادة من معدلات التعلُّم التكيُّفي في آدم تسريع التقارب أثناء تدريب نماذج اكتشاف الأجسام أو تجزئة النماذج أو تقدير الوضع مثل YOLO11 أو YOLOv10. على الرغم من أن SGD غالبًا ما يكون المُحسِّن الافتراضي والموصى به لبعض نماذج YOLO نظرًا لاحتمال تعميمه النهائي الأفضل(تجنب الإفراط في التخصيص)، يوفر آدم بديلاً قويًا، وهو مفيد بشكل خاص في سيناريوهات معينة أو أثناء التجربة الأولية وتقييم النموذج. يمكنك بسهولة تكوين المُحسِّن وإعدادات التدريب الأخرى. تعمل أدوات مثل Ultralytics HUB على تبسيط العملية، مما يسمح للمستخدمين بتدريب النماذج باستخدام مُحسِّنات مختلفة، بما في ذلك آدم، إما محلياً أو عبر التدريب السحابي. أطر مثل PyTorch و TensorFlow تطبيقات قياسية لآدم، والتي تُستخدم في إطار عمل Ultralytics . لمزيد من التحسينات في الأداء، ضع في اعتبارك تقنيات مثل التقطير المعرفي أو استكشاف بنيات النماذج المختلفة.

قراءة الكل