مُحسِّن Adam

Adam (تقدير اللحظة التكيفية) هي خوارزمية متطورة ومستخدمة على نطاق واسع خوارزمية تحسين متطورة ومستخدمة على نطاق واسع مصممة لتحديث معلمات الشبكة العصبية أثناء عملية التدريب. من خلال الجمع بين أفضل خصائص اثنين من الامتدادات الشائعة الأخرى الشعبية الأخرى Stochastic Gradastic Grad Descent Descent (SGD)- وتحديداً خوارزمية التدرج التكيفي (AdaGrad) وخوارزمية الانتشار الجذري المربع المتوسط (RMSProp) - يحسب Adam معدلات التعلم التكيفية لكل معلمة فردية. تسمح هذه تسمح لها بالتعامل مع التدرجات المتفرقة على المشاكل الصاخبة بكفاءة، مما يجعلها خيارًا افتراضيًا لتدريب بنى التعلم العميق المعقدة (DL), بما في ذلك أحدث نماذجYOLO11 .

كيف يعمل Adam

تتضمن الآلية الأساسية وراء Adam حساب اللحظات الأولى والثانية من التدرجات لتكييف معدل التعلم لكل وزن في الشبكة العصبية. يمكنك التفكير في "العزم الأول الأولى" على أنها الزخم الذي يحافظ على حركة التحسين في الاتجاه الصحيح على غرار كرة ثقيلة تتدحرج أسفل التل. يتتبع "العزم الثاني" التباين غير المركزي، مما يؤدي بشكل فعال إلى قياس حجم الخطوة بناءً على الحجم التاريخي للتدرجات.

أثناء عملية الترحيل العكسي، تحسب الخوارزمية تدرج دالة الخسارة فيما يتعلق بأوزان الأوزان. ثم يقوم Adam بعد ذلك بتحديث المتوسطات الأسية المتحركة للتدرج (الزخم) والتدرج المربع (التباين). تُستخدَم هذه المتوسطات المتحركة لتوسيع نطاق التدرج الحالي، مما يضمن أن النموذج يأخذ خطوات أكبر في الاتجاهات مع تدرجات متناسقة وخطوات أصغر في الاتجاهات ذات التباين العالي. هذه العملية مفصلة في ورقة بحثAdam الأصلية التي كتبها كينجما وبا.

تمييز Adam عن المُحسِّنات الأخرى

يتطلب فهم وقت استخدام Adam مقارنته بالخوارزميات الشائعة الأخرى الموجودة في أطر التعلم الآلي (ML).

• نزول التدرج العشوائي (SGD): يقوم SGD بتحديث المعلمات باستخدام معدل تعلم ثابت (أو جدول اضمحلال بسيط). في حين أن SGD فعال من الناحية الحسابية فعال من الناحية الحسابية وغالباً ما يعمم بشكل جيد، إلا أنه يمكن أن يعاني من "نقاط السرج" في مشهد الخسارة و ويتقارب بشكل أبطأ من Adam. العديد من من مهام الرؤية الحاسوبية تستخدم SGD للضبط النهائي للضبط النهائي للحصول على أقصى قدر من الدقة.
• RMSProp: يعالج هذا المُحسِّن بشكل أساسي مشكلة تناقص معدلات التعلُّم التي تظهر في AdaGrad. Adam على RMSProp عن طريق إضافة حد الزخم الذي يساعد على تخفيف التذبذبات وتسريع التقارب نحو الحد الأدنى.
• AdamW: متغير يُعرف باسم Adam مع اضمحلال الوزن المنفصل AdamW) غالبًا ما يُفضَّل لتدريب المحولات الحديثة الحديثة ونماذج الرؤية الحاسوبية الكبيرة. إنه يفصل تنظيم اضمحلال الوزن عن تحديث التدرج، مما يؤدي غالبًا إلى تعميم أفضل من Adam القياسي.

تطبيقات واقعية

بسبب متانته وقلة متطلباته من حيث لضبط المعلمات الفائقة، يُستخدم Adam في مختلف المجالات عالية التأثير.

1. الذكاء الاصطناعي في الرعاية الصحية: عندما نماذج التدريب على تحليل الصور الطبية - مثلاكتشاف الشذوذ في فحوصات التصوير بالرنين المغناطيسي - يمكن أن تكون البيانات متناثرة أو غير متوازنة. تساعد معدلات التعلّم التكيفي في Adam على تقارب النموذج بسرعة حتى عندما تظهر ميزات محددة بشكل غير منتظم في بيانات التدريب، مما يسهل النشر الأسرع أدوات التشخيص بشكل أسرع.
2. معالجة اللغات الطبيعية (NLP): تعتمد النماذج اللغوية الكبيرة (LLMs) مثل GPT-4 اعتمادًا كبيرًا على Adam (أو AdamW) أثناء التدريب المسبق. الخوارزمية تتعامل بكفاءة مع العدد الهائل من المعلمات - غالبًا بالمليارات - والطبيعة المتفرقة لتضمينات الكلمات, مما يسمح لهذه النماذج بتعلم أنماط لغوية معقدة من مجموعات بيانات نصية ضخمة مثل ويكيبيديا.

الاستخدام في Ultralytics YOLO

عند استخدام واجهة برمجة تطبيقاتUltralytics Python يمكنك بسهولة تحديد مُحسِّن Adam لتدريب نماذج اكتشاف الكائنات أو التجزئة أو تقدير الوضع. في حين أن SGD هو الافتراضي للعديد من تكوينات YOLO فإن Adam هو بديل ممتاز لمجموعات البيانات الأصغر أو عندما يكون التقارب السريع تكون الأولوية للتقارب السريع.

يوضح المثال التالي كيفية تدريب YOLO11 باستخدام مُحسِّن Adam :

from ultralytics import YOLO

# Load a generic YOLO11 model
model = YOLO("yolo11n.pt")

# Train the model on the COCO8 dataset using the 'Adam' optimizer
# The 'optimizer' argument creates the specific PyTorch optimizer instance internally
results = model.train(data="coco8.yaml", epochs=5, optimizer="Adam")

تسمح هذه المرونة للباحثين والمهندسين بتجربة تكوينات المُحسِّن للعثور على أفضل إعداد لمجموعات البيانات المخصصة مجموعات البيانات المخصصة الخاصة بهم.