Model Soups

تشير Model Soups إلى تقنية في تعلم الآلة حيث يتم حساب المتوسط الحسابي لأوزان شبكات عصبية متعددة، تم ضبطها بدقة من نفس النموذج الأساسي المدرب مسبقًا باستخدام معاملات فائقة مختلفة، لإنشاء نموذج واحد أكثر قوة. يسمح هذا النهج للمطورين بتحسين الدقة العامة والتعميم دون زيادة التكلفة الحسابية أثناء الاستدلال.

عند ضبط نموذج ما، عادةً ما يقوم الممارسون بإجراء عملية بحث واسعة النطاق لضبط ضبط المعلمات الفائقة للعثور على التكوين الأفضل أداءً. تقليديًا، يتم اختيار النموذج الأفضل منفردًا، ويتم التخلص من البقية. ومع ذلك، فإن إنشاء "حساء النماذج" (Model Soup) يستفيد من الميزات المتنوعة التي تعلمتها جميع النماذج في عملية البحث. من خلال متوسط أوزان النماذج الخاصة بها بشكل مباشر، غالبًا ما تتفوق الشبكة الناتجة على أفضل نموذج منفرد، مما يجمع بفعالية بين نقاط قوتها مع تقليل التجهيز المفرط. تتسم هذه العملية بالكفاءة العالية ويمكن إدارتها بسهولة داخل بيئات تعاونية مثل منصة Ultralytics.

تطبيقات العالم الحقيقي#

تعتبر Model Soups فعالة للغاية في السيناريوهات التي تكون فيها الموارد الحسابية محدودة، ولكن يلزم توفر دقة ومتانة عاليتين.

• رؤية المركبات ذاتية القيادة: عند نشر أنظمة اكتشاف الكائنات في السيارات ذاتية القيادة، يجب أن تعمم النماذج عبر ظروف الإضاءة والطقس المتنوعة. من خلال حساب المتوسط لعدة نماذج مدربة مع زيادات بيانات ومعدلات تعلم متنوعة، ينشئ المهندسون حساءً شديد المتانة يحافظ على زمن استجابة الاستدلال منخفضًا. هذا يضمن أن سرعات المعالجة في الوقت الفعلي والحاسمة لـالملاحة الذاتية تظل دون تأثر.
• التشخيص الطبي المحمول: في تطبيقات الذكاء الاصطناعي على الحافة، مثل تشغيل تصنيف الصور على الهواتف الذكية للفحص الجلدية الأولي، تكون الطاقة الحاسوبية محدودة بشدة. يوفر حساء النماذج الدقة المعززة اللازمة موثوقية سريرية مع ضمان أن البصمة النهائية تتناسب بسهولة مع أجهزة الحافة المحمولة دون استنزاف البطارية أو تتطلب اتصالاً بالسحابة.

التمييز بين المفاهيم ذات الصلة#

للتنقل في مشهد تحسين التعلم العميق، من المهم التمييز بين حساء النماذج والتقنيات المماثلة:

• مجموعة النماذج: يجمع التجميع بين تنبؤات (مخرجات) نماذج مستقلة متعددة. في حين أن هذا يحسن الدقة، فإنه يتطلب تشغيل كل نموذج أثناء الاستدلال، مما يضاعف التكلفة الحاسوبية. يقوم حساء النماذج بحساب متوسط الأوزان قبل الاستدلال، مما يحافظ على التكلفة الحاسوبية مطابقة لنموذج واحد.
• دمج النماذج: هذا مصطلح أوسع لدمج النماذج التي ربما تم تدريبها على مهام أو مجموعات بيانات مختلفة تمامًا. يعد حساء النماذج مجموعة فرعية محددة من الدمج حيث تنشأ جميع النماذج من نفس الهندسة الأساسية المدربة مسبقًا تمامًا ويتم ضبطها بدقة على نفس مهمة الهدف.

مثال على التنفيذ#

يتضمن إنشاء حساء نموذج موحد الوصول إلى قاموس حالات PyTorch لعدة نماذج مدربة وحساب متوسط موتراتها رياضيًا. أدناه مثال موجز لكيفية تحقيق ذلك باستخدام سير عمل Ultralytics YOLO26 مدعوم أصليًا بواسطة إطار عمل PyTorch.

import torch

# Load the PyTorch state dictionaries from two fine-tuned YOLO26 models
model1 = torch.load("yolo26_run1.pt")["model"].state_dict()
model2 = torch.load("yolo26_run2.pt")["model"].state_dict()

# Create a uniform model soup by averaging the model weights
soup_dict = {key: (model1[key] + model2[key]) / 2.0 for key in model1.keys()}

# The resulting soup_dict can now be loaded into a new YOLO26 instance

من خلال الاستفادة من هذه التقنية، يمكن لممارسي الرؤية الحاسوبية تعزيز مقاييس الأداء بسهولة مثل إمكانيات التعلم صفر-لقطة والمتانة العامة دون التضحية بسرعة النشر المطلوبة لبنى الذكاء الاصطناعي الحديثة الموجهة نحو الحافة.