Overfitting

يحدث الفرط في التخصيص في تعلم الآلة عندما يتعلم النموذج بيانات التدريب بشكل مفرط، حيث يلتقط الضوضاء والتقلبات العشوائية بدلاً من التوزيع الأساسي للبيانات. فبدلاً من تعلم الأنماط العامة التي تنطبق على بيانات جديدة وغير مرئية، يقوم النموذج المفرط في التخصيص فعلياً بحفظ أمثلة محددة في مجموعة التدريب. يؤدي هذا إلى أداء ممتاز على بيانات التدريب ولكن ضعف في التعميم على سيناريوهات العالم الحقيقي. غالباً ما يوصف هذا بأنه "تباين عالٍ"، مما يعني أن تنبؤات النموذج تختلف بشكل كبير اعتماداً على مجموعة البيانات المحددة المستخدمة للتدريب.

Link to this sectionلماذا يحدث الفرط في التخصيص#

السبب الرئيسي للفرط في التخصيص هو التعقيد المفرط للنموذج مقارنة بحجم البيانات المتاحة. إذا كان الشبكة العصبية كبيراً جداً—بمعنى أنه يحتوي على طبقات أو معاملات كثيرة—فإنه يمكنه بسهولة حفظ أمثلة التدريب. تشمل العوامل المساهمة الأخرى ما يلي:

• بيانات تدريب غير كافية: قد تحتوي مجموعات البيانات الصغيرة على ارتباطات زائفة غير موجودة في المجتمع الأوسع. النماذج المدربة على بيانات محدودة تكون عرضة لتعلم هذه الأنماط العرضية.
• ضوضاء البيانات والقيم المتطرفة: يمكن لمستويات عالية من الضوضاء أو القيم المتطرفة غير التمثيلية في بيانات التدريب أن تضلل النموذج، مما يدفعه إلى تعديل معاملاته الداخلية لتناسب الشذوذ بدلاً من الإشارة الحقيقية.
• فترة تدريب طويلة: التدريب لعدد كبير جداً من الحقبات يسمح للنموذج بالاستمرار في تحسين أوزانه حتى تتناسب مع الضوضاء الموجودة في مجموعة التدريب. غالباً ما يتم مراقبة ذلك باستخدام بيانات التحقق.

Link to this sectionالفرط في التخصيص مقابل النقص في التخصيص (Underfitting)#

من المهم التمييز بين الفرط في التخصيص والنقص في التخصيص. بينما يتضمن الفرط في التخصيص تعلم الكثير من التفاصيل (بما في ذلك الضوضاء)، يحدث النقص في التخصيص عندما يكون النموذج بسيطاً جداً بحيث لا يلتقط الهيكل الأساسي للبيانات على الإطلاق. يعمل النموذج الذي يعاني من نقص في التخصيص بشكل سيئ على كل من بيانات التدريب والبيانات الجديدة، مما يؤدي غالباً إلى تحيز عالٍ. يُعرف تحقيق التوازن بين هذين النقيضين بـ مقايضة التحيز والتباين.

Link to this sectionمنع الفرط في التخصيص#

يستخدم المهندسون عدة تقنيات للتخفيف من الفرط في التخصيص وتحسين متانة النموذج:

• التنظيم (Regularization): تقنيات مثل تنظيم L1/L2 أو إضافة طبقات الإسقاط (Dropout) تفرض عقوبات أو عشوائية أثناء التدريب، مما يمنع النموذج من الاعتماد المفرط على ميزات محددة.
• التوقف المبكر: تسمح مراقبة دالة الخسارة في مجموعة التحقق بإيقاف التدريب بمجرد توقف الأداء على البيانات غير المرئية عن التحسن، حتى لو استمرت دقة التدريب في الارتفاع.
• زيادة البيانات: إن زيادة حجم وتنوع مجموعة التدريب بشكل مصطنع باستخدام زيادة البيانات تجعل من الصعب على النموذج حفظ الصور بدقة.
• التحقق المتقاطع: استخدام تقنيات مثل التحقق المتقاطع k-fold يضمن اختبار النموذج على مجموعات فرعية مختلفة من البيانات، مما يوفر تقديراً أكثر موثوقية لأدائه.

Link to this sectionأمثلة من العالم الحقيقي#

يمكن أن يكون للفرط في التخصيص عواقب وخيمة عند نشر الذكاء الاصطناعي في بيئات الإنتاج:

• التشخيص الطبي: في الذكاء الاصطناعي في الرعاية الصحية، قد يفرط نموذج تم تدريبه للكشف عن سرطان الجلد في التخصيص لظروف الإضاءة أو علامات المسطرة الموجودة في صور التدريب. عند نشره في عيادة ذات إضاءة أو معدات مختلفة، قد يفشل النموذج في تحديد الآفات الخبيثة بشكل صحيح لأنه اعتمد على إشارات خلفية غير ذات صلة.
• التنبؤ المالي: قد يفرط نموذج التنبؤ بسعر الأسهم في التخصيص لاتجاهات السوق التاريخية التي كانت مدفوعة بحدث محدد وغير قابل للتكرار (مثل أزمة اقتصادية لمرة واحدة). من المحتمل أن يفشل مثل هذا النموذج في التنبؤ بتحركات الأسهم المستقبلية بدقة لأنه حفظ الشذوذات الماضية بدلاً من تعلم ديناميكيات السوق الأساسية.

Link to this sectionمثال برمجي: التوقف المبكر مع YOLO26#

باستخدام منصة Ultralytics أو نصوص التدريب المحلية، يمكنك منع الفرط في التخصيص عن طريق ضبط صبر التوقف المبكر. يؤدي هذا إلى إيقاف التدريب إذا لم تتحسن ملاءمة التحقق لعدد محدد من الحقبات.

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Train with early stopping enabled (patience=50 epochs)
# If validation metrics don't improve for 50 epochs, training stops.
results = model.train(data="coco8.yaml", epochs=100, patience=50)

Link to this sectionمفاهيم ذات صلة#

• التعميم: قدرة النموذج على التكيف والأداء الجيد على بيانات جديدة لم يسبق لها مثيل، وهو عكس الفرط في التخصيص.
• التحقق المتقاطع: تقنية لتقييم كيفية تعميم نتائج التحليل الإحصائي على مجموعة بيانات مستقلة.
• التنظيم (Regularization): طرق تستخدم لتقليل الأخطاء عن طريق ملاءمة دالة بشكل مناسب على مجموعة التدريب المعطاة وتجنب الفرط في التخصيص.