Loss Function

تقيس دالة الخسارة مدى اختلاف تنبؤات النموذج عن التسميات المرجعية في بيانات التدريب، وتختزل هذا الخطأ في قيمة واحدة، تكون القيمة الأقل فيها أفضل. ويعني تدريب شبكة عصبية تعديل أوزان النموذج لتقليل هذه القيمة إلى أدنى حد ممكن. ويشيع استخدام «دالة الكلفة» و«دالة الهدف» مرادفين لها، مع أن بعض النصوص تخصّص مصطلح «الخسارة» لخطأ مثال واحد، و«الكلفة» للمتوسط على دفعة أو مجموعة بيانات.

كيف تقود الخسارة عملية التدريب#

يكرّر التدريب الدورة نفسها لكل دفعة من البيانات. ينتج النموذج تنبؤات، وتقيس دالة الخسارة مدى توافقها مع التسميات، ثم تحسب الانتشار العكسي تدرّج الخسارة بالنسبة إلى كل وزن. وبعد ذلك يحرّك محسّن مثل الانحدار المتدرّج العشوائي (SGD) أو محسّن Adam كل وزن خطوة صغيرة عكس اتجاه تدرّجه، ويحدد معدل التعلّم حجم الخطوة. وبما أن هذه العملية تعتمد على التدرجات، يجب أن تكون دالة الخسارة قابلة للاشتقاق في كل المواضع تقريباً. ويُعد رسم خسارتي التدريب والتحقق بعد كل حقبة الطريقة القياسية لـمراقبة عملية التشغيل: فارتفاع خسارة التحقق مع استمرار انخفاض خسارة التدريب علامة كلاسيكية على فرط التكيّف.

دوال الخسارة الشائعة#

تعتمد دالة الخسارة المناسبة على ما يتنبأ به النموذج، وتوفّر أطر العمل مثل PyTorch معظم الخيارات القياسية:

• متوسط مربع الخطأ (MSE): متوسط مربع الفرق بين القيم المتوقعة والحقيقية، ويُستخدم في الانحدار. يجعل التربيع الأخطاء الكبيرة مهيمنة، لذا يكون تأثير القيم الشاذة قوياً.
• متوسط الخطأ المطلق (L1) وخسارة Huber: خسارتا انحدار يزدادان خطياً مع الأخطاء الكبيرة، ما يقلل تأثرهما بالقيم الشاذة. وتكون خسارة Huber تربيعية للأخطاء الصغيرة وخطية عند تجاوز عتبة معينة.
• الإنتروبيا المتقاطعة: الخسارة القياسية لتصنيف الصور، وتُحسب على احتمالات softmax للفئات المتنافية.
• الإنتروبيا الثنائية المتقاطعة (BCE): تقيّم كل فئة باعتبارها تنبؤاً مستقلاً بنعم أو لا عبر sigmoid، ما يلائم المسائل متعددة التسميات ودرجات فئات الكاشف.
• الخسارة البؤرية: صيغة من الإنتروبيا المتقاطعة تخفّض وزن الأمثلة السهلة، كي تقود الأمثلة النادرة والصعبة عملية التعلّم عند اختلال توازن الفئات بشدة.
• الخسائر القائمة على IoU: خسائر انحدار الصناديق المبنية على التقاطع على الاتحاد (IoU)، ومنها متغيرات مثل DIoU وCIoU التي تضيف عقوبات لبعد المركز، ولنسبة الأبعاد في CIoU.
• خسارة Dice: خسارة تداخل لـتجزئة الصور تظل مفيدة حتى عندما لا تشغل المقدمة سوى نسبة صغيرة من البكسلات.
• الخسائر التقابلية: خسائر خاصة بـالتعلّم التقابلي، تقرّب الأزواج المتطابقة في فضاء التضمين وتباعد بين الأزواج غير المتطابقة.

تستخدم الإنتروبيا المتقاطعة اللوغاريتم السالب للاحتمال المعيّن للفئة الصحيحة، لذا يكلف الخطأ الواثق أكثر بكثير من الخطأ المتردد، ولا تكاد الإجابة الصحيحة الواثقة تكلّف شيئاً. يوضح CrossEntropyLoss في PyTorch هذا الأثر على تنبؤين لهما درجة الثقة نفسها:

import torch
from torch import nn

# CrossEntropyLoss applies softmax to raw scores (logits) internally
loss_fn = nn.CrossEntropyLoss()

# Logits for 3 classes; the true class is index 0
target = torch.tensor([0])
confident_right = torch.tensor([[4.0, 0.5, -1.0]])
confident_wrong = torch.tensor([[-1.0, 4.0, 0.5]])

print(f"Confident and right: {loss_fn(confident_right, target).item():.4f}")
print(f"Confident and wrong: {loss_fn(confident_wrong, target).item():.4f}")

تبلغ كلفة التنبؤ الصحيح الواثق 0.0363، بينما تبلغ كلفة إسناد درجة الثقة نفسها إلى الفئة الخاطئة 5.0363، أي نحو 139 ضعفاً.

الخسائر المركبة في كشف الأجسام#

تتنبأ نماذج كشف الأجسام بمواقع الأجسام وهوياتها، لذا تكون خسارة تدريبها مجموعاً موزوناً لعدة حدود. تجمع YOLO26 بين خسارة صندوق CIoU وخسارة تصنيف BCE وخسارة L1 لمسافات الصندوق المطبّعة، التي تحل محل خسارة البؤري التوزيعي في نماذج YOLO الأقدم، وتُوزن هذه الخسائر بوسيطات التدريب box وcls وdfl ضمن وسيطات التدريب (القيم الافتراضية 7.5 و0.5 و1.5). كما تنقل الخسارة التدريجية الوزن من رأس المطابقة واحد إلى متعدد نحو رأس المطابقة واحد إلى واحد المستخدم في الاستدلال الخالي من NMS مع تقدم التدريب.

دالة الخسارة والمصطلحات ذات الصلة#

• مقاييس التقييم: تعرض مقاييس مثل الدقة ومتوسط الدقة (mAP) الأداء وفقاً لمعايير تهم المستخدمين، لكن معظمها يتغير بقفزات متقطعة ولا يمكنه توفير تدرجات. لذا يقلل التدريب خسارة قابلة للاشتقاق بوصفها بديلاً تقريبياً لهذه المقاييس.
• التنظيم: حدود جزائية تُضاف إلى الخسارة للحد من التعقيد. ويضيف تنظيم L2 مضاعفاً لمجموع مربعات الأوزان، ما يدفع المحسّن إلى أوزان أصغر تعمم على نحو أفضل.
• دالة المكافأة: هدف التعلّم المعزّز، حيث يزيد الوكيل المكافأة التراكمية بدلاً من تقليل الخسارة؛ لذا تؤدي المكافأة دور الخسارة السالبة.