Cross-Entropy Loss

تقيس خسارة الإنتروبيا المتقاطعة مدى تطابق احتمالات الفئات التي يتوقعها النموذج مع تسميات الهدف. وتفرض عقوبة صغيرة عندما تحصل الفئة الصحيحة على احتمال مرتفع، وعقوبة كبيرة عندما يكون ذلك الاحتمال منخفضًا. وبوصفها دالة خسارة في التعلّم الخاضع للإشراف، فإنها توفر هدفًا ينبغي تقليله أثناء التدريب.

أرست نظرية رياضية للاتصال لكلود شانون عام 1948 الأساس الإنتروبي لها. وقدّم د. ف. كيريدج مقياس الإنتروبيا المتقاطعة بوصفه «عدم الدقة» في بحثه الصادر عام 1961 بعنوان عدم الدقة والاستدلال. وفي التصنيف، تُعد خسارة اللوغاريتم مرادفًا لها؛ ويستخدمها كل من الانحدار اللوجستي ومصنفات الشبكات العصبية.

آلية عمل خسارة الإنتروبيا المتقاطعة#

في عينة واحدة ذات فئة صحيحة واحدة، تكون الإنتروبيا المتقاطعة غير الموزونة هي loss = -ln(p_correct). ويؤدي احتمال قدره 0.9 للفئة الصحيحة إلى خسارة تبلغ نحو 0.105، بينما يؤدي احتمال 0.1 إلى خسارة تبلغ نحو 2.303. وتُعبّر اللوغاريتمات الطبيعية عن النتيجة بوحدات تُسمى نات. وعادةً ما يحسب التدريب متوسط هذه العقوبات عبر الدفعة.

بصورة أعم، تضرب الإنتروبيا المتقاطعة احتمال كل فئة مستهدف في سالب لوغاريتم احتمالها المتوقع، ثم تجمع النتائج عبر الفئات. ويضع الهدف أحادي الترميز القيمة 1 للفئة الصحيحة و0 للفئات الأخرى، فلا يتبقى سوى حد الفئة الصحيحة. وبالنسبة إلى الأهداف غير الموزونة وأحادية الترميز، فإن تقليل الإنتروبيا المتقاطعة يكافئ تعظيم احتمال التسميات المرصودة. وتحسب الانتشار العكسي التدرجات، بينما يحدّث الانحدار التدرجي معلمات النموذج.

الإنتروبيا المتقاطعة الثنائية والفئوية والمتفرقة#

يعتمد الشكل المناسب على التسميات:

• الإنتروبيا المتقاطعة الثنائية مع دالة سيغمويد: لهدف قيمته 0 أو 1 y واحتمال متوقع p للفئة 1، تكون الخسارة هي -[y * ln(p) + (1 - y) * ln(1 - p)]. ويطبق التصنيف متعدد التسميات هذه الخسارة بشكل مستقل على التسميات التي يمكن أن تظهر معًا.
• الإنتروبيا المتقاطعة الفئوية مع دالة سوفتماكس: تقيّم هذه الدالة الفئات المتنافية التي يكون مجموع احتمالاتها 1. وتحول سوفتماكس درجات النموذج الخام، المسماة لوجيتات، إلى ذلك التوزيع.
• الإنتروبيا المتقاطعة الفئوية المتفرقة: تستخدم هذه الدالة مؤشر فئة صحيحًا بدلًا من متجه أحادي الترميز. وتحسب الخسارة نفسها؛ إذ تصف كلمة «متفرقة» ترميز الهدف.

توزّع الأهداف اللينة الاحتمالات على الفئات. وتظهر في تنعيم التسميات وتقطير المعرفة، حيث يتعلم نموذج الطالب من توزيع الاحتمالات الخاص بنموذج المعلّم.

حساب الإنتروبيا المتقاطعة في PyTorch#

تقبل PyTorch لوجيتات خامًا في CrossEntropyLoss. وبالنسبة إلى الأهداف المحددة بمؤشر الفئة، يكافئ حسابها تطبيق لوغاريتم سوفتماكس، متبوعًا باحتمالية اللوغاريتم السالبة. ويؤدي تطبيق سوفتماكس مسبقًا إلى تعامل الدالة مع الاحتمالات على أنها لوجيتات، ما يغيّر الخسارة والتدرجات. تستخدم الأهداف الصحيحة torch.long؛ أما أهداف الاحتمالات فتستخدم قيم الفاصلة العائمة وتطابق شكل اللوجيتات.

import torch
from torch import nn

# Both predictions select class 0; the second is more confident.
logits = torch.tensor([[2.0, 0.0, 0.0], [4.0, 0.0, 0.0]])
targets = torch.tensor([0, 0], dtype=torch.long)
loss_fn = nn.CrossEntropyLoss(reduction="none")

losses = loss_fn(logits, targets)
print(f"Lower confidence loss: {losses[0].item():.4f}")
print(f"Higher confidence loss: {losses[1].item():.4f}")

تنخفض الخسارتان من 0.2395 إلى 0.0360 مع بقاء التنبؤين صحيحين. ويسجل مقياس الدقة قرارات الفئات؛ أما الإنتروبيا المتقاطعة فتستجيب أيضًا لتوزيعات الاحتمالات. وبالنسبة إلى لوجيتات التصنيف الثنائي أو متعدد التسميات، تجمع BCEWithLogitsLoss بين دالة سيغمويد والإنتروبيا المتقاطعة الثنائية.

تطبيقات في الرؤية الحاسوبية#

يستخدم تصنيف الصور أحادي التسمية الإنتروبيا المتقاطعة لتعلّم فئة واحدة لكل صورة. ويستخدم تدريب التصنيف في YOLO26 من Ultralytics متوسط الإنتروبيا المتقاطعة عبر لوجيتات الفئات لتحديث المصنّف وتوجيهه نحو الفئة المحددة في التسمية.

في تجزئة الصور في الرعاية الصحية، دُرّبت U-Net الأصلية على صور المجهرية الطبية الحيوية باستخدام سوفتماكس على مستوى البكسل والإنتروبيا المتقاطعة الموزونة. وزادت خريطة الأوزان العقوبات عند الحدود بين الخلايا المتلامسة، ما ساعد على فصل الخلايا المتجاورة. ويطبّق هذا التصنيف على كل بكسل في التجزئة الدلالية.

تفسير قيم الخسارة#

تكون الإنتروبيا المتقاطعة المتقطعة غير سالبة عند استخدام توزيعات أهداف صالحة وأوزان غير سالبة. وبالنسبة إلى هدف صلب غير موزون، تبلغ الإنتروبيا المتقاطعة صفرًا عندما يكون احتمال الفئة الصحيحة 1، وتزداد بلا حد كلما اقترب هذا الاحتمال من الصفر. وتشير القيم السالبة إلى خطأ في الإدخال أو التنفيذ، مثل وجود قيم سالبة في عناصر الهدف أو الأوزان.

تقيس الإنتروبيا عدم اليقين داخل توزيع واحد؛ أما الإنتروبيا المتقاطعة فتقارن الأهداف بالتنبؤات. وتساوي الإنتروبيا المتقاطعة إنتروبيا الهدف مضافًا إليها تباعد كولباك–لايبلر، وهو عقوبة إضافية لعدم التطابق. لذلك، يكون للأهداف اللينة حد أدنى موجب عندما تكون إنتروبيتها موجبة.

يزيد ترجيح الفئات من إسهام الفئات المحددة. وتقلل الخسارة البؤرية إسهام العينات السهلة لمعالجة اختلال التوازن بين المقدمة والخلفية في اكتشاف الكائنات. وبالنسبة إلى تنبؤ منتظم، تساوي خسارة اللوغاريتم غير الموزونة ln(number_of_classes): نحو 0.693 لفئتين و2.303 لعشر فئات.