Label Smoothing

تنعيم التصنيفات (Label smoothing) هو تقنية تنظيمية مستخدمة على نطاق واسع في تعلم الآلة لتحسين تعميم النموذج ومنع الإفراط في التخصيص. عند تدريب الشبكات العصبية، يكون الهدف عادةً هو تقليل الخطأ بين التنبؤات والحقيقة الأرضية. ومع ذلك، إذا أصبح النموذج واثقاً جداً في تنبؤاته—مخصصاً احتمالية تقارب 100% لفئة واحدة—فإنه غالباً ما يبدأ في حفظ الضجيج المحدد في بيانات التدريب بدلاً من تعلم أنماط قوية. هذه الظاهرة، المعروفة باسم الإفراط في التخصيص، تقلل من الأداء على أمثلة جديدة غير مرئية. تعالج تقنية تنعيم التصنيفات ذلك من خلال تثبيط النموذج عن التنبؤ بيقين مطلق، مما يخبر الشبكة جوهرياً بوجود هامش صغير للخطأ دائماً.

Link to this sectionآليات الأهداف اللينة#

لفهم كيفية عمل تنعيم التصنيفات، من المفيد مقارنتها بالأهداف "الصلبة" القياسية. في التعلم الخاضع للإشراف التقليدي، يتم تمثيل تصنيفات التصنيف عادةً عبر الترميز الأحادي. على سبيل المثال، في مهمة التمييز بين القطط والكلاب، سيكون لصورة "الكلب" متجه هدف [0, 1]. لمطابقة هذا بشكل مثالي، يدفع النموذج نتائجه الداخلية، المعروفة باسم logits، نحو اللانهاية، مما قد يؤدي إلى تدرجات غير مستقرة وعدم القدرة على التكيف.

يستبدل تنعيم التصنيفات هذه القيم الصلبة 1 و 0 بأهداف "لينة". بدلاً من احتمالية هدف 1.0، قد يتم تعيين الفئة الصحيحة 0.9، بينما يتم توزيع كتلة الاحتمالية المتبقية (0.1) بشكل موحد عبر الفئات غير الصحيحة. هذا التحول الطفيف يعدل هدف دالة الخسارة، مثل الإنتروبيا المتقاطعة، مما يمنع دالة التنشيط (عادةً Softmax) من التشبع. النتيجة هي نموذج يتعلم مجموعات أكثر إحكاماً من الفئات في مساحة الميزات وينتج معايرة أفضل للنموذج، مما يعني أن الاحتمالات المتوقعة تعكس بدقة أكبر احتمالية الصحة الحقيقية.

Link to this sectionتطبيقات العالم الحقيقي#

تعد هذه التقنية حاسمة بشكل خاص في المجالات التي يكون فيها غموض البيانات متأصلاً أو تكون مجموعات البيانات عرضة لأخطاء التصنيف.

• التشخيص الطبي: في مجال الذكاء الاصطناعي في الرعاية الصحية، نادراً ما تكون البيانات السريرية واضحة تماماً. على سبيل المثال، في تحليل الصور الطبية، قد يُظهر المسح ميزات تشير بقوة إلى مرض ما ولكنها ليست قطعية. التدريب باستخدام تصنيفات صلبة يجبر النموذج على تجاهل هذا عدم اليقين. من خلال تطبيق تنعيم التصنيفات، يحتفظ النموذج بدرجة من الشك، وهو أمر حيوي لأنظمة دعم القرار حيث يمكن أن تؤدي الثقة المفرطة إلى تشخيص خاطئ.
• تصنيف الصور واسع النطاق: غالباً ما تحتوي مجموعات البيانات العامة الضخمة مثل ImageNet على صور مصنفة بشكل خاطئ أو صور تحتوي على كائنات صالحة متعددة. إذا حاول النموذج مطابقة هذه الأمثلة الصاخبة بـ ثقة 100%، فإنه يتعلم ارتباطات غير صحيحة. يعمل تنعيم التصنيفات كعازل ضد ضجيج التصنيف، مما يضمن أن بضع نقاط بيانات سيئة لا تؤدي إلى تحريف أوزان النموذج النهائية بشكل كبير.

Link to this sectionتنفيذ تنعيم التصنيفات مع Ultralytics#

تعمل أطر التعلم العميق الحديثة على تبسيط تطبيق هذه التقنية. باستخدام حزمة ultralytics، يمكنك بسهولة دمج تنعيم التصنيفات في خط تدريبك لمهام تصنيف الصور أو الكشف. يتم ذلك غالباً لاستخراج أداء إضافي من نماذج متطورة مثل YOLO26.

يوضح المثال التالي كيفية تدريب نموذج تصنيف مع تمكين تنعيم التصنيفات:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Link to this sectionمقارنة بالمفاهيم ذات الصلة#

It is helpful to distinguish label smoothing from other regularization strategies to understand when to use it.

• مقابل التسريب (Dropout): تقوم طبقة التسريب بإلغاء تنشيط الخلايا العصبية عشوائياً أثناء التدريب لإجبار الشبكة على تعلم تمثيلات زائدة. بينما يمنع كلاهما الإفراط في التخصيص، يغير التسريب بنية الشبكة ديناميكياً، بينما يغير تنعيم التصنيفات هدف التحسين (التصنيفات نفسها).
• مقابل تقطير المعرفة: تتضمن كلتا التقنيتين التدريب على أهداف لينة. ومع ذلك، في تقطير المعرفة، تأتي الأهداف اللينة من نموذج "معلم" وتحتوي على معلومات متعلمة (على سبيل المثال، "هذا يشبه القطة بنسبة 10%"). في المقابل، يستخدم تنعيم التصنيفات أهدافاً لينة "غير معلوماتية" مشتقة رياضياً (على سبيل المثال، "امنح احتمال 10% لجميع الفئات الأخرى بالتساوي").
• مقابل تعزيز البيانات: تغير استراتيجيات تعزيز البيانات بيانات الإدخال (التدوير، القص، التلوين) لزيادة التنوع. يغير تنعيم التصنيفات توقعات المخرجات. غالباً ما تجمع مهام سير العمل التدريبية الشاملة على منصة Ultralytics بين التعزيز، والتسريب، وتنعيم التصنيفات لتحقيق أقصى قدر من الدقة.

من خلال التخفيف من مشكلة التدرج المتلاشي في الطبقات النهائية وتشجيع النموذج على تعلم ميزات أكثر قوة، يظل تنعيم التصنيفات عنصراً أساسياً في بنى التعلم العميق الحديثة.