Label Smoothing

تنعم إزالة التباين أو تنعيم التصنيفات (Label smoothing) هو تقنية تنظيمية مستخدمة على نطاق واسع في التعلم الآلي لتحسين تعميم النماذج ومنع التجاوز (overfitting). عند تدريب الشبكات العصبية، يكون الهدف عادةً هو تقليل الخطأ بين التوقعات والحقيقة الأساسية. ومع ذلك، إذا أصبح النموذج واثقًا جدًا في توقعاته -حيث يخصص احتمالاً يقارب 100% لفئة واحدة- فإنه غالباً ما يبدأ في حفظ الضوضاء المحددة في بيانات التدريب بدلاً من تعلم أنماط قوية. هذه الظاهرة، المعروفة باسم التجاوز، تؤدي إلى تدهور الأداء على الأمثلة الجديدة وغير المكتشفة سابقاً. يعالج تنعيم التصنيفات هذا الأمر عن طريق تثبيط النموذج من التنبؤ بيقين مطلق، مما يخبر الشبكة أساساً أن هناك دائماً هامشاً صغيراً للخطأ.

آليات الأهداف اللينة#

لفهم كيف يعمل تنعيم التصنيفات، يساعدنا تباينه مع الأهداف "الصلبة" القياسية. في التعلم الخاضع للإشراف التقليدي، عادة ما تُُمثَّل تصنيفات التصنيف عبر التشفير الأحادي (one-hot encoding). على سبيل المثال، في مهمة التمييز بين القطط والكلاب، ستكون صورة "الكلب" ذات متجهات مستهدفة لـ [0, 1]. لمطابقة هذا بشكل مثالي، يدفع النموذج درجاته الداخلية، المعروفة باسم القيم اللوجستية (logits)، نحو اللانهاية، مما قد يؤدي إلى تدرجات غير مستقرة وعدم القدرة على التكيف.

يستبدل تنعيم التصنيفات هذه الآحاد والأصفار الجامدة بأهداف "ناعمة". بدلاً من الاحتمال المستهدف البالغ 1.0، قد يتم تعيين الفئة الصحيحة 0.9، بينما يتم تووزيع كتلة الاحتمال المتبقية (0.1) بشكل موحد عبر الفئات غير الصحيحة. هذا التحول الدقيق يغير هدف دالة الخسارة، مثل الانتروبيا المتقاطعة (cross-entropy)، مما يمنع دالة التنشيط (عادةً Softmax) من التشبع. والنتيجة هي نموذج يتعلم مجموعات أكثر إحكاماً من الفئات في مساحة الميزات وينتج معايرة أفضل للنموذج، مما يعني أن الاحتمالات المتوقعة تعكس بشكل أكثر دقة الاحتمال الحقيقي للصحة.

تطبيقات العالم الحقيقي#

تعد هذه التقنية حاسمة بشكل خاص في المجالات التي يكون فيها غموض البيانات متأصلاً أو تكون مجموعات البيانات عرضة لأخطاء التصنيف.

• التشخيص الطبي: في مجال الذكاء الاصطناعي في الرعاية الصحية، نادراً ما تكون البيانات السريرية أبيض وأسود. على سبيل المثال، في تحليل الصور الطبية، قد يُظهر الفحص ميزات توحي بشدة بمرض ما ولكنها ليست حاسمة. التدريب باستخدام التصنيفات الصلبة يجبر النموذج على تجاهل هذا عدم اليقين. من خلال تطبيق تنعيم التصنيفات، يحتفظ النموذج بدرجة من الشك، وهو أمر حيوي لأنظمة دعم القرار حيث يمكن أن تؤدي الثقة المفرطة إلى التشخيص الخاطئ.
• تصنيف الصور واسع النطاق: مجموعات البيانات العامة الضخمة مثل ImageNet غالباً ما تحتوي على صور مصنفة بشكل خاطئ أو صور تحتوي على عدة كائنات صالحة. إذا حاول النموذج ملاءمة هذه الأمثلة الصاخبة بثقة بنسبة 100% confidence، فسوف يتعلم ارتباطات غير صحيحة. يعمل تنعيم التصنيفات كحاجز ضد ضوضاء التصنيف، مما يضمن أن عدداً قليلاً من نقاط البيانات السيئة لا يحرف بشكل كبير أوزان النموذج النهائية.

تنفيذ تنعيم التصنيفات مع Ultralytics#

تُبسط أطر التعلم العميق الحديثة تطبيق هذه التقنية. باستخدام حزمة ultralytics، يمكنك بسهولة دمج تنعيم التصنيفات في مسار التدريب الخاص بك لمهام تصنيف الصور أو الكشف. غالباً ما يتم القيام بذلك لاستخلاص أداء إضافي من النماذج الحديثة مثل YOLO26.

يوضح المثال التالي كيفية تدريب نموذج تصنيف مع تمكين تنعيم التصنيفات:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

مقارنة بالمفاهيم ذات الصلة#

من المفيد تمييز تنعيم التصنيفات عن استراتيجيات التنظيم (regularization) الأخرى لفهم متى يتم استخدامه.

• مقابل الإسقاط (Dropout): تقوم طبقة الإسقاط بإلغاء تنشيط الخلايا العصبية عشوائياً أثناء التدريب لإجبار الشبكة على تعلم تمثيلات زائدة عن الحاجة. في حين أن كلاهما يمنع التجاوز، فإن الإسقاط يعدل بنية الشبكة ديناميكياً، بينما يغير تنعيم التصنيفات هدف التحسين (التصنيفات نفسها).
• مقابل تقطير المعرفة (Knowledge Distillation): تتضمن كلتا التقنيتين التدريب على أهداف ناعمة. ومع ذلك، في تقطير المعرفة، تأتي الأهداف الناعمة من نموذج "معلم" وتحتوي على معلومات تم تعلمها (على سبيل المثال، "هذا يبدو بنسبة 10% وكأنه قطة"). في المقابل، يستخدم تنعيم التصنيفات أهدافاً ناعمة "غير معلومة" مستمدة رياضياً (على سبيل المثال، "إعطاء احتمال 10% لجميع الفئات الأخرى بالتساوي").
• مقابل زيادة البيانات (Data Augmentation): استراتيجيات زيادة البيانات تغير بيانات الإدخال (التدوير، القص، التلوين) لزيادة التنوع. يغير تنعيم التصنيفات توقعات الإخراج. غالباً ما تجمع مهام التدريب الشاملة على منصة Ultralytics بين زيادة البيانات، والإسقاط، وتنعيم التصنيفات لتحقيق أقصى دقة.

من خلال تخفيف مشكلة التدرج المتلاشي في الطبقات النهائية وتشجيع النموذج على تعلم ميزات أكثر قوة، يظل تنعيم التصنيفات عنصراً أساسياً في بنيات التعلم العميق الحديثة.