Label Smoothing

تنعيم التسميات هو تقنية لتنظيم النماذج تُستخدم على نطاق واسع في تعلّم الآلة لتحسين تعميم النموذج ومنع فرط التكيّف. عند تدريب الشبكات العصبية، يكون الهدف عادةً تقليل الخطأ بين التنبؤات والقيم الحقيقية. ومع ذلك، إذا أصبح النموذج واثقًا أكثر من اللازم في تنبؤاته — إذ يسند احتمالًا يقارب 100% إلى فئة واحدة — فإنه غالبًا ما يبدأ بحفظ الضوضاء المحددة في بيانات التدريب بدلًا من تعلّم أنماط متينة. تؤدي هذه الظاهرة، المعروفة باسم فرط التكيّف، إلى تدهور الأداء على الأمثلة الجديدة غير المرئية. يعالج تنعيم التسميات هذه المشكلة من خلال تثبيط النموذج عن التنبؤ بيقين مطلق، أي إخبار الشبكة بوجود هامش صغير دائمًا للخطأ.

آلية الأهداف المرنة#

لفهم كيفية عمل تنعيم التسميات، من المفيد مقارنته بالأهداف التقليدية «الصلبة». في التعلّم الخاضع للإشراف التقليدي، عادةً ما تُمثَّل تسميات التصنيف باستخدام الترميز أحادي التفعيل. فعلى سبيل المثال، في مهمة للتمييز بين القطط والكلاب، ستكون لمتجه الهدف لصورة «كلب» القيمة [0, 1]. ولمطابقة ذلك تمامًا، يدفع النموذج درجاته الداخلية، المعروفة باسم اللوغيتات، نحو اللانهاية، مما قد يؤدي إلى تدرجات غير مستقرة وعدم القدرة على التكيّف.

يستبدل تنعيم التسميات القيمتين الجامدتين 1 و0 بأهداف «مرنة». فبدلًا من إسناد احتمال الهدف 1.0، قد تُسند إلى الفئة الصحيحة القيمة 0.9، بينما تُوزَّع كتلة الاحتمال المتبقية (0.1) بالتساوي على الفئات غير الصحيحة. ويعدّل هذا التغيير الدقيق هدف دالة الخسارة، مثل الانتروبيا المتقاطعة، مانعًا دالة التنشيط (وعادةً Softmax) من التشبّع. والنتيجة هي نموذج يتعلّم عناقيد أكثر تماسكًا للفئات في فضاء السمات، ويحقق معايرة أفضل للنموذج، أي أن الاحتمالات المتنبأ بها تعكس بدرجة أدق الاحتمال الحقيقي لصحة التنبؤ.

التطبيقات الواقعية#

تُعد هذه التقنية بالغة الأهمية بوجه خاص في المجالات التي يكون فيها غموض البيانات متأصلًا أو تكون مجموعات البيانات عرضة لأخطاء وضع التسميات.

• التشخيص الطبي: في مجال الذكاء الاصطناعي في الرعاية الصحية، نادرًا ما تكون البيانات السريرية واضحة تمامًا. فعلى سبيل المثال، في تحليل الصور الطبية، قد يُظهر الفحص سمات تشير بقوة إلى وجود مرض، لكنها لا تكون حاسمة. ويجبر التدريب باستخدام التسميات الصلبة النموذج على تجاهل هذا الغموض. ومن خلال تطبيق تنعيم التسميات، يحتفظ النموذج بدرجة من التحفظ، وهو أمر حيوي لأنظمة دعم القرار التي قد تؤدي فيها الثقة المفرطة إلى تشخيص خاطئ.
• تصنيف الصور على نطاق واسع: غالبًا ما تحتوي مجموعات البيانات العامة الضخمة مثل ImageNet على صور ذات تسميات خاطئة أو صور تتضمن عدة كائنات صحيحة. وإذا حاول النموذج ملاءمة هذه الأمثلة المشوشة بثقة 100%، فإنه يتعلم ارتباطات غير صحيحة. ويعمل تنعيم التسميات كحاجز ضد ضوضاء التسميات، مما يضمن ألا تؤدي بعض نقاط البيانات السيئة إلى انحراف أوزان النموذج النهائية بشكل كبير.

تطبيق تنعيم التسميات باستخدام Ultralytics#

تُبسّط أطر التعلّم العميق الحديثة تطبيق هذه التقنية. وباستخدام الحزمة ultralytics، يمكنك بسهولة دمج تنعيم التسميات في مسار التدريب الخاص بك لمهام تصنيف الصور أو الكشف. وغالبًا ما يُجرى ذلك لاستخراج أداء إضافي من النماذج المتقدمة مثل YOLO26.

يوضح المثال التالي كيفية تدريب نموذج تصنيف مع تمكين تنعيم التسميات:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

المقارنة مع المفاهيم ذات الصلة#

من المفيد التمييز بين تنعيم التسميات واستراتيجيات التنظيم الأخرى لفهم الحالات المناسبة لاستخدامه.

• مقابل Dropout: تعمل طبقة الإسقاط على تعطيل العصبونات عشوائيًا أثناء التدريب لإجبار الشبكة على تعلّم تمثيلات زائدة عن الحاجة. وعلى الرغم من أن كلتيهما تمنعان فرط التكيّف، فإن Dropout يعدّل بنية الشبكة ديناميكيًا، بينما يعدّل تنعيم التسميات هدف التحسين (أي التسميات نفسها).
• مقابل تقطير المعرفة: تتضمن كلتا التقنيتين التدريب على أهداف مرنة. إلا أن الأهداف المرنة في تقطير المعرفة تأتي من نموذج «معلّم» وتتضمن معلومات متعلَّمة (مثل: «تبدو هذه الصورة مشابهة لقطة بنسبة 10%»). أما تنعيم التسميات، فيستخدم أهدافًا مرنة «غير غنية بالمعلومات» مشتقة رياضيًا (مثل: «إسناد احتمال قدره 10% بالتساوي إلى جميع الفئات الأخرى»).
• مقابل زيادة البيانات: تغيّر استراتيجيات زيادة البيانات بيانات الإدخال (بالتدوير والقص والتلوين) لزيادة التنوع. أما تنعيم التسميات فيغيّر التوقعات المتعلقة بالمخرجات. وغالبًا ما تجمع مسارات التدريب الشاملة على منصة Ultralytics بين زيادة البيانات وDropout وتنعيم التسميات لتحقيق أقصى دقة.

ومن خلال التخفيف من مشكلة تلاشي التدرج في الطبقات النهائية وتشجيع النموذج على تعلّم سمات أكثر متانة، يظل تنعيم التسميات عنصرًا أساسيًا في بنيات التعلّم العميق الحديثة.