Label Smoothing

تنعيم التسميات تقنية تنظيم لنماذج تصنيف التعلّم العميق، تستبدل كل هدف أحادي الترميز حاد في بيانات التدريب بنسخة مخففة: يبقى معظم الاحتمال للفئة الصحيحة، ويُوزّع جزء صغير تحدّده قيمة التنعيم ε بالتساوي على جميع الفئات. ويمنع التدريب على هذه الأهداف اللينة الشبكة العصبية من دفع القيم اللوغيتية نحو قيم قصوى لبلوغ ثقة 100%، ما يقلل فرط التخصيص ويحسّن معايرة الاحتمالات. وصف Szegedy وزملاؤه هذه التقنية في ورقة Inception-v3، واستخدموا ε = 0.1 لفئات ImageNet البالغ عددها 1,000، وأصبحت الآن خيارًا قياسيًا عند تدريب نماذج تصنيف الصور والترجمة والكلام.

آلية عمل تنعيم التسميات#

مع وجود K فئة وقيمة تنعيم ε، يصبح كل هدف (1 − ε) · y + ε / K، حيث y هي التسمية أحادية الترميز. بالنسبة إلى ثلاث فئات وε = 0.1، تصبح التسمية [1, 0, 0] نحو [0.933, 0.033, 0.033]. عند استخدام هدف حاد، تواصل الإنتروبيا المتقاطعة الانخفاض كلما تقدمت القيمة اللوغيتية الصحيحة على غيرها، لذا تكافئ دالة الخسارة اتساع الفجوات بين القيم اللوغيتية باستمرار، ويصل خرج softmax إلى حالة الإشباع. أما مع هدف منعم، فتبلغ الخسارة أدنى قيمة لها عند فجوة محدودة مقدارها ln((1 − ε + ε / K) / (ε / K))، أي نحو 3.3 في هذا المثال، ثم ترتفع مجددًا بعد ذلك؛ لذا تدفع التدرجات التنبؤات مفرطة الثقة نحو الاعتدال. وتدرّب نماذج كشف Ultralytics YOLO26 تنبؤات الفئات باستخدام نوع مرتبط من الأهداف اللينة: إذ يضبط المعيّن المتوافق مع المهمة هدف الفئة لكل مرساة موجبة بحسب مدى توافق درجتها المتوقعة وصندوقها مع الكائن، لذا تقل معظم الأهداف عن 1.

تطبّق CrossEntropyLoss في PyTorch الصيغة عبر وسيط label_smoothing:

import torch
from torch import nn

# The correct class is index 0 of three; hard and smoothed versions of the same loss
target = torch.tensor([0])
hard_loss = nn.CrossEntropyLoss()
smooth_loss = nn.CrossEntropyLoss(label_smoothing=0.1)

# Score the correct class increasingly far above the other two
for gap in [1.0, 3.0, 6.0, 12.0]:
    logits = torch.tensor([[gap, 0.0, 0.0]])
    hard = hard_loss(logits, target).item()
    smooth = smooth_loss(logits, target).item()
    print(f"Logit gap {gap:>4}: hard loss {hard:.3f}, smoothed loss {smooth:.3f}")

تنخفض الخسارة الحادة من 0.551 إلى 0.000 كلما اتسعت الفجوة، بينما تبلغ الخسارة المنعّمة أدنى مستوى لها عند 0.295 قرب فجوة مقدارها 3، ثم ترتفع مجددًا إلى 0.800 عند فجوة مقدارها 12؛ لذا تصبح الثقة القصوى أعلى كلفة من الثقة المعتدلة.

التأثيرات في المعايرة والسمات المتعلّمة#

وجد مولر وكورنبليث وهينتون أن تنعيم التسميات يحسّن معايرة النموذج، أي إن الاحتمالات المتوقعة تعكس معدل صحة التنبؤات فعليًا. وأظهروا أيضًا أنه يجمع سمات الطبقة قبل الأخيرة لكل فئة في عناقيد متقاربة ومتباعدة بالتساوي. ويمحو هذا الضغط المعلومات المتعلقة بالفئات الخاطئة التي تشبهها الصورة، كما أن نقل المعرفة من النماذج المعلّمة المدةّربة بتنعيم التسميات إلى النماذج الطلاب كان أقل بكثير عبر تقطير المعرفة.

تطبيقات عملية#

يكون تنعيم التسميات أكثر فائدة عندما تكون التسميات مشوشة أو ملتبسة أو كثيرة.

• التصنيف على نطاق ImageNet: تضم ImageNet صورًا ذات تسميات خاطئة وصورًا فوتوغرافية تحتوي على عدة أجسام صحيحة. تستخدم وصفات تدريب الشبكات الالتفافية وVision Transformers، بما فيها DeiT، القيمة ε = 0.1 كي لا يلائم النموذج تسمية مشكوكًا فيها بيقين تام.
• الترجمة الآلية: استخدم Transformer الأصلي تنعيم التسميات بقيمة ε = 0.1. وأفاد مؤلفوه بأنه رفع مقياس الحيرة، لأن النموذج تعلّم أن يكون أقل يقينًا، مع تحسين الدقة ودرجة BLEU.
• تحليل الصور الطبية: كثيرًا ما يختلف المعلّقون الخبراء حول الصور الطبية التي تقع على الحدود. تمنع الأهداف الملساء مصنفًا تشخيصيًا من التعامل مع كل تسمية مختلف عليها بوصفها مؤكدة، وتجعل درجات الثقة الأفضل معايرةً عتبات الفرز السريري أكثر موثوقية.

تنعيم التسميات مقارنةً بالتقنيات ذات الصلة#

• تقطير المعرفة: يُدرَّب التقطير أيضًا على أهداف لينة مأخوذة من تنبؤات نموذج معلّم، لذا تسجل الأهداف مدى التشابه بين الفئات. تمنح أهداف تنعيم التسميات كل فئة خاطئة الحصة الصغيرة نفسها.
• معايرة درجة الحرارة: تعاير معايرة درجة الحرارة نموذجًا مدرّبًا بعد اكتمال التدريب، بقسمة قيم لوغيت على ثابت واحد متعلّم، مع إبقاء الأوزان دون تغيير.
• طبقة الإسقاط العشوائي: تنتظم الشبكة عبر تصفير تنشيطات عشوائية أثناء التدريب، بينما ينظّم تنعيم التسميات الشبكة من خلال أهداف التدريب.
• CutMix: يُعد CutMix والمزج تكتيكين لتعزيز البيانات، يمزجان صورتين تدريبيتين وتسميتيهما بالنسبة نفسها، لذا يأتي الهدف اللين من المُدخل نفسه. ويزن CutMix كل تسمية بحسب مساحة الرقعة الملصقة التي تغطيها، بينما يزن المزج البكسلات والتسميات معًا بعامل واحد مسحوب من توزيع Beta.