Label Smoothing

Làm mượt nhãn là một kỹ thuật regularization được sử dụng rộng rãi trong machine learning để cải thiện khả năng tổng quát hóa của model và ngăn overfitting. Khi huấn luyện neural networks, mục tiêu thường là giảm thiểu sai số giữa các dự đoán và ground truth. Tuy nhiên, nếu một model trở nên quá tự tin vào các dự đoán của mình—gán xác suất gần 100% cho một class duy nhất—model thường bắt đầu ghi nhớ nhiễu cụ thể trong training data thay vì học các pattern bền vững. Hiện tượng này, được gọi là overfitting, làm suy giảm hiệu năng trên các ví dụ mới chưa từng thấy. Làm mượt nhãn giải quyết vấn đề này bằng cách ngăn model dự đoán với mức chắc chắn tuyệt đối, về cơ bản nhắc network rằng luôn tồn tại một biên sai số nhỏ.

Cơ chế của soft target#

Để hiểu cách làm mượt nhãn hoạt động, việc đối chiếu với các target “hard” tiêu chuẩn sẽ rất hữu ích. Trong supervised learning truyền thống, các nhãn classification thường được biểu diễn bằng one-hot encoding. Ví dụ, trong một tác vụ phân biệt mèo và chó, một ảnh “dog” sẽ có vector target là [0, 1]. Để khớp hoàn hảo với vector này, model đẩy các score nội bộ, được gọi là logits, về phía vô cực, điều này có thể dẫn đến gradient không ổn định và làm model mất khả năng thích ứng.

Làm mượt nhãn thay thế các giá trị 1 và 0 cứng nhắc này bằng các target “soft”. Thay vì gán xác suất target là 1.0, class đúng có thể được gán 0.9, trong khi phần xác suất còn lại (0.1) được phân bổ đồng đều cho các class không đúng. Thay đổi tinh tế này điều chỉnh mục tiêu của loss function, chẳng hạn như cross-entropy, ngăn activation function (thường là Softmax) bão hòa. Kết quả là model học được các cluster class chặt chẽ hơn trong feature space và tạo ra model calibration tốt hơn, nghĩa là các xác suất dự đoán phản ánh chính xác hơn khả năng đúng thực tế.

Các ứng dụng trong thực tế#

Kỹ thuật này đặc biệt quan trọng trong các lĩnh vực vốn có sự mơ hồ của dữ liệu hoặc có dataset dễ mắc lỗi gán nhãn.

• Chẩn đoán y khoa: Trong lĩnh vực AI trong chăm sóc sức khỏe, dữ liệu lâm sàng hiếm khi hoàn toàn rõ ràng. Ví dụ, trong phân tích ảnh y khoa, một ảnh chụp có thể cho thấy các đặc điểm rất gợi ý về một căn bệnh nhưng chưa mang tính kết luận. Huấn luyện bằng nhãn hard buộc model bỏ qua sự không chắc chắn này. Bằng cách áp dụng làm mượt nhãn, model duy trì một mức độ hoài nghi nhất định, điều này rất quan trọng đối với các hệ thống hỗ trợ ra quyết định, nơi sự quá tự tin có thể dẫn đến chẩn đoán sai.
• Phân loại ảnh quy mô lớn: Các dataset công khai khổng lồ như ImageNet thường chứa ảnh bị gán nhãn sai hoặc ảnh có nhiều object hợp lệ. Nếu một model cố khớp các ví dụ nhiễu này với confidence 100%, model sẽ học các mối liên hệ không chính xác. Làm mượt nhãn hoạt động như một lớp đệm chống nhiễu nhãn, bảo đảm rằng một vài điểm dữ liệu không tốt không làm lệch đáng kể model weights cuối cùng.

Triển khai làm mượt nhãn với Ultralytics#

Các framework deep learning hiện đại đơn giản hóa việc áp dụng kỹ thuật này. Sử dụng package ultralytics, bạn có thể dễ dàng tích hợp làm mượt nhãn vào training pipeline cho các tác vụ image classification hoặc detection. Cách này thường được dùng để khai thác thêm hiệu năng từ các model state-of-the-art như YOLO26.

Ví dụ sau minh họa cách huấn luyện một model classification với tính năng làm mượt nhãn được bật:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

So sánh với các khái niệm liên quan#

Để hiểu khi nào nên sử dụng, việc phân biệt làm mượt nhãn với các chiến lược regularization khác là rất hữu ích.

• So với Dropout: Một dropout layer ngẫu nhiên vô hiệu hóa các neuron trong quá trình huấn luyện để buộc network học các biểu diễn dư thừa. Mặc dù cả hai đều ngăn overfitting, dropout thay đổi architecture của network một cách động, trong khi làm mượt nhãn thay đổi target tối ưu hóa (bản thân các nhãn).
• So với Knowledge Distillation: Cả hai kỹ thuật đều liên quan đến việc huấn luyện trên các target soft. Tuy nhiên, trong knowledge distillation, các target soft đến từ một model “teacher” và chứa thông tin đã học (ví dụ: “đối tượng này trông giống mèo 10%”). Ngược lại, làm mượt nhãn sử dụng các target soft “không chứa thông tin” được suy ra bằng phương pháp toán học (ví dụ: “gán xác suất 10% cho tất cả các class khác như nhau”).
• So với Data Augmentation: Các chiến lược data augmentation thay đổi dữ liệu đầu vào (xoay, crop, thay đổi màu) để tăng tính đa dạng. Làm mượt nhãn thay đổi các kỳ vọng đầu ra. Các training workflow toàn diện trên Ultralytics Platform thường kết hợp augmentation, dropout và làm mượt nhãn để đạt độ chính xác tối đa.

Bằng cách giảm thiểu vấn đề vanishing gradient trong các layer cuối và khuyến khích model học các feature bền vững hơn, làm mượt nhãn vẫn là một kỹ thuật nền tảng trong các architecture deep learning hiện đại.