Label Smoothing

Label smoothing là một kỹ thuật chính quy hóa được sử dụng rộng rãi trong machine learning để cải thiện khả năng tổng quát hóa của model và ngăn ngừa overfitting. Khi huấn luyện neural networks, mục tiêu thường là tối thiểu hóa sai số giữa các dự đoán và ground truth. Tuy nhiên, nếu một model trở nên quá tự tin vào dự đoán của mình—gán xác suất gần 100% cho một lớp duy nhất—nó thường bắt đầu ghi nhớ nhiễu cụ thể trong training data thay vì học các mô hình mạnh mẽ. Hiện tượng này, được gọi là overfitting, làm giảm hiệu suất trên các ví dụ mới chưa từng thấy. Label smoothing giải quyết vấn đề này bằng cách ngăn cản model dự đoán với sự chắc chắn tuyệt đối, về cơ bản là thông báo cho mạng rằng luôn có một biên độ nhỏ cho sai số.

Link to this sectionCơ chế của Soft Targets#

Để hiểu cách label smoothing hoạt động, việc đối chiếu nó với các mục tiêu "hard" tiêu chuẩn sẽ rất hữu ích. Trong supervised learning truyền thống, các nhãn phân loại thường được biểu diễn thông qua one-hot encoding. Ví dụ, trong một tác vụ phân biệt giữa chó và mèo, một hình ảnh "chó" sẽ có vector mục tiêu là [0, 1]. Để khớp hoàn hảo với điều này, model đẩy các điểm số nội bộ của nó, được gọi là logits, tiến tới vô cùng, điều này có thể dẫn đến gradient không ổn định và khả năng thích nghi kém.

Label smoothing thay thế các số 1 và 0 cứng nhắc này bằng các "soft" targets. Thay vì xác suất mục tiêu là 1.0, lớp đúng có thể được gán 0.9, trong khi khối xác suất còn lại (0.1) được phân phối đồng đều cho các lớp sai. Sự thay đổi tinh tế này sửa đổi mục tiêu của loss function, chẳng hạn như cross-entropy, ngăn cản activation function (thường là Softmax) bị bão hòa. Kết quả là một model học được các cụm lớp chặt chẽ hơn trong không gian đặc trưng và tạo ra model calibration tốt hơn, nghĩa là các xác suất dự đoán phản ánh chính xác hơn khả năng đúng thực tế.

Link to this sectionCác ứng dụng trong thực tế#

Kỹ thuật này đặc biệt quan trọng trong các lĩnh vực nơi sự mơ hồ của dữ liệu là vốn có hoặc các bộ dữ liệu dễ bị lỗi gán nhãn.

• Chẩn đoán y tế: Trong lĩnh vực AI in healthcare, dữ liệu lâm sàng hiếm khi rõ ràng rành mạch. Ví dụ, trong medical image analysis, một bản quét có thể cho thấy các đặc điểm gợi ý mạnh về một bệnh lý nhưng không mang tính khẳng định. Việc huấn luyện với hard labels buộc model phải bỏ qua sự không chắc chắn này. Bằng cách áp dụng label smoothing, model duy trì một mức độ hoài nghi, điều này rất quan trọng đối với các hệ thống hỗ trợ quyết định nơi sự quá tự tin có thể dẫn đến chẩn đoán sai.
• Phân loại hình ảnh quy mô lớn: Các bộ dữ liệu công khai khổng lồ như ImageNet thường chứa các hình ảnh bị gán nhãn sai hoặc hình ảnh chứa nhiều đối tượng hợp lệ. Nếu một model cố gắng khớp các ví dụ nhiễu này với confidence 100%, nó sẽ học các liên kết sai lệch. Label smoothing đóng vai trò như một bộ đệm chống lại nhiễu nhãn, đảm bảo rằng một vài điểm dữ liệu xấu không làm lệch đáng kể model weights cuối cùng.

Link to this sectionTriển khai Label Smoothing với Ultralytics#

Các framework deep learning hiện đại đơn giản hóa việc áp dụng kỹ thuật này. Sử dụng gói ultralytics, bạn có thể dễ dàng tích hợp label smoothing vào pipeline huấn luyện cho các tác vụ image classification hoặc phát hiện. Điều này thường được thực hiện để vắt kiệt hiệu suất bổ sung từ các model hiện đại như YOLO26.

Ví dụ sau đây minh họa cách huấn luyện một model phân loại với label smoothing được bật:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Link to this sectionSo sánh với các khái niệm liên quan#

Việc phân biệt label smoothing với các chiến lược regularization khác là hữu ích để hiểu khi nào cần sử dụng nó.

• vs. Dropout: Một dropout layer ngẫu nhiên vô hiệu hóa các neuron trong quá trình huấn luyện để buộc mạng học các biểu diễn dư thừa. Mặc dù cả hai đều ngăn ngừa overfitting, dropout sửa đổi kiến trúc mạng một cách linh hoạt, trong khi label smoothing sửa đổi mục tiêu tối ưu hóa (chính các nhãn).
• vs. Knowledge Distillation: Cả hai kỹ thuật đều liên quan đến việc huấn luyện trên các soft targets. Tuy nhiên, trong knowledge distillation, các soft targets đến từ một model "giáo viên" và chứa thông tin đã được học (ví dụ: "hình này trông giống mèo 10%"). Ngược lại, label smoothing sử dụng các soft targets "không mang thông tin" được suy ra về mặt toán học (ví dụ: "gán 10% xác suất cho tất cả các lớp khác một cách đồng đều").
• vs. Data Augmentation: Các chiến lược data augmentation thay đổi dữ liệu đầu vào (xoay, cắt, thay đổi màu sắc) để tăng sự đa dạng. Label smoothing thay đổi các kỳ vọng đầu ra. Các workflow huấn luyện toàn diện trên Ultralytics Platform thường kết hợp augmentation, dropout và label smoothing để đạt độ chính xác tối đa.

Bằng cách giảm thiểu vấn đề vanishing gradient ở các lớp cuối cùng và khuyến khích model học các đặc trưng mạnh mẽ hơn, label smoothing vẫn là một yếu tố quan trọng trong các kiến trúc deep learning hiện đại.