Làm mịn nhãn

Làm mịn nhãn là một kỹ thuật điều chỉnh được sử dụng trong quá trình huấn luyện các mô hình học máy để ngăn mạng nơ-ron trở nên quá tự tin vào dự đoán của mình. Bằng cách điều chỉnh nhẹ các nhãn mục tiêu, phương pháp này khuyến khích mô hình tạo ra các phân phối xác suất ít cực đoan hơn, từ đó dẫn đến khả năng khái quát hóa tốt hơn và cải thiện hiệu suất trên dữ liệu chưa biết. Nó giúp giảm thiểu hiệu quả vấn đề thường gặp của hiện tượng quá khớp (overfitting ), khi mô hình ghi nhớ dữ liệu huấn luyện thay vì học các mẫu cơ bản cần thiết cho dự đoán chính xác trong các tình huống thực tế.

Cơ chế làm mịn nhãn

Trong các tác vụ học có giám sát tiêu chuẩn, chẳng hạn như phân loại hình ảnh, các mô hình thường được huấn luyện bằng các mục tiêu "cứng". Các mục tiêu này là các vectơ được mã hóa one-hot, trong đó lớp đúng được gán xác suất 1.0 (100%) và tất cả các lớp sai được gán 0.0. Mặc dù điều này có vẻ trực quan, nhưng nó buộc hàm mất mát —thường là Cross-Entropy Loss—phải đưa đầu ra của lớp logit đến vô cực để đạt được chính xác 1.0. Hành vi này dẫn đến một mô hình quá tự tin, ngay cả khi nó sai, và làm giảm khả năng thích ứng của nó với các đầu vào mới.

Làm mịn nhãn thay thế các mục tiêu cứng này bằng các mục tiêu "mềm". Thay vì gán 1.0 cho giá trị thực tế, kỹ thuật này gán một giá trị thấp hơn một chút, chẳng hạn như 0.9. Khối lượng xác suất còn lại (ví dụ: 0.1) được phân bổ đồng đều trên các lớp không chính xác. Sự thay đổi tinh tế này ngăn hàm kích hoạt , thường là Softmax , bị bão hòa. Để hiểu sâu hơn về mặt lý thuyết, bài báo nghiên cứu " Suy nghĩ lại về Kiến trúc Khởi đầu cho Thị giác Máy tính " cung cấp những hiểu biết cơ bản về cách cơ chế này ổn định quá trình huấn luyện.

Triển khai làm mịn nhãn với Ultralytics

Các khuôn khổ thị giác máy tính hiện đại giúp việc áp dụng kỹ thuật này trở nên dễ dàng. Khi sử dụng mô hình Ultralytics YOLO11 , bạn có thể kích hoạt làm mịn nhãn trực tiếp trong các đối số huấn luyện. Điều này đặc biệt hữu ích cho các tác vụ phân loại mà tập dữ liệu có thể chứa sự mơ hồ.

Ví dụ sau đây minh họa cách đào tạo mô hình bằng cách áp dụng làm mịn nhãn:

from ultralytics import YOLO

# Load the YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Train on a dataset with label smoothing set to 0.1
# This distributes 10% of the probability mass to incorrect classes
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Lợi ích trong hiệu chuẩn mô hình và độ tin cậy

Một trong những lợi thế chính của việc làm mịn nhãn là cải thiện hiệu chuẩn mô hình . Một mô hình được hiệu chuẩn tốt sẽ tạo ra các xác suất dự đoán về cơ bản phản ánh đúng xác suất chính xác thực sự. Ví dụ, nếu một mô hình dự đoán một lớp với độ tin cậy 70%, thì nó sẽ đúng 70% trong mọi trường hợp. Nhãn cứng thường dẫn đến các mô hình chưa được hiệu chuẩn, dự đoán với độ tin cậy 99% bất kể độ không chắc chắn thực tế.

Hơn nữa, làm mịn nhãn làm tăng độ bền vững trước dữ liệu nhiễu . Trong các tập dữ liệu lớn như ImageNet , một số nhãn có thể không chính xác hoặc mơ hồ. Bằng cách không buộc mô hình hội tụ về đúng 1.0, mạng sẽ dễ dàng bỏ qua các ví dụ bị gắn nhãn sai, ngăn mạng nơ-ron học sâu các mẫu sai.

Các Ứng dụng Thực tế

Chiến lược chính quy hóa này được áp dụng rộng rãi trong nhiều lĩnh vực trí tuệ nhân tạo để tăng cường độ tin cậy.

• Phân tích hình ảnh y tế: Trong các giải pháp AI chăm sóc sức khỏe , sự không chắc chắn là điều vốn có. Ảnh chụp có thể cho thấy các đặc điểm của khối u không rõ ràng. Làm mịn nhãn giúp các mô hình phân tích hình ảnh y tế tránh đưa ra những dự đoán dương tính giả quá đáng, hỗ trợ các bác sĩ chẩn đoán hình ảnh bằng cách cung cấp điểm xác suất sắc thái hơn thay vì chỉ là sự chắc chắn nhị phân.
• Xử lý Ngôn ngữ Tự nhiên (NLP): Trong các tác vụ như dịch máy , nhiều từ thường có thể đóng vai trò là bản dịch hợp lệ cho một từ nguồn duy nhất. Làm mịn nhãn thừa nhận sự mơ hồ này bằng cách ngăn mô hình gán xác suất bằng không cho các từ đồng nghĩa hợp lệ, một khái niệm quan trọng trong Transformers và Mô hình Ngôn ngữ Lớn .

So sánh với các khái niệm liên quan

Sẽ rất hữu ích khi phân biệt việc làm mịn nhãn với các kỹ thuật khác được sử dụng để cải thiện hiệu suất mô hình.

• so với Tăng cường Dữ liệu: Trong khi tăng cường dữ liệu sửa đổi dữ liệu đầu vào (ví dụ: xoay hoặc lật hình ảnh) để tăng tính đa dạng, thì làm mịn nhãn sửa đổi nhãn mục tiêu . Cả hai có thể được sử dụng đồng thời để huấn luyện các mô hình mạnh mẽ như YOLO26 , hướng đến độ chính xác và hiệu quả cao.
• so với Chắt lọc Kiến thức: Trong chắt lọc kiến thức , mô hình học viên học hỏi từ các dự đoán "mềm" của mô hình giáo viên. Không giống như làm mịn nhãn, trong đó các mục tiêu mềm là đồng nhất và mang tính kinh nghiệm, chắt lọc sử dụng các xác suất đã học chứa thông tin về mối quan hệ giữa các lớp (ví dụ: "chó" giống "mèo" hơn là "ô tô").
• so với Dropout: Lớp dropout sẽ vô hiệu hóa ngẫu nhiên các neuron trong quá trình huấn luyện để ngăn chặn sự đồng thích nghi. Điều này thay đổi kiến trúc mạng một cách linh hoạt, trong khi làm mịn nhãn sẽ thay đổi mục tiêu tối ưu hóa. Bạn có thể tìm hiểu thêm chi tiết về dropout trong bài báo này trên Tạp chí Nghiên cứu Học máy .

Bằng cách tích hợp tính năng làm mịn nhãn vào quy trình đào tạo, bạn đảm bảo rằng các mô hình của mình vẫn có khả năng thích ứng và hiệu chỉnh, điều này rất cần thiết để triển khai mô hình thành công trong môi trường sản xuất.