Làm mịn nhãn

Label Smoothing là một kỹ thuật điều chuẩn (regularization) được sử dụng trong quá trình huấn luyện các mô hình machine learning, đặc biệt là trong các tác vụ phân loại. Nó giải quyết vấn đề mô hình quá tự tin bằng cách ngăn mô hình gán toàn bộ xác suất 1.0 cho lớp chính xác. Thay vì sử dụng các nhãn "cứng" (trong đó lớp chính xác là 1 và tất cả các lớp khác là 0), Label Smoothing tạo ra các nhãn "mềm", phân phối một phần nhỏ của khối lượng xác suất cho các lớp khác. Điều này khuyến khích mô hình bớt chắc chắn hơn về các dự đoán của nó, điều này có thể dẫn đến khả năng tổng quát hóa tốt hơn và cải thiện hiệu suất trên dữ liệu chưa thấy. Kỹ thuật này đã được sử dụng đáng chú ý trong các mô hình hiệu suất cao và được trình bày chi tiết trong các bài báo như When Does Label Smoothing Help?.

Cách thức hoạt động của làm mịn nhãn

Trong một bài toán phân loại học có giám sát điển hình, dữ liệu huấn luyện bao gồm các đầu vào và các nhãn chính xác tương ứng của chúng. Ví dụ: trong một tác vụ phân loại hình ảnh, một hình ảnh về một con mèo sẽ có nhãn "mèo" được biểu diễn dưới dạng một vectơ mã hóa one-hot như đối với các lớp [mèo, chó, chim]. Khi tính toán hàm mất mát, mô hình bị phạt dựa trên mức độ dự đoán của nó khác xa so với mục tiêu cứng này.

Label Smoothing sửa đổi target này. Nó làm giảm nhẹ xác suất target cho lớp chính xác (ví dụ: xuống 0.9) và phân phối xác suất nhỏ còn lại (0.1 trong trường hợp này) đồng đều giữa các lớp không chính xác. Vì vậy, target "mềm" mới có thể trông giống như [0.9, 0.05, 0.05]. Sự thay đổi nhỏ này ngăn cản lớp logit cuối cùng của mạng neural tạo ra các giá trị cực lớn cho một lớp, điều này giúp ngăn ngừa quá khớp (overfitting). Quá trình này có thể được quản lý trong quá trình huấn luyện mô hình bằng các nền tảng như Ultralytics HUB.

Lợi ích của việc làm mịn nhãn

Ưu điểm chính của Label Smoothing là nó cải thiện khả năng hiệu chỉnh mô hình. Điểm tin cậy dự đoán của một mô hình được hiệu chỉnh tốt phản ánh chính xác hơn xác suất đúng thực tế. Điều này rất quan trọng đối với các ứng dụng mà việc hiểu mức độ chắc chắn của mô hình là quan trọng, chẳng hạn như trong phân tích hình ảnh y tế. Bằng cách ngăn chặn sự tự tin thái quá, nó cũng cải thiện khả năng khái quát hóa dữ liệu mới của mô hình, một mục tiêu quan trọng của bất kỳ dự án học máy nào. Điều này thường dẫn đến một sự tăng nhẹ về độ chính xác. Khả năng khái quát hóa tốt hơn dẫn đến các mô hình mạnh mẽ hơn cho suy luận thời gian thực và triển khai mô hình cuối cùng.

Các Ứng dụng Thực tế

Label Smoothing là một kỹ thuật đơn giản nhưng hiệu quả được áp dụng trong nhiều mô hình hiện đại.

1. Phân loại ảnh quy mô lớn (Large-Scale Image Classification): Các mô hình như Ultralytics YOLO được huấn luyện cho các tác vụ phân loại ảnh (image classification tasks) trên các bộ dữ liệu lớn như ImageNet thường sử dụng Label Smoothing. Các bộ dữ liệu này đôi khi có thể chứa các nhãn nhiễu hoặc không chính xác từ quy trình gán nhãn dữ liệu (data labeling). Label Smoothing làm cho mô hình mạnh mẽ hơn đối với nhiễu nhãn này, ngăn nó học cách quá tự tin về các nhãn có khả năng sai. Bạn có thể khám phá nhiều bộ dữ liệu phân loại cho các dự án của mình.
2. Xử lý ngôn ngữ tự nhiên (NLP) (Natural Language Processing (NLP)): Trong các tác vụ như dịch máy (machine translation), có thể có nhiều bản dịch hợp lệ cho một cụm từ duy nhất. Label Smoothing (làm mịn nhãn), được sử dụng trong các mô hình như Transformer, ngăn cản mô hình gán xác suất 1.0 cho một từ chính xác duy nhất trong từ vựng, thừa nhận rằng các từ khác cũng có thể phù hợp. Khái niệm này là nền tảng trong NLP hiện đại và được thảo luận trong các tài liệu từ các tổ chức như Stanford NLP Group.

So sánh Label Smoothing với các Khái niệm Liên quan

Điều quan trọng là phân biệt Label Smoothing với các kỹ thuật điều chuẩn khác.

• Nhãn Cứng: Đây là phương pháp tiêu chuẩn, trong đó mô hình được huấn luyện với độ chắc chắn tuyệt đối (100% cho lớp chính xác). Làm mịn nhãn là một giải pháp thay thế trực tiếp cho điều này.
• Tăng cường dữ liệu (Data Augmentation): Đây là một kỹ thuật регуляризация khác tạo ra các ví dụ huấn luyện mới bằng cách áp dụng các chuyển đổi cho dữ liệu hiện có. Nó làm tăng tính đa dạng của bộ dữ liệu, trong khi Làm mịn nhãn (Label Smoothing) sửa đổi các giá trị mục tiêu. Bạn có thể tìm thấy hướng dẫn về tăng cường dữ liệu YOLO trong tài liệu Ultralytics.
• Dropout: Phương pháp này vô hiệu hóa ngẫu nhiên một phần các nơ-ron trong mỗi bước huấn luyện để ngăn chặn sự đồng thích nghi phức tạp. Nó sửa đổi kiến trúc của mô hình trong quá trình huấn luyện, trong khi Làm mịn nhãn (Label Smoothing) sửa đổi cách tính toán mất mát. Bạn có thể tìm hiểu sâu hơn về dropout trong một bài viết trên GeeksforGeeks về chủ đề này (GeeksforGeeks article on the topic).
• Chưng cất tri thức (Knowledge Distillation): Trong kỹ thuật này, một mô hình "học sinh" nhỏ hơn được đào tạo bằng cách sử dụng các nhãn mềm được tạo ra bởi một mô hình "giáo viên" lớn hơn, được đào tạo trước. Mặc dù nó cũng sử dụng nhãn mềm, nhưng nguồn gốc của các nhãn này là các dự đoán của một mô hình khác, chứ không phải là một heuristic đơn giản được áp dụng cho các nhãn ground truth như trong Label Smoothing. Bài báo gốc Distilling the Knowledge in a Neural Network cung cấp một sự hiểu biết cơ bản về khái niệm này.