Làm mịn nhãn

Làm mịn Nhãn là một kỹ thuật điều chỉnh được sử dụng trong quá trình huấn luyện các mô hình học máy , đặc biệt là trong các tác vụ phân loại. Kỹ thuật này giải quyết vấn đề quá tự tin của mô hình bằng cách ngăn mô hình gán toàn bộ xác suất 1.0 cho lớp đúng. Thay vì sử dụng các nhãn "cứng" (trong đó lớp đúng là 1 và tất cả các lớp khác là 0), Làm mịn Nhãn tạo ra các nhãn "mềm", phân phối một phần nhỏ khối lượng xác suất cho các lớp khác. Điều này khuyến khích mô hình ít chắc chắn hơn về các dự đoán của nó, từ đó có thể dẫn đến khả năng khái quát hóa tốt hơn và cải thiện hiệu suất trên dữ liệu chưa biết. Kỹ thuật này đặc biệt được sử dụng trong các mô hình hiệu suất cao và được trình bày chi tiết trong các bài báo như When Does Label Smoothing Help? (Khi nào Làm mịn Nhãn Giúp ích?) .

Làm thế nào để làm mịn nhãn hoạt động

Trong một bài toán phân loại học có giám sát điển hình, dữ liệu huấn luyện bao gồm các đầu vào và nhãn chính xác tương ứng. Ví dụ, trong một bài toán phân loại hình ảnh , một hình ảnh mèo sẽ có nhãn "mèo" được biểu diễn dưới dạng một vectơ mã hóa one-hot, tương tự như đối với các lớp [mèo, chó, chim]. Khi tính toán hàm mất mát , mô hình sẽ bị phạt dựa trên khoảng cách dự đoán của nó so với mục tiêu khó này.

Làm mịn nhãn (Label Smoothing) sửa đổi mục tiêu này. Nó giảm nhẹ xác suất mục tiêu cho lớp đúng (ví dụ: xuống 0,9) và phân bổ đều xác suất nhỏ còn lại (trong trường hợp này là 0,1) cho các lớp không đúng. Vì vậy, mục tiêu "mềm" mới có thể trông giống như [0,9, 0,05, 0,05]. Thay đổi nhỏ này ngăn lớp logit cuối cùng của mạng nơ-ron tạo ra các giá trị cực lớn cho một lớp, giúp ngăn ngừa hiện tượng quá khớp . Quá trình này có thể được quản lý trong quá trình huấn luyện mô hình bằng các nền tảng như Ultralytics HUB .

Lợi ích của việc làm mịn nhãn

Ưu điểm chính của Làm mịn Nhãn là nó cải thiện hiệu chuẩn mô hình. Điểm tin cậy dự đoán của một mô hình được hiệu chuẩn tốt sẽ phản ánh chính xác hơn xác suất đúng thực sự. Điều này rất quan trọng đối với các ứng dụng đòi hỏi sự hiểu biết về độ tin cậy của mô hình, chẳng hạn như trong phân tích hình ảnh y tế . Bằng cách ngăn ngừa sự tự tin thái quá, nó cũng cải thiện khả năng khái quát hóa của mô hình sang dữ liệu mới, một mục tiêu chính của bất kỳ dự án học máy nào . Điều này thường dẫn đến sự gia tăng nhẹ về độ chính xác . Khái quát hóa tốt hơn dẫn đến các mô hình mạnh mẽ hơn cho suy luận thời gian thực và triển khai mô hình cuối cùng.

Ứng dụng trong thế giới thực

Làm mịn nhãn là một kỹ thuật đơn giản nhưng hiệu quả được áp dụng trong nhiều mô hình hiện đại.

1. Phân loại ảnh quy mô lớn: Các mô hình như Ultralytics YOLO được đào tạo cho các tác vụ phân loại ảnh trên các tập dữ liệu lớn như ImageNet thường sử dụng Làm mịn Nhãn. Các tập dữ liệu này đôi khi có thể chứa các nhãn nhiễu hoặc nhãn không chính xác từ quá trình gắn nhãn dữ liệu . Làm mịn Nhãn giúp mô hình mạnh mẽ hơn trước nhiễu nhãn này, ngăn ngừa việc quá tự tin vào các nhãn có khả năng sai. Bạn có thể khám phá nhiều tập dữ liệu phân loại khác nhau cho các dự án của mình .
2. Xử lý Ngôn ngữ Tự nhiên (NLP): Trong các tác vụ như dịch máy , có thể có nhiều bản dịch hợp lệ cho một cụm từ. Làm mịn Nhãn, được sử dụng trong các mô hình như Transformer , ngăn mô hình gán xác suất 1.0 cho một từ đúng duy nhất trong từ vựng, thừa nhận rằng các từ khác cũng có thể phù hợp. Khái niệm này là nền tảng trong NLP hiện đại và được thảo luận trong các tài liệu từ các tổ chức như Stanford NLP Group .

Làm mịn nhãn so với các khái niệm liên quan

Điều quan trọng là phải phân biệt Làm mịn nhãn với các kỹ thuật điều chỉnh khác.

• Nhãn cứng: Đây là phương pháp tiêu chuẩn trong đó mô hình được huấn luyện với độ chính xác tuyệt đối (100% cho đúng lớp). Làm mịn nhãn là một giải pháp thay thế trực tiếp cho phương pháp này.
• Tăng cường Dữ liệu : Đây là một kỹ thuật chính quy hóa khác tạo ra các ví dụ huấn luyện mới bằng cách áp dụng các phép biến đổi vào dữ liệu hiện có. Kỹ thuật này làm tăng tính đa dạng của tập dữ liệu, trong khi Làm mịn Nhãn tự điều chỉnh các giá trị mục tiêu. Bạn có thể tìm thấy hướng dẫn về tăng cường dữ liệu YOLO trong tài liệu Ultralytics .
• Dropout : Phương pháp này vô hiệu hóa ngẫu nhiên một phần tế bào thần kinh trong mỗi bước huấn luyện để ngăn ngừa sự đồng thích nghi phức tạp. Nó sửa đổi kiến trúc của mô hình trong quá trình huấn luyện, trong khi Label Smoothing sửa đổi phép tính mất mát. Bạn có thể tìm hiểu sâu hơn về dropout trong bài viết trên GeeksforGeeks về chủ đề này .
• Chắt lọc Kiến thức : Trong kỹ thuật này, một mô hình "học viên" nhỏ hơn được huấn luyện bằng cách sử dụng các nhãn mềm được tạo ra bởi một mô hình "giáo viên" lớn hơn, đã được huấn luyện trước. Mặc dù cũng sử dụng nhãn mềm, nguồn gốc của các nhãn này là các dự đoán của một mô hình khác, chứ không phải là một phương pháp heuristic đơn giản được áp dụng cho các nhãn thực tế như trong Làm mịn Nhãn. Bài báo gốc "Chắt lọc Kiến thức trong Mạng Nơ-ron" cung cấp một sự hiểu biết cơ bản về khái niệm này.