Chính quy hóa

Chính quy hóa là một tập hợp các chiến lược quan trọng trong học máy (ML) được thiết kế để tăng cường khả năng khái quát hóa của mô hình đối với dữ liệu mới, chưa từng thấy. Mục tiêu chính của nó là ngăn chặn hiện tượng quá khớp (overfitting ), một hiện tượng phổ biến khi mô hình học nhiễu và các chi tiết cụ thể của dữ liệu huấn luyện, gây ảnh hưởng đến hiệu suất của nó trên các đầu vào hợp lệ. Bằng cách đưa vào thông tin hoặc ràng buộc bổ sung—thường dưới dạng một số hạng phạt được thêm vào hàm mất mát —chính quy hóa giúp mô hình tránh trở nên quá phức tạp. Điều này dẫn đến một hệ thống mạnh mẽ hơn, duy trì độ chính xác cao trên cả dữ liệu huấn luyện và dữ liệu xác thực .

Các kỹ thuật điều chuẩn phổ biến

Có một số phương pháp đã được thiết lập để áp dụng chính quy hóa, mỗi phương pháp nhắm vào các khía cạnh khác nhau của độ phức tạp của mô hình và động lực đào tạo:

• Chính quy hóa L1 và L2 : Đây là những dạng truyền thống nhất. Chính quy hóa L1 (Lasso) thêm một hình phạt bằng giá trị tuyệt đối của các hệ số, có thể đưa một số trọng số về 0, thực hiện hiệu quả việc lựa chọn đặc trưng. Chính quy hóa L2 (Ridge), được sử dụng rộng rãi trong học sâu (DL) , thêm một hình phạt bằng bình phương độ lớn của các hệ số, khuyến khích các trọng số mô hình nhỏ hơn và phân tán hơn.
• Lớp Dropout : Được thiết kế đặc biệt cho mạng nơ-ron (NN) , dropout sẽ vô hiệu hóa ngẫu nhiên một phần nơ-ron trong mỗi bước huấn luyện. Điều này buộc mạng phải học các biểu diễn dư thừa và ngăn chặn việc phụ thuộc vào các đường dẫn nơ-ron cụ thể, một khái niệm được trình bày chi tiết trong bài nghiên cứu dropout ban đầu .
• Tăng cường Dữ liệu : Thay vì sửa đổi kiến trúc mô hình, kỹ thuật này mở rộng tập huấn luyện bằng cách tạo ra các phiên bản sửa đổi của hình ảnh hoặc điểm dữ liệu hiện có. Các phép biến đổi như xoay, thu phóng và lật giúp mô hình trở nên bất biến với những thay đổi này. Bạn có thể khám phá các kỹ thuật tăng cường dữ liệu YOLO để xem cách áp dụng kỹ thuật này trong thực tế.
• Dừng sớm : Phương pháp thực tế này bao gồm việc theo dõi hiệu suất của mô hình trên tập xác thực trong quá trình huấn luyện. Nếu độ suy giảm xác thực ngừng cải thiện hoặc bắt đầu tăng, quá trình huấn luyện sẽ dừng ngay lập tức. Điều này ngăn mô hình tiếp tục học nhiễu trong các giai đoạn huấn luyện sau.
• Làm mịn nhãn : Kỹ thuật này điều chỉnh nhãn mục tiêu trong quá trình huấn luyện để mô hình không bị buộc phải dự đoán với độ tin cậy 100% (ví dụ: xác suất 1,0). Bằng cách làm mềm các mục tiêu (ví dụ: xuống 0,9), làm mịn nhãn giúp mạng không trở nên quá tự tin, điều này có lợi cho các tác vụ như phân loại hình ảnh .

Thực hiện chính quy hóa trong Python

Các thư viện hiện đại như Ultralytics giúp việc áp dụng các kỹ thuật này thông qua các đối số huấn luyện trở nên dễ dàng. Ví dụ sau đây minh họa cách huấn luyện một YOLO11 mô hình với quy tắc L2 (được kiểm soát bởi weight_decay) và bỏ học để đảm bảo mô hình mạnh mẽ.

from ultralytics import YOLO

# Load a pre-trained YOLO11 model
model = YOLO("yolo11n.pt")

# Train the model with specific regularization parameters
# 'weight_decay' applies L2 regularization
# 'dropout' applies a dropout layer with a 10% probability
results = model.train(data="coco8.yaml", epochs=50, weight_decay=0.0005, dropout=0.1)

Các Ứng dụng Thực tế

Việc chuẩn hóa là điều không thể thiếu khi triển khai các hệ thống AI đáng tin cậy trên nhiều ngành công nghiệp khác nhau.

1. Lái xe tự động : Trong AI cho các giải pháp ô tô , các mô hình thị giác máy tính phải detect Người đi bộ và biển báo giao thông trong điều kiện thời tiết đa dạng. Nếu không được điều chỉnh, mô hình có thể ghi nhớ các điều kiện ánh sáng cụ thể từ tập huấn luyện và không thể hoạt động trong thực tế. Các kỹ thuật như giảm trọng số đảm bảo hệ thống phát hiện có thể tổng quát hóa tốt với mưa, sương mù hoặc ánh sáng chói.
2. Hình ảnh y tế : Khi thực hiện phân tích hình ảnh y tế , các tập dữ liệu thường bị giới hạn về kích thước. Quá khớp là một rủi ro đáng kể ở đây. Các phương pháp chính quy hóa, đặc biệt là tăng cường dữ liệu và dừng sớm, giúp các mô hình được đào tạo để detect các bất thường trong phim X-quang hoặc MRI vẫn chính xác trên dữ liệu bệnh nhân mới, hỗ trợ kết quả chẩn đoán tốt hơn.

Chính quy hóa so với các khái niệm liên quan

Sẽ rất hữu ích khi phân biệt chính quy hóa với các thuật ngữ tối ưu hóa và tiền xử lý khác:

• Chuẩn hóa so với Chuẩn hóa : Chuẩn hóa liên quan đến việc điều chỉnh dữ liệu đầu vào theo một phạm vi chuẩn để tăng tốc độ hội tụ. Mặc dù các kỹ thuật như Chuẩn hóa Hàng loạt có thể có tác dụng chuẩn hóa nhẹ, mục đích chính của chúng là ổn định động lực học, trong khi chuẩn hóa rõ ràng là hạn chế độ phức tạp.
• Điều chỉnh chính quy so với Điều chỉnh siêu tham số : Các tham số điều chỉnh (như tỷ lệ bỏ học hoặc hình phạt L2) tự chúng là các siêu tham số. Điều chỉnh siêu tham số là quá trình rộng hơn để tìm kiếm các giá trị tối ưu cho các thiết lập này, thường sử dụng các công cụ như Ultralytics Tuner .
• Chính quy hóa so với Học tập tổng hợp : Phương pháp tổng hợp kết hợp các dự đoán từ nhiều mô hình để giảm phương sai và cải thiện khả năng khái quát hóa. Mặc dù đạt được mục tiêu tương tự như chính quy hóa, nhưng nó thực hiện điều này bằng cách tổng hợp các mô hình đa dạng thay vì hạn chế việc học của một mô hình duy nhất.