Chính quy hóa

Chính quy hóa (Regularization) là một tập hợp các kỹ thuật được sử dụng trong học máy (ML) để ngăn chặn một vấn đề phổ biến được gọi là quá khớp (overfitting). Khi một mô hình bị quá khớp, nó học dữ liệu huấn luyện quá tốt, bao gồm cả nhiễu và các biến động ngẫu nhiên, điều này ảnh hưởng tiêu cực đến khả năng khái quát hóa và đưa ra các dự đoán chính xác trên dữ liệu mới, chưa từng thấy. Chính quy hóa hoạt động bằng cách thêm một hình phạt cho độ phức tạp của mô hình vào hàm mất mát (loss function), ngăn cản mô hình học các mẫu quá phức tạp. Điều này giúp tạo ra một mô hình đơn giản hơn, có khả năng khái quát hóa tốt hơn, hoạt động tốt hơn trên cả dữ liệu huấn luyện và dữ liệu kiểm định (validation data).

Các kỹ thuật điều chuẩn phổ biến

Có một số kỹ thuật chính quy hóa được sử dụng rộng rãi giúp cải thiện hiệu suất và tính mạnh mẽ của mô hình:

• L1 và L2 Regularization: Đây là những dạng điều chuẩn phổ biến nhất. Chúng thêm một khoản phạt vào hàm mất mát dựa trên kích thước của các trọng số của mô hình. Điều chuẩn L1 (Lasso) có xu hướng thu nhỏ các trọng số đặc trưng ít quan trọng hơn về chính xác bằng không, thực hiện lựa chọn đặc trưng một cách hiệu quả. Điều chuẩn L2 (Ridge hoặc Weight Decay) buộc các trọng số phải nhỏ nhưng hiếm khi bằng không. Bạn có thể tìm hiểu sâu hơn về sự khác biệt toán học trong các tài liệu như ghi chú khóa học Stanford CS229.
• Dropout Layer (Lớp Dropout): Kỹ thuật này dành riêng cho mạng nơ-ron (neural networks). Trong quá trình huấn luyện, nó ngẫu nhiên đặt một phần các kích hoạt nơ-ron thành không tại mỗi bước cập nhật. Điều này ngăn các nơ-ron thích ứng quá nhiều với nhau và buộc mạng phải học các đặc trưng mạnh mẽ hơn. Khái niệm này được giới thiệu trong một bài báo nghiên cứu có ảnh hưởng lớn.
• Data Augmentation (Tăng cường dữ liệu): Bằng cách mở rộng một cách nhân tạo kích thước và tính đa dạng của dữ liệu huấn luyện, tăng cường dữ liệu giúp mô hình trở nên bất biến hơn đối với những thay đổi nhỏ. Các kỹ thuật phổ biến bao gồm xoay, cắt, thu phóng và thay đổi màu sắc trong hình ảnh. Ultralytics cung cấp các phương pháp tăng cường dữ liệu YOLO tích hợp để cải thiện tính mạnh mẽ của mô hình.
• Dừng Sớm (Early Stopping): Đây là một phương pháp thực tế, trong đó hiệu suất của mô hình trên một tập kiểm định (validation set) được theo dõi trong quá trình huấn luyện. Quá trình huấn luyện sẽ dừng lại khi hiệu suất kiểm định ngừng cải thiện, ngăn mô hình bắt đầu bị quá khớp (overfit) ở các epochs sau. Một hướng dẫn thực tế về triển khai dừng sớm có sẵn trong tài liệu PyTorch.

Các Ứng dụng Thực tế

Chính quy hóa là nền tảng để phát triển các mô hình học sâu (DL) hiệu quả trong nhiều lĩnh vực khác nhau.

1. Computer Vision: Trong các mô hình nhận diện đối tượng như Ultralytics YOLO, điều chuẩn hóa (regularization) đóng vai trò quan trọng để khái quát hóa từ các bộ dữ liệu như COCO sang các ứng dụng thực tế. Ví dụ: trong giải pháp AI cho ngành ô tô, điều chuẩn hóa L2 và dropout giúp một hệ thống phát hiện biển báo giao thông hoạt động đáng tin cậy trong các điều kiện ánh sáng và thời tiết khác nhau, ngăn nó ghi nhớ các ví dụ cụ thể đã thấy trong quá trình huấn luyện.
2. Xử lý ngôn ngữ tự nhiên (NLP) (Natural Language Processing (NLP)): Các mô hình ngôn ngữ lớn (LLMs) dễ bị overfitting (quá khớp) do số lượng tham số khổng lồ của chúng. Trong các ứng dụng như dịch máy (machine translation), dropout được sử dụng trong kiến trúc Transformer để đảm bảo mô hình học các quy tắc ngữ pháp và các mối quan hệ ngữ nghĩa thay vì chỉ ghi nhớ các cặp câu cụ thể từ dữ liệu huấn luyện của nó.

So sánh chính quy hóa với các khái niệm khác

Điều quan trọng là phân biệt điều chuẩn (regularization) với các khái niệm liên quan khác trong ML:

• Điều chuẩn (Regularization) so với Chuẩn hóa (Normalization): Chuẩn hóa là một kỹ thuật tiền xử lý dữ liệu (data preprocessing) giúp điều chỉnh tỷ lệ các đặc trưng đầu vào về một phạm vi tiêu chuẩn (ví dụ: 0 đến 1). Nó đảm bảo rằng không có một đặc trưng đơn lẻ nào chi phối quá trình học do tỷ lệ của nó. Ngược lại, điều chuẩn là một kỹ thuật hạn chế độ phức tạp của mô hình trong quá trình huấn luyện để ngăn ngừa quá khớp. Mặc dù cả hai đều cải thiện hiệu suất của mô hình, nhưng chuẩn hóa tập trung vào dữ liệu, trong khi điều chuẩn tập trung vào chính mô hình. Batch Normalization là một kỹ thuật chuẩn hóa theo lớp cũng cung cấp một hiệu ứng điều chuẩn nhẹ.
• Điều chuẩn (Regularization) so với Điều chỉnh Siêu Tham số (Hyperparameter Tuning): Các kỹ thuật điều chuẩn có các siêu tham số riêng, chẳng hạn như cường độ điều chuẩn (lambda) trong L1/L2 hoặc tỷ lệ dropout. Điều chỉnh siêu tham số là quá trình tìm các giá trị tối ưu cho các cài đặt này, thường được tự động hóa bằng các công cụ như Ultralytics Tuner class. Tóm lại, bạn sử dụng điều chỉnh siêu tham số để tìm cách tốt nhất để áp dụng điều chuẩn. Các nền tảng như Ultralytics HUB có thể giúp quản lý các thử nghiệm cần thiết cho quá trình này.