Regularization

Regularization là tập hợp các kỹ thuật được sử dụng trong machine learning để ngăn model trở nên quá phức tạp và cải thiện khả năng tổng quát hóa trên dữ liệu mới chưa từng thấy. Trong quá trình huấn luyện, model tìm cách giảm thiểu lỗi, thường bằng cách học các quy luật phức tạp trong dữ liệu huấn luyện. Tuy nhiên, nếu không có ràng buộc, model có thể bắt đầu ghi nhớ nhiễu và giá trị ngoại lệ—vấn đề được gọi là overfitting. Regularization khắc phục tình trạng này bằng cách thêm hình phạt vào hàm loss của model, qua đó ngăn các giá trị tham số cực đoan và buộc thuật toán học những quy luật trơn hơn, mạnh mẽ hơn.

Các khái niệm và kỹ thuật cốt lõi#

Nguyên lý regularization thường được so sánh với Dao cạo Occam, hàm ý rằng lời giải đơn giản nhất thường là lời giải đúng. Bằng cách đặt ràng buộc lên model, nhà phát triển đảm bảo model tập trung vào các đặc trưng quan trọng nhất của dữ liệu thay vì những tương quan ngẫu nhiên.

Một số phương pháp phổ biến được dùng để triển khai regularization trong các framework học sâu hiện đại:

• Regularization L1 và L2: Các kỹ thuật này thêm một số hạng phạt dựa trên độ lớn của trọng số model. Regularization L2, còn được gọi là Hồi quy Ridge hoặc weight decay, phạt mạnh các trọng số lớn, khuyến khích trọng số nhỏ và phân tán. Regularization L1, hay Hồi quy Lasso, có thể đưa một số trọng số về 0, qua đó thực hiện lựa chọn đặc trưng.
• Dropout: Được sử dụng riêng trong mạng nơ-ron, lớp dropout ngẫu nhiên vô hiệu hóa một tỷ lệ neuron trong quá trình huấn luyện. Điều này buộc mạng phát triển các đường dẫn dư thừa để nhận diện đặc trưng, đảm bảo không có neuron đơn lẻ nào trở thành nút thắt cổ chai cho một dự đoán cụ thể.
• Tăng cường dữ liệu: Dù chủ yếu là bước tiền xử lý, tăng cường dữ liệu hoạt động như một phương pháp regularization mạnh mẽ. Bằng cách mở rộng nhân tạo dataset với các phiên bản ảnh đã biến đổi (xoay, lật, thay đổi màu sắc), model được tiếp xúc với nhiều biến thiên hơn, tránh ghi nhớ các ví dụ tĩnh ban đầu.
• Dừng sớm: Phương pháp này theo dõi hiệu suất của model trên dữ liệu validation trong quá trình huấn luyện. Nếu lỗi validation bắt đầu tăng trong khi lỗi huấn luyện giảm, quá trình sẽ dừng lại để ngăn model học nhiễu.

Ứng dụng thực tế#

Regularization là yếu tố không thể thiếu khi triển khai các hệ thống AI đáng tin cậy trong nhiều ngành có dữ liệu biến thiên lớn.

1. Lái xe tự hành: Trong các giải pháp AI cho ngành ô tô, các model computer vision phải phát hiện người đi bộ và biển báo giao thông trong nhiều điều kiện thời tiết khác nhau. Nếu không có regularization, model có thể ghi nhớ các điều kiện ánh sáng cụ thể trong tập huấn luyện và hoạt động kém trong thực tế. Các kỹ thuật như weight decay giúp hệ thống phát hiện khái quát hóa tốt khi trời mưa, sương mù hoặc có ánh sáng chói, điều này rất quan trọng đối với sự an toàn của xe tự hành.

2. Chẩn đoán hình ảnh y tế: Khi thực hiện phân tích ảnh y tế, kích thước tập dữ liệu thường bị giới hạn do các vấn đề về quyền riêng tư hoặc tình trạng bệnh hiếm gặp. Overfitting là một rủi ro đáng kể trong trường hợp này. Các phương pháp regularization giúp model được huấn luyện để phát hiện bất thường trên ảnh X-quang hoặc MRI vẫn chính xác với dữ liệu bệnh nhân mới, góp phần cải thiện kết quả chẩn đoán trong AI y tế.

Triển khai bằng Python#

Các thư viện hiện đại giúp áp dụng regularization dễ dàng thông qua hyperparameter. Ví dụ sau minh họa cách áp dụng dropout và weight_decay khi huấn luyện model YOLO26.

from ultralytics import YOLO

# Tải model YOLO26 mới nhất
model = YOLO("yolo26n.pt")

# Huấn luyện với các hyperparameter regularization
# 'dropout' thêm tính ngẫu nhiên, 'weight_decay' phạt các weight lớn để ngăn overfitting
model.train(data="coco8.yaml", epochs=100, dropout=0.5, weight_decay=0.0005)

Có thể dễ dàng quản lý các thử nghiệm này và theo dõi ảnh hưởng của những giá trị regularization khác nhau đến hiệu suất thông qua Ultralytics Platform, nền tảng cung cấp các công cụ ghi log và so sánh những lần chạy huấn luyện.

Regularization và các khái niệm liên quan#

Nên phân biệt regularization với các thuật ngữ tối ưu hóa và tiền xử lý khác:

• Regularization và chuẩn hóa: Chuẩn hóa là việc đưa dữ liệu đầu vào về một khoảng giá trị tiêu chuẩn để tăng tốc độ hội tụ. Các kỹ thuật như Batch Normalization có thể tạo hiệu ứng regularization nhẹ, nhưng mục đích chính của chúng là ổn định động lực học của quá trình học, trong khi regularization chủ động phạt độ phức tạp.
• Regularization và tinh chỉnh hyperparameter: Các tham số regularization (như tỷ lệ dropout hoặc mức phạt L2) bản thân chúng cũng là hyperparameter. Tinh chỉnh hyperparameter là quy trình rộng hơn nhằm tìm kiếm các giá trị tối ưu cho những thiết lập này, thường để cân bằng đánh đổi bias-variance.
• Regularization và học ensemble: Các phương pháp ensemble kết hợp dự đoán từ nhiều model để giảm variance và cải thiện khả năng khái quát hóa. Dù đạt được mục tiêu tương tự regularization, các phương pháp này thực hiện điều đó bằng cách tổng hợp nhiều model đa dạng thay vì giới hạn quá trình học của một model đơn lẻ.