Weight Decay

Weight decay là một kỹ thuật regularization kéo các trọng số đã học của model về gần 0 trong quá trình huấn luyện. Việc thu nhỏ lặp lại này ngăn các giá trị tham số lớn không cần thiết và giúp mạng neural khái quát hóa tốt trên các ví dụ chưa từng thấy. Kỹ thuật này đặc biệt hữu ích khi model có đủ năng lực để ghi nhớ nhiễu trong dữ liệu huấn luyện.

Geoffrey Hinton giới thiệu weight decay trong bài báo năm 1986 Learning Distributed Representations of Concepts. Trong thí nghiệm cây phả hệ, ông giảm độ lớn của trọng số 0.2% sau mỗi lần cập nhật để các kết nối đã học dễ diễn giải hơn. Sau đó, weight decay được sử dụng rộng rãi để kiểm soát overfitting.

Cách Weight Decay Hoạt Động#

Trong quá trình gradient descent, optimizer thay đổi các tham số bằng gradient: các đạo hàm mô tả ảnh hưởng của từng tham số lên hàm loss. Weight decay bổ sung lực kéo về 0. Với quy ước nhân learning rate được nhiều optimizer sử dụng, một bước cập nhật SGD thuần túy không có momentum là new weight = (1 - learning rate × decay) × old weight - learning rate × gradient. Cách này kết hợp việc học từ lỗi dự đoán với việc thu nhỏ tỷ lệ thuận.

Hệ số decay kiểm soát cường độ của lực kéo đó. Giá trị 0 sẽ tắt tác dụng này; các giá trị dương lớn hơn làm tăng mức thu nhỏ khi learning rate được giữ cố định. Gradient của tác vụ vẫn có thể làm tăng trọng số nếu điều đó giúp cải thiện dự đoán. Learning-rate decay giảm dần kích thước bước của optimizer; weight decay tác động lên giá trị tham số.

Weight Decay và Regularization L2#

Regularization L2 cộng tổng bình phương trọng số đã nhân hệ số vào mục tiêu huấn luyện. Với stochastic gradient descent thuần túy, lấy đạo hàm của penalty này tạo ra mức thu nhỏ tỷ lệ thuận tương tự, nếu các hệ số được khớp phù hợp. Trong hồi quy tuyến tính, phương pháp khớp mô hình với penalty bình phương trọng số này được gọi là hồi quy ridge.

Với optimizer Adam, việc thêm penalty L2 đưa gradient của penalty qua các trung bình động và cơ chế điều chỉnh riêng cho từng tham số của Adam. AdamW áp dụng việc thu nhỏ riêng biệt với phép tính gradient thích ứng đó. Ilya Loshchilov và Frank Hutter giới thiệu AdamW trong bài báo năm 2017 Decoupled Weight Decay Regularization, được công bố tại ICLR 2019. Việc tách riêng này giúp cường độ decay độc lập với cơ chế điều chỉnh dựa trên lịch sử gradient của Adam.

Chọn Cường độ Decay#

Weight decay là một hyperparameter, được lựa chọn bằng dữ liệu validation. Mức decay quá thấp khiến overfitting chưa được kiểm soát đầy đủ. Decay quá mạnh gây ra underfitting: model không khớp được các mẫu hữu ích, dẫn đến lỗi cao trên các ví dụ huấn luyện và validation. So sánh điểm validation ở các mức decay khác nhau giúp xác định cường độ phù hợp với một model và dataset cụ thể.

Tác động tích lũy cũng phụ thuộc vào lịch learning rate và số lần cập nhật của optimizer. Thay đổi batch size hoặc số epoch huấn luyện có thể làm thay đổi số lần áp dụng decay; tích lũy gradient kết hợp nhiều batch trước khi cập nhật. Lớp dropout regularize bằng cách đặt ngẫu nhiên các activation về 0, trong khi dừng sớm giới hạn thời lượng huấn luyện.

Ultralytics YOLO cung cấp một thiết lập huấn luyện weight_decay, có giá trị mặc định là 0.0005, để kiểm soát regularization khi huấn luyện các model như YOLO26. Các nhóm tham số của optimizer loại trừ bias và tham số của lớp normalization khỏi weight decay.

Weight Decay trong PyTorch#

Optimizer torch.optim.AdamW hỗ trợ weight decay tách rời trong PyTorch. Cài đặt package bằng pip install torch; ví dụ này tạo gradient tác vụ bằng 0 để phần cập nhật được in ra chỉ thể hiện weight decay:

import torch

weight = torch.nn.Parameter(torch.tensor([2.0]))
optimizer = torch.optim.AdamW([weight], lr=0.1, weight_decay=0.1)
before = weight.item()

# Create a zero gradient while keeping the parameter in the computation.
optimizer.zero_grad()
loss = (weight * 0).sum()
loss.backward()
optimizer.step()

print(f"Weight: {before:.2f} -> {weight.item():.2f}")

Đầu ra là Weight: 2.00 -> 1.98: một lần cập nhật nhân trọng số với 1 - 0.1 × 0.1, tức 0.99, làm giảm độ lớn của trọng số 1%.