Double Descent
Double descent là hiện tượng lỗi kiểm thử giảm, tăng lên ở ngưỡng nội suy, rồi lại giảm khi model lớn hơn hoặc được huấn luyện lâu hơn.
Double descent là một kiểu biến thiên trong đó lỗi của model trên dữ liệu chưa thấy giảm, tăng rồi lại giảm khi model lớn hơn hoặc được huấn luyện lâu hơn. Mức tăng đạt đỉnh gần điểm model vừa đủ lớn để khớp chính xác mọi mẫu huấn luyện. Sau điểm đó, tăng dung lượng model lại làm lỗi kiểm thử giảm, thường xuống thấp hơn kết quả tốt nhất mà bất kỳ model nhỏ hơn nào đạt được.
Mô hình này mở rộng cách trình bày trong sách giáo khoa về đánh đổi thiên lệch-phương sai, vốn dự đoán một đường cong hình chữ U duy nhất: lỗi giảm khi model nắm bắt được nhiều cấu trúc hơn, rồi tăng lên khi model bắt đầu quá khớp với nhiễu, nên model tốt nhất nằm ở khoảng giữa. Với các model có số lượng tham số lớn hơn nhiều so với mức cần thiết, chẳng hạn mạng nơ-ron hiện đại, hình chữ U đó chỉ là nửa đầu của đường cong. Mikhail Belkin và các đồng nghiệp đặt tên cho hiện tượng này trong một bài báo xuất bản năm 2019; cùng năm đó, các nhà nghiên cứu tại Harvard và OpenAI cho thấy hiện tượng xuất hiện trong các model học sâu tiêu chuẩn, bao gồm ResNet và transformer.
Ngưỡng nội suy#
Đỉnh nằm tại ngưỡng nội suy, tức kích thước model mà lỗi huấn luyện lần đầu tiên giảm xuống bằng không. Model ở đúng kích thước đó chỉ vừa đủ tham số để đi qua mọi điểm huấn luyện, nên về cơ bản chỉ có một cách thực hiện. Nếu một số nhãn bị nhiễu hoặc sai, nghiệm duy nhất đó phải uốn cong mạnh để khớp chúng; dự đoán giữa các điểm huấn luyện trở nên thất thường và lỗi kiểm thử tăng vọt.
Vượt qua ngưỡng này, nhiều cấu hình tham số khác nhau có thể khớp hoàn hảo với dữ liệu huấn luyện. Các phương pháp huấn luyện dựa trên gradient như hạ gradient ngẫu nhiên thường hội tụ về nghiệm trơn nhất trong số đó; với model tuyến tính, đó chính xác là nghiệm có trọng số nhỏ nhất, nên năng lực bổ sung được dùng để làm trơn hàm giữa các điểm. Xu hướng ngầm ưu tiên nghiệm đơn giản này giải thích vì sao một mạng có số tham số lớn hơn nhiều so với số mẫu huấn luyện vẫn có thể khái quát hóa tốt.
Đoạn script dưới đây tái tạo đường cong bằng hồi quy đặc trưng ngẫu nhiên trên 40 điểm huấn luyện có nhiễu. Mỗi model tìm nghiệm bình phương tối thiểu có chuẩn nhỏ nhất, còn số lượng đặc trưng ngẫu nhiên đóng vai trò như kích thước model:
import numpy as np
rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train) # noisy training labels
y_test = x_test @ w
for n_features in [10, 20, 30, 40, 50, 100, 1000]:
proj = rng.normal(size=(dim, n_features))
f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)
# pinv returns the minimum-norm fit once there are more features than examples
coef = np.linalg.pinv(f_train) @ y_train
test_mse = np.mean((f_test @ coef - y_test) ** 2)
print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")Lỗi kiểm tra giảm từ 3.37 xuống 2.98 khi số đặc trưng tăng từ 10 lên 20, tăng lên 42.12 ở 30 đặc trưng và khoảng 3,960 ở 40 đặc trưng—mức mà model có thể nội suy chính xác cả 40 điểm—rồi giảm xuống 29.01 ở 50, 2.72 ở 100 và 1.33 ở 1,000 đặc trưng, thấp hơn nhiều so với model nhỏ tốt nhất.
Theo kích thước model, số epoch và số mẫu#
Hiện tượng giảm kép xuất hiện theo ba chiều. Giảm kép theo model, đường cong kinh điển, biểu diễn lỗi kiểm tra theo kích thước model, chẳng hạn độ rộng mạng, với ngân sách huấn luyện cố định. Giảm kép theo epoch biểu diễn lỗi theo thời gian huấn luyện tính bằng epoch đối với một model lớn; do đó, lỗi xác thực có thể cải thiện, xấu đi rồi lại cải thiện khi quá trình huấn luyện tiếp tục. Giảm kép theo số mẫu biểu diễn lỗi theo kích thước tập huấn luyện: nhiều dữ liệu hơn đẩy ngưỡng về phía các model lớn hơn, nên việc thêm dữ liệu có thể tạm thời làm giảm hiệu quả của một model có kích thước cố định.
Nhiễu nhãn khiến cả ba dạng double descent rõ rệt hơn. Regularization được tinh chỉnh tốt, chẳng hạn weight decay, và tăng cường dữ liệu mạnh có thể làm đỉnh nhỏ đi hoặc biến mất; đây là một lý do khiến hiện tượng thường ít rõ rệt trong các lượt huấn luyện được cấu hình cẩn thận.
Có hai hiện tượng liên quan dễ bị nhầm lẫn với hiện tượng này. Trong grokking, độ chính xác xác thực duy trì gần mức ngẫu nhiên khá lâu sau khi độ chính xác huấn luyện đạt 100%, rồi tăng vọt mà không xấu đi trước đó. Định luật mở rộng mô tả sự cải thiện đều đặn của các model lớn khi có thêm tham số, dữ liệu và năng lực tính toán; đây là chế độ nằm xa về bên phải của đỉnh nội suy.
Ý nghĩa đối với việc huấn luyện model thị giác#
Dạng theo epoch có ý nghĩa thiết thực nhất trong công việc hằng ngày: chỉ số xác thực giảm giữa quá trình huấn luyện không phải lúc nào cũng có nghĩa là lần chạy đã đạt đỉnh. Khi huấn luyện các model Ultralytics YOLO26 ở chế độ training, tham số patience theo mặc định chỉ kết thúc lần chạy sau 100 epoch không có cải thiện về độ phù hợp xác thực; checkpoint có độ phù hợp tốt nhất được lưu dưới tên best.pt, vì vậy một đợt tăng tạm thời không kết thúc lần chạy cũng không thay thế các trọng số tốt nhất.
Nhiễu nhãn quyết định độ sắc của đỉnh theo model. Trong các thử nghiệm của Harvard và OpenAI, các model ResNet18 có độ rộng tăng dần được huấn luyện trên CIFAR-10 với nhãn sạch chỉ cho thấy lỗi kiểm tra đi ngang quanh ngưỡng nội suy; thêm nhiễu nhãn biến đoạn đi ngang đó thành một đỉnh. Khi 15% nhãn huấn luyện bị gán ngẫu nhiên, các mạng cỡ trung có kết quả kiểm tra kém hơn cả mạng hẹp hơn lẫn rộng hơn.










