Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Double Descent

Double descent là hiện tượng lỗi kiểm thử giảm, tăng lên ở ngưỡng nội suy, rồi lại giảm khi model lớn hơn hoặc được huấn luyện lâu hơn.

Double descent là một kiểu biến thiên trong đó lỗi của model trên dữ liệu chưa thấy giảm, tăng rồi lại giảm khi model lớn hơn hoặc được huấn luyện lâu hơn. Mức tăng đạt đỉnh gần điểm model vừa đủ lớn để khớp chính xác mọi mẫu huấn luyện. Sau điểm đó, tăng dung lượng model lại làm lỗi kiểm thử giảm, thường xuống thấp hơn kết quả tốt nhất mà bất kỳ model nhỏ hơn nào đạt được.

Mô hình này mở rộng cách trình bày trong sách giáo khoa về đánh đổi thiên lệch-phương sai, vốn dự đoán một đường cong hình chữ U duy nhất: lỗi giảm khi model nắm bắt được nhiều cấu trúc hơn, rồi tăng lên khi model bắt đầu quá khớp với nhiễu, nên model tốt nhất nằm ở khoảng giữa. Với các model có số lượng tham số lớn hơn nhiều so với mức cần thiết, chẳng hạn mạng nơ-ron hiện đại, hình chữ U đó chỉ là nửa đầu của đường cong. Mikhail Belkin và các đồng nghiệp đặt tên cho hiện tượng này trong một bài báo xuất bản năm 2019; cùng năm đó, các nhà nghiên cứu tại Harvard và OpenAI cho thấy hiện tượng xuất hiện trong các model học sâu tiêu chuẩn, bao gồm ResNet và transformer.

Ngưỡng nội suy#

Đỉnh nằm tại ngưỡng nội suy, tức kích thước model mà lỗi huấn luyện lần đầu tiên giảm xuống bằng không. Model ở đúng kích thước đó chỉ vừa đủ tham số để đi qua mọi điểm huấn luyện, nên về cơ bản chỉ có một cách thực hiện. Nếu một số nhãn bị nhiễu hoặc sai, nghiệm duy nhất đó phải uốn cong mạnh để khớp chúng; dự đoán giữa các điểm huấn luyện trở nên thất thường và lỗi kiểm thử tăng vọt.

Vượt qua ngưỡng này, nhiều cấu hình tham số khác nhau có thể khớp hoàn hảo với dữ liệu huấn luyện. Các phương pháp huấn luyện dựa trên gradient như hạ gradient ngẫu nhiên thường hội tụ về nghiệm trơn nhất trong số đó; với model tuyến tính, đó chính xác là nghiệm có trọng số nhỏ nhất, nên năng lực bổ sung được dùng để làm trơn hàm giữa các điểm. Xu hướng ngầm ưu tiên nghiệm đơn giản này giải thích vì sao một mạng có số tham số lớn hơn nhiều so với số mẫu huấn luyện vẫn có thể khái quát hóa tốt.

Đoạn script dưới đây tái tạo đường cong bằng hồi quy đặc trưng ngẫu nhiên trên 40 điểm huấn luyện có nhiễu. Mỗi model tìm nghiệm bình phương tối thiểu có chuẩn nhỏ nhất, còn số lượng đặc trưng ngẫu nhiên đóng vai trò như kích thước model:

import numpy as np

rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train)  # noisy training labels
y_test = x_test @ w

for n_features in [10, 20, 30, 40, 50, 100, 1000]:
    proj = rng.normal(size=(dim, n_features))
    f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)

    # pinv returns the minimum-norm fit once there are more features than examples
    coef = np.linalg.pinv(f_train) @ y_train
    test_mse = np.mean((f_test @ coef - y_test) ** 2)
    print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")

Lỗi kiểm tra giảm từ 3.37 xuống 2.98 khi số đặc trưng tăng từ 10 lên 20, tăng lên 42.12 ở 30 đặc trưng và khoảng 3,960 ở 40 đặc trưng—mức mà model có thể nội suy chính xác cả 40 điểm—rồi giảm xuống 29.01 ở 50, 2.72 ở 100 và 1.33 ở 1,000 đặc trưng, thấp hơn nhiều so với model nhỏ tốt nhất.

Theo kích thước model, số epoch và số mẫu#

Hiện tượng giảm kép xuất hiện theo ba chiều. Giảm kép theo model, đường cong kinh điển, biểu diễn lỗi kiểm tra theo kích thước model, chẳng hạn độ rộng mạng, với ngân sách huấn luyện cố định. Giảm kép theo epoch biểu diễn lỗi theo thời gian huấn luyện tính bằng epoch đối với một model lớn; do đó, lỗi xác thực có thể cải thiện, xấu đi rồi lại cải thiện khi quá trình huấn luyện tiếp tục. Giảm kép theo số mẫu biểu diễn lỗi theo kích thước tập huấn luyện: nhiều dữ liệu hơn đẩy ngưỡng về phía các model lớn hơn, nên việc thêm dữ liệu có thể tạm thời làm giảm hiệu quả của một model có kích thước cố định.

Nhiễu nhãn khiến cả ba dạng double descent rõ rệt hơn. Regularization được tinh chỉnh tốt, chẳng hạn weight decay, và tăng cường dữ liệu mạnh có thể làm đỉnh nhỏ đi hoặc biến mất; đây là một lý do khiến hiện tượng thường ít rõ rệt trong các lượt huấn luyện được cấu hình cẩn thận.

Có hai hiện tượng liên quan dễ bị nhầm lẫn với hiện tượng này. Trong grokking, độ chính xác xác thực duy trì gần mức ngẫu nhiên khá lâu sau khi độ chính xác huấn luyện đạt 100%, rồi tăng vọt mà không xấu đi trước đó. Định luật mở rộng mô tả sự cải thiện đều đặn của các model lớn khi có thêm tham số, dữ liệu và năng lực tính toán; đây là chế độ nằm xa về bên phải của đỉnh nội suy.

Ý nghĩa đối với việc huấn luyện model thị giác#

Dạng theo epoch có ý nghĩa thiết thực nhất trong công việc hằng ngày: chỉ số xác thực giảm giữa quá trình huấn luyện không phải lúc nào cũng có nghĩa là lần chạy đã đạt đỉnh. Khi huấn luyện các model Ultralytics YOLO26 ở chế độ training, tham số patience theo mặc định chỉ kết thúc lần chạy sau 100 epoch không có cải thiện về độ phù hợp xác thực; checkpoint có độ phù hợp tốt nhất được lưu dưới tên best.pt, vì vậy một đợt tăng tạm thời không kết thúc lần chạy cũng không thay thế các trọng số tốt nhất.

Nhiễu nhãn quyết định độ sắc của đỉnh theo model. Trong các thử nghiệm của Harvard và OpenAI, các model ResNet18 có độ rộng tăng dần được huấn luyện trên CIFAR-10 với nhãn sạch chỉ cho thấy lỗi kiểm tra đi ngang quanh ngưỡng nội suy; thêm nhiễu nhãn biến đoạn đi ngang đó thành một đỉnh. Khi 15% nhãn huấn luyện bị gán ngẫu nhiên, các mạng cỡ trung có kết quả kiểm tra kém hơn cả mạng hẹp hơn lẫn rộng hơn.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning