Double Descent

Double descent là một dạng hình thái trong machine learning, trong đó lỗi trên dữ liệu chưa từng thấy giảm, tăng rồi lại giảm khi dung lượng của model tăng. Trực quan mà nói, model có thể trở nên kém hơn trước khi tốt hơn: một model có độ phức tạp vừa phải có thể khó khái quát hóa, trong khi một model lớn hơn nhiều vẫn có thể khớp với các mẫu huấn luyện và dự đoán chính xác các mẫu mới.

Cách Double Descent hoạt động#

Sự đánh đổi giữa độ chệch và phương sai quen thuộc gợi ý một đường cong lỗi hình chữ U. Model đơn giản bị underfit vì không thể nắm bắt các quy luật quan trọng. Tăng độ phức tạp ban đầu giúp cải thiện dự đoán, nhưng tính linh hoạt quá mức có thể khiến dự đoán nhạy cảm với các mẫu huấn luyện cụ thể. Double descent mở rộng bức tranh này bằng một lần cải thiện thứ hai sau đỉnh lỗi; hiện tượng này không phủ nhận sự phân biệt cơ bản giữa độ chệch và phương sai. (scikit-learn.org)

Điểm ngoặt là ngưỡng nội suy: điểm mà model có khả năng khớp với mọi mẫu huấn luyện, hay đạt lỗi huấn luyện xấp xỉ bằng không. Gần ngưỡng này, việc khớp với nhãn nhiễu hoặc sai có thể tạo ra các dự đoán bất ổn. Vượt qua ngưỡng, model overparameterized có độ linh hoạt lớn hơn mức cần thiết để khớp với các mẫu, tạo ra nhiều nghiệm khả dĩ. Một số nghiệm khái quát hóa tốt hơn những nghiệm khác. (openai.com)

Hãy hình dung việc nối các điểm đo rải rác. Một đường cong đi qua mọi điểm nhưng uốn gấp khúc giữa chúng; một đường cong khác cũng khớp với mọi điểm nhưng hoạt động trơn tru hơn ở những nơi khác. Phần giải thích trực quan về double descent này cho thấy vì sao hiệu năng huấn luyện giống hệt nhau có thể che giấu hành vi dự đoán rất khác biệt. Dung lượng lớn hơn cho phép tìm được nghiệm tốt hơn, nhưng không đảm bảo quá trình huấn luyện sẽ tìm ra các nghiệm đó. (mlu-explain.github.io)

Các biến thể và khái niệm liên quan#

Double descent theo model đề cập đến những thay đổi về dung lượng, chẳng hạn như tăng chiều rộng mạng. Double descent theo epoch đề cập đến thời lượng huấn luyện: lỗi trên tập dữ liệu giữ lại được cải thiện, xấu đi rồi lại cải thiện. Epoch là một lượt chạy qua toàn bộ tập dữ liệu huấn luyện. Phần giải thích về deep double descent cũng cho thấy việc thay đổi kích thước tập dữ liệu có thể làm dịch chuyển ngưỡng nội suy, đôi khi tạm thời làm giảm hiệu năng ở một kích thước model cố định. Đây không phải lý do để loại bỏ dữ liệu hữu ích. (openai.com)

Double descent khác với overfitting, hiện tượng mô tả việc khớp quá mức với các chi tiết riêng của dữ liệu huấn luyện làm ảnh hưởng đến khả năng khái quát hóa. Overfitting có thể giải thích đoạn đường cong đi lên; double descent mô tả toàn bộ dạng giảm-tăng-giảm. Độ chính xác huấn luyện hoàn hảo tự nó không chứng minh khả năng khái quát hóa tốt hay kém. (scikit-learn.org)

Hiện tượng này cũng khác với regularization, một chiến lược huấn luyện nhằm ràng buộc nghiệm được học. Ví dụ, regularization L2 phạt các trọng số lớn. Vì vậy, số lượng tham số không thể mô tả đầy đủ độ phức tạp hiệu dụng của model. Nhiễu nhãn, quá trình tối ưu hóa và các thiết lập huấn luyện ảnh hưởng đến việc đường cong double descent có biểu hiện rõ hay không. (developers.google.com)

Ứng dụng thực tế#

Các tình huống minh họa này cho thấy vì sao hiện tượng này đáng chú ý, nhưng không giả định rằng mọi model production đều thể hiện nó:

• Phát hiện lỗi sản xuất: Một nhóm so sánh các mạng nhận diện vết xước trên linh kiện. Mạng cỡ trung có thể tạo ra nhiều cảnh báo sai hơn cả các lựa chọn nhỏ hơn lẫn lớn hơn. Nếu các lần đánh giá lặp lại cho thấy double descent, việc dừng so sánh model ngay khi hiệu năng suy giảm lần đầu có thể khiến nhóm bỏ lỡ một hệ thống kiểm tra tốt hơn.
• Nhận diện hàng tồn kho bán lẻ: Bộ phân loại ảnh kệ hàng gặp phải các nhãn sản phẩm không nhất quán. Trong quá trình huấn luyện, lỗi validation có thể tăng trước khi giảm trở lại. Kết thúc mọi thử nghiệm ngay khi lỗi tăng lần đầu có thể bỏ lỡ cải thiện về sau; ngược lại, kéo dài huấn luyện một cách thiếu cân nhắc có thể gây lãng phí tài nguyên. So sánh các checkpoint giúp phân biệt những khả năng này.

Đánh giá và huấn luyện thực tiễn#

Tìm kiếm dạng hình thái này thông qua các phép so sánh có kiểm soát, không phải chỉ dựa vào một lần chạy gây thất vọng. Thay đổi riêng biệt dung lượng model hoặc thời lượng huấn luyện, giữ các phân chia dữ liệu có thể so sánh và lặp lại thử nghiệm với các seed ngẫu nhiên khác nhau. Vẽ đồ thị lỗi trên tập huấn luyện và tập giữ lại dựa trên các nguyên tắc của đường cong validation. Nếu vẽ độ chính xác thay vì lỗi, hướng của đường cong sẽ đảo ngược. (scikit-learn.org)

Sử dụng cross-validation khi phù hợp và dành riêng một tập test chưa từng được sử dụng cho bước đánh giá cuối cùng. Ngăn rò rỉ dữ liệu, tức là thông tin từ dữ liệu đánh giá lọt vào quá trình huấn luyện hoặc lựa chọn model. Early stopping vẫn hữu ích, nhưng patience—số lần đánh giá được phép không có cải thiện—nên phản ánh mục tiêu của thử nghiệm thay vì dựa trên giả định về hình dạng đường cong. (scikit-learn.org)

Để triển khai quy trình đánh giá Ultralytics YOLO thực tiễn, hãy cài đặt ultralytics bằng pip install ultralytics. Ví dụ này sử dụng YOLO26, chế độ huấn luyện và chế độ validation được tài liệu hóa. (docs.ultralytics.com)

from ultralytics import YOLO

if __name__ == "__main__":
    model = YOLO("yolo26n.pt")

    # A small dataset keeps this workflow demonstration lightweight.
    model.train(data="coco8.yaml", epochs=3)

    # Evaluate images held out from training.
    metrics = model.val(data="coco8.yaml")
    print(f"Validation mAP50-95: {metrics.box.map:.3f}")

Đầu ra là mean average precision tính trên các ngưỡng chồng lấp của đối tượng được phát hiện; giá trị càng cao càng tốt. COCO8 là tập dữ liệu dùng để kiểm tra quy trình, không phải bằng chứng về double descent. Để xác lập hiện tượng này, cần tiến hành một thử nghiệm có kiểm soát rộng hơn trên dữ liệu đại diện. Bài học thực tiễn là đo lường khả năng khái quát hóa thay vì cho rằng model lớn hơn hoặc huấn luyện lâu hơn nhất thiết sẽ luôn có ích—hoặc có hại. (docs.ultralytics.com)