Cross-Validation

Kiểm chứng chéo là một quy trình tái lấy mẫu thống kê mạnh mẽ được sử dụng để đánh giá hiệu suất của các model machine learning (ML) trên một mẫu dữ liệu hạn chế. Không giống như phương pháp hold-out tiêu chuẩn, vốn chia dữ liệu thành một tập huấn luyện và kiểm thử duy nhất, kiểm chứng chéo bao gồm việc phân tách dataset thành nhiều tập con để đảm bảo rằng mọi điểm dữ liệu đều được sử dụng cho cả việc huấn luyện và kiểm chứng. Kỹ thuật này rất quan trọng để đánh giá cách các kết quả phân tích thống kê sẽ tổng quát hóa như thế nào đối với một tập dữ liệu độc lập, giúp phát hiện overfitting - nơi một model có thể ghi nhớ các ví dụ huấn luyện thay vì học các mô hình có khả năng tổng quát hóa.

Link to this sectionCơ chế của K-Fold Cross-Validation#

Biến thể được sử dụng rộng rãi nhất của kỹ thuật này là K-Fold Cross-Validation. Trong quy trình này, toàn bộ tập dữ liệu được chia ngẫu nhiên thành k nhóm có kích thước bằng nhau, hoặc "folds". Quá trình huấn luyện sau đó được lặp lại k lần. Trong mỗi lần lặp, một fold đóng vai trò là dữ liệu kiểm chứng để kiểm tra model, trong khi k-1 fold còn lại đóng vai trò là dữ liệu huấn luyện.

Chỉ số hiệu suất cuối cùng thường được tính bằng cách lấy trung bình các điểm số - chẳng hạn như accuracy, precision, hoặc Mean Average Precision (mAP) - thu được từ mỗi vòng lặp. Cách tiếp cận này giúp giảm đáng kể phương sai liên quan đến một lần thử nghiệm duy nhất của việc chia tách train-test, cung cấp ước tính đáng tin cậy hơn về generalization error. Nó đảm bảo rằng việc đánh giá không bị sai lệch bởi việc lựa chọn tùy ý test data.

Link to this sectionTriển khai với Ultralytics#

Kiểm chứng chéo đặc biệt hữu ích khi làm việc với các tập dữ liệu nhỏ hơn hoặc khi thực hiện hyperparameter tuning nghiêm ngặt. Mặc dù các framework deep learning hiện đại như PyTorch tạo điều kiện cho vòng lặp huấn luyện, việc quản lý các fold đòi hỏi sự chuẩn bị dữ liệu cẩn thận.

The following example demonstrates how to iterate through pre-generated YAML configuration files for a 5-fold cross-validation experiment using the YOLO26 model. This assumes you have already split your dataset into five separate configuration files.

from ultralytics import YOLO

# List of dataset configuration files representing 5 folds
fold_yamls = [f"dataset_fold_{i}.yaml" for i in range(5)]

for i, yaml_file in enumerate(fold_yamls):
    # Load a fresh YOLO26 Nano model for each fold
    model = YOLO("yolo26n.pt")

    # Train the model, saving results to a unique project directory
    results = model.train(data=yaml_file, epochs=20, project="cv_experiment", name=f"fold_{i}")

Để tìm hiểu sâu hơn về việc tự động hóa quá trình tạo split, hãy tham khảo hướng dẫn về K-Fold Cross-Validation.

Link to this sectionCác ứng dụng trong thực tế#

Kiểm chứng chéo là không thể thiếu trong các ngành công nghiệp nơi dữ liệu khan hiếm, đắt đỏ để thu thập, hoặc nơi yêu cầu độ tin cậy an toàn cao.

• Chẩn đoán y tế: Trong phân tích hình ảnh y tế, các tập dữ liệu cho những tình trạng hiếm gặp thường nhỏ. Một lần tách kiểm chứng duy nhất có thể vô tình loại trừ các trường hợp khó hoặc các bệnh lý hiếm gặp. Bằng cách sử dụng kiểm chứng chéo, các nhà nghiên cứu phát triển AI trong chăm sóc sức khỏe đảm bảo rằng các model chẩn đoán của họ được kiểm tra dựa trên mọi kết quả quét bệnh nhân có sẵn, xác nhận rằng hệ thống hoạt động trên các nhóm nhân khẩu học và loại thiết bị đa dạng.
• Nông nghiệp chính xác: Các điều kiện môi trường thay đổi rất lớn trong môi trường ngoài trời. Một model được huấn luyện cho phát hiện dịch bệnh cây trồng có thể hoạt động tốt vào những ngày nắng nhưng lại thất bại dưới bầu trời u ám nếu những hình ảnh đó chỉ có trong tập huấn luyện. Kiểm chứng chéo đảm bảo model bền bỉ trước những biến thể như vậy, giúp nông dân dựa vào các công cụ automated machine learning (AutoML) để theo dõi nhất quán bất kể điều kiện thời tiết.

Link to this sectionLợi thế chiến lược trong phát triển model#

Tích hợp kiểm chứng chéo vào AI development lifecycle cung cấp những hiểu biết quan trọng về bias-variance tradeoff.

1. Đánh giá độ ổn định: Nếu các chỉ số hiệu suất thay đổi đáng kể giữa các fold, điều đó cho thấy model rất nhạy cảm với các điểm dữ liệu cụ thể được sử dụng để huấn luyện, cho thấy phương sai cao.

2. Hiệu quả dữ liệu: Nó tối đa hóa tính hữu dụng của dữ liệu hạn chế, vì mỗi quan sát cuối cùng đều được sử dụng cho cả việc huấn luyện và kiểm chứng.

3. Tối ưu hóa siêu tham số (Hyperparameter Optimization): Nó cung cấp một điểm chuẩn đáng tin cậy để lựa chọn learning rate, batch size, hoặc chiến lược data augmentation tốt nhất mà không cần "nhìn trộm" vào tập kiểm thử cuối cùng.

Link to this sectionPhân biệt các khái niệm liên quan#

Điều quan trọng là phải phân biệt kiểm chứng chéo với các thuật ngữ đánh giá khác:

• vs. Hold-out Validation: Hold-out involves a single split (e.g., 80/20). While faster and suitable for massive datasets like ImageNet, it is less statistically robust than cross-validation for smaller datasets.
• vs. Bootstrapping: Bootstrapping bao gồm việc lấy mẫu ngẫu nhiên có hoàn lại, trong khi K-Fold cross-validation phân tách dữ liệu không hoàn lại (mỗi mẫu nằm chính xác trong một fold).

Việc quản lý các artifact, chỉ số và model từ nhiều fold có thể phức tạp. Ultralytics Platform đơn giản hóa điều này bằng cách cung cấp tính năng theo dõi thử nghiệm tập trung, cho phép các nhóm so sánh hiệu suất giữa các fold khác nhau và trực quan hóa model evaluation insights một cách dễ dàng.