Cross-Validation

Kiểm định chéo là một quy trình tái lấy mẫu thống kê mạnh mẽ được sử dụng để đánh giá hiệu suất của các model machine learning (ML) trên một mẫu dữ liệu hạn chế. Không giống phương pháp giữ lại tiêu chuẩn, vốn chia dữ liệu thành một tập huấn luyện và một tập kiểm thử duy nhất, kiểm định chéo phân chia dataset thành nhiều tập con để đảm bảo mọi điểm dữ liệu đều được sử dụng cho cả huấn luyện và validation. Kỹ thuật này rất quan trọng để đánh giá mức độ tổng quát hóa của kết quả phân tích thống kê trên một tập dữ liệu độc lập, qua đó giúp phát hiện overfitting, trong đó model có thể ghi nhớ các mẫu huấn luyện thay vì học các pattern có khả năng tổng quát hóa.

Cơ chế kiểm định chéo K-Fold#

Biến thể được sử dụng rộng rãi nhất của kỹ thuật này là Kiểm định chéo K-Fold. Trong quy trình này, toàn bộ dataset được chia ngẫu nhiên thành k nhóm có kích thước bằng nhau, hay còn gọi là các "fold". Quy trình huấn luyện sau đó được lặp lại k lần. Trong mỗi lần lặp, một fold duy nhất đóng vai trò là dữ liệu validation để kiểm thử model, trong khi k-1 fold còn lại đóng vai trò là dữ liệu huấn luyện.

Metric hiệu suất cuối cùng thường được tính bằng cách lấy trung bình các điểm số—chẳng hạn như accuracy, precision hoặc Độ chính xác trung bình (mAP)—thu được từ mỗi vòng lặp. Phương pháp này làm giảm đáng kể độ phương sai gắn với một lần thử duy nhất của phép chia train-test, cung cấp ước tính đáng tin cậy hơn về sai số tổng quát hóa. Phương pháp này đảm bảo quá trình đánh giá không bị sai lệch bởi việc lựa chọn tùy ý dữ liệu kiểm thử.

Triển khai với Ultralytics#

Kiểm định chéo đặc biệt hữu ích khi làm việc với các dataset nhỏ hoặc khi thực hiện tinh chỉnh hyperparameter nghiêm ngặt. Mặc dù các framework deep learning hiện đại như PyTorch hỗ trợ vòng lặp huấn luyện, việc quản lý các fold đòi hỏi khâu chuẩn bị dữ liệu cẩn thận.

Ví dụ sau đây minh họa cách lặp qua các file cấu hình YAML được tạo trước cho một thử nghiệm kiểm định chéo 5-fold sử dụng model YOLO26. Điều này giả định rằng bạn đã chia dataset thành năm file cấu hình riêng biệt.

from ultralytics import YOLO

# List of dataset configuration files representing 5 folds
fold_yamls = [f"dataset_fold_{i}.yaml" for i in range(5)]

for i, yaml_file in enumerate(fold_yamls):
    # Load a fresh YOLO26 Nano model for each fold
    model = YOLO("yolo26n.pt")

    # Train the model, saving results to a unique project directory
    results = model.train(data=yaml_file, epochs=20, project="cv_experiment", name=f"fold_{i}")

Để tìm hiểu sâu hơn về việc tự động hóa quá trình tạo các phần chia, hãy tham khảo hướng dẫn về Kiểm định chéo K-Fold.

Các ứng dụng trong thực tế#

Kiểm định chéo là yếu tố không thể thiếu trong các ngành mà dữ liệu khan hiếm, tốn kém khi thu thập hoặc yêu cầu độ tin cậy mang tính thiết yếu đối với an toàn.

• Chẩn đoán y khoa: Trong phân tích hình ảnh y khoa, dataset cho các bệnh hiếm thường có quy mô nhỏ. Một lần chia validation duy nhất có thể vô tình loại bỏ các ca khó hoặc bệnh lý hiếm. Bằng cách sử dụng kiểm định chéo, các nhà nghiên cứu phát triển AI trong chăm sóc sức khỏe đảm bảo rằng các model chẩn đoán của họ được kiểm thử trên mọi ảnh chụp của bệnh nhân hiện có, qua đó xác thực rằng hệ thống hoạt động trên nhiều nhóm nhân khẩu học và loại thiết bị khác nhau.
• Nông nghiệp chính xác: Điều kiện môi trường thay đổi rất lớn trong môi trường ngoài trời. Một model được huấn luyện để phát hiện bệnh cây trồng có thể hoạt động tốt trong những ngày nắng nhưng thất bại khi trời nhiều mây nếu những hình ảnh đó chỉ có trong tập huấn luyện. Kiểm định chéo đảm bảo model mạnh mẽ trước những biến động như vậy, giúp nông dân tin cậy các công cụ machine learning tự động (AutoML) để giám sát nhất quán bất kể điều kiện thời tiết.

Lợi thế chiến lược trong phát triển model#

Việc tích hợp kiểm định chéo vào vòng đời phát triển AI cung cấp những thông tin chuyên sâu quan trọng về đánh đổi bias-variance.

1. Đánh giá độ ổn định: Nếu các metric hiệu suất thay đổi đáng kể giữa các fold, điều đó cho thấy model rất nhạy với các điểm dữ liệu cụ thể được sử dụng để huấn luyện, qua đó gợi ý độ phương sai cao.

2. Hiệu quả dữ liệu: Phương pháp này tối đa hóa giá trị sử dụng của dữ liệu hạn chế, vì mọi quan sát cuối cùng đều được sử dụng cho cả huấn luyện và validation.

3. Tối ưu hóa hyperparameter: Phương pháp này cung cấp một chuẩn đánh giá đáng tin cậy để lựa chọn learning rate, batch size hoặc chiến lược data augmentation tốt nhất mà không "nhìn trước" tập kiểm thử cuối cùng.

Phân biệt các khái niệm liên quan#

Điều quan trọng là phân biệt kiểm định chéo với các thuật ngữ đánh giá khác:

• so với Validation giữ lại: Validation giữ lại bao gồm một lần chia duy nhất (ví dụ: 80/20). Mặc dù nhanh hơn và phù hợp với các dataset khổng lồ như ImageNet, phương pháp này kém mạnh mẽ về mặt thống kê hơn kiểm định chéo đối với các dataset nhỏ.
• so với Bootstrapping: Bootstrapping bao gồm việc lấy mẫu ngẫu nhiên có hoàn lại, trong khi kiểm định chéo K-Fold phân chia dữ liệu không hoàn lại (mỗi mẫu nằm chính xác trong một fold).

Việc quản lý các artifact, metric và model từ nhiều fold có thể phức tạp. Ultralytics Platform đơn giản hóa quy trình này bằng cách cung cấp tính năng theo dõi thử nghiệm tập trung, cho phép các nhóm so sánh hiệu suất giữa các fold khác nhau và dễ dàng trực quan hóa thông tin chuyên sâu về đánh giá model.