Validation Data

Dữ liệu validation là một phần của dữ liệu đã gán nhãn được giữ lại khỏi quá trình huấn luyện và chấm điểm nhiều lần trong quá trình phát triển để so sánh model, tinh chỉnh siêu tham số, chọn checkpoint và phát hiện overfitting. Model không bao giờ cập nhật trọng số dựa trên dữ liệu này, vì vậy điểm validation cho thấy kiến thức học được từ dữ liệu huấn luyện khái quát hóa tốt đến đâu sang những ảnh chưa từng thấy. Tập validation và tập phát triển (dev) là các thuật ngữ đồng nghĩa. Mỗi quyết định dựa trên điểm validation khiến model khớp hơn một chút với phân tách cụ thể đó, vì vậy một tập kiểm thử riêng được giữ lại để đưa ra ước tính cuối cùng, không thiên lệch.

Phân chia tập huấn luyện, validation và kiểm thử#

Tập dữ liệu có nhãn thường được chia thành ba phần:

• Tập huấn luyện: Các mẫu mà bộ tối ưu khớp trọng số theo đó, thường chiếm 70 đến 80 phần trăm dữ liệu.
• Tập validation: Được chấm điểm sau các lần chạy huấn luyện hoặc sau mỗi epoch để định hướng những lựa chọn như learning rate, kích thước model, cường độ augmentation và thời điểm dừng.
• Tập kiểm thử: Được chấm điểm một lần, sau khi mọi lựa chọn đã được cố định, để báo cáo hiệu năng dự kiến trong thực tế.

Cách chia 70/15/15 hoặc 80/10/10 thường được dùng cho các tập dữ liệu có hàng nghìn ảnh. Tập dữ liệu rất lớn cần tỷ lệ nhỏ hơn để có ước tính đáng tin cậy: ImageNet-1k giữ lại 50.000 ảnh validation trong khi có 1.281.167 ảnh huấn luyện. Vì nhãn của tập kiểm thử không được công khai, độ chính xác trên ImageNet thường được báo cáo theo tập validation, khi đó tập validation đóng vai trò tập kiểm thử.

Tập validation hữu ích phải khớp với dữ liệu mà model sẽ gặp khi triển khai và không có dữ liệu trùng với tập huấn luyện. Chia ngẫu nhiên ở cấp ảnh làm rò rỉ thông tin khi nhiều ảnh đến từ cùng video, bệnh nhân hoặc địa điểm, vì model có thể nhận diện cảnh thay vì đối tượng. Chia theo nhóm, chẳng hạn theo bệnh nhân hoặc phiên ghi hình, ngăn rò rỉ dữ liệu này.

Tinh chỉnh siêu tham số và lựa chọn model#

Trọng số được học bằng gradient descent, còn siêu tham số được chọn bằng cách huấn luyện nhiều ứng viên rồi giữ lại ứng viên có điểm validation tốt nhất. Không thể dùng điểm huấn luyện để đưa ra lựa chọn này, vì model lớn hơn và được huấn luyện lâu hơn hầu như luôn khớp với dữ liệu huấn luyện tốt hơn. Tập lệnh scikit-learn dưới đây tinh chỉnh độ sâu của cây quyết định trên tập dữ liệu chữ số đi kèm:

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

# Split 1,797 digit images 60/20/20 into training, validation, and test sets
X, y = load_digits(return_X_y=True)
X_train, X_rest, y_train, y_rest = train_test_split(X, y, test_size=0.4, random_state=0, stratify=y)
X_val, X_test, y_val, y_test = train_test_split(X_rest, y_rest, test_size=0.5, random_state=0, stratify=y_rest)

# Fit one model per candidate tree depth and score each on the validation set
val_scores = {}
for depth in (2, 4, 8, 16):
    model = DecisionTreeClassifier(max_depth=depth, random_state=0).fit(X_train, y_train)
    val_scores[depth] = model.score(X_val, y_val)
    print(f"depth {depth}: train {model.score(X_train, y_train):.3f}, validation {val_scores[depth]:.3f}")

# Refit the winner and score the test set exactly once
best = max(val_scores, key=val_scores.get)
final = DecisionTreeClassifier(max_depth=best, random_state=0).fit(X_train, y_train)
print(f"Chosen depth {best}: test accuracy {final.score(X_test, y_test):.3f}")

Độ chính xác trên tập huấn luyện tiếp tục tăng theo độ sâu và đạt 1.000 ở độ sâu 16, trong khi độ chính xác validation đạt đỉnh 0.836 ở độ sâu 8 rồi giảm xuống 0.825 ở độ sâu 16 khi cây bắt đầu ghi nhớ dữ liệu. Validation chọn độ sâu 8; cấu hình này đạt 0.853 trên tập kiểm thử chưa đụng đến.

Dừng sớm và lựa chọn checkpoint#

Các vòng lặp huấn luyện deep learning thường chấm điểm tập validation sau mỗi epoch. Loss huấn luyện tiếp tục giảm khi mạng ngày càng khớp với dữ liệu huấn luyện, nhưng loss hoặc độ chính xác validation cuối cùng sẽ chững lại rồi xấu đi. Dừng sớm kết thúc quá trình huấn luyện khi điểm validation không còn cải thiện trong một số epoch được quy định, gọi là patience, đồng thời giữ lại trọng số từ epoch tốt nhất.

Quá trình huấn luyện YOLO26 trong Ultralytics mặc định chạy vòng lặp này: chấm điểm phân tách val trong YAML của tập dữ liệu sau mỗi epoch, lưu epoch có fitness validation cao nhất (mAP_50-95 đối với phát hiện đối tượng) dưới dạng best.pt, và dừng sau patience epoch không có cải thiện; mặc định là 100.

from ultralytics import YOLO

# Tải detector YOLO26 nano đã huấn luyện trước
model = YOLO("yolo26n.pt")

# Validation trên phân tách val sau mỗi epoch và dừng sau 10 epoch không có cải thiện
results = model.train(data="coco8.yaml", epochs=50, patience=10)

Cross-validation cho tập dữ liệu nhỏ#

Khi dữ liệu khan hiếm, một phân tách giữ lại duy nhất làm lãng phí mẫu và tạo ra điểm số nhiễu. Cross-validation K-fold chia dữ liệu thành K fold, huấn luyện K model, mỗi model giữ lại một fold khác nhau để validation, rồi lấy trung bình K điểm số, nhờ đó mọi mẫu đều được dùng cho cả huấn luyện lẫn validation. Năm và mười fold là các lựa chọn phổ biến; các biến thể phân tầng và phân nhóm giữ tỷ lệ lớp cân bằng hoặc gom các ảnh liên quan vào cùng một fold. Tập kiểm thử vẫn nằm ngoài tất cả các fold.

Dữ liệu validation và các thuật ngữ liên quan#

• Dữ liệu kiểm thử: Được chấm điểm một lần vào cuối quy trình. Dùng lại dữ liệu này để đưa ra lựa chọn sẽ biến nó thành một tập validation thứ hai, khiến điểm số không còn là ước tính không thiên lệch.
• Dữ liệu huấn luyện: Phân tách duy nhất mà bộ tối ưu dùng để học trọng số.
• Cross-validation: Quy trình luân phiên các mẫu được dùng làm dữ liệu validation, tạo ra K điểm validation từ một tập dữ liệu.
• Validation trong tài liệu y khoa và quy định: Trong y học và các ngành chịu sự quản lý, validation model thường có nghĩa là đánh giá model hoàn chỉnh trên dữ liệu bên ngoài độc lập; điều này tương ứng với tập kiểm thử theo thuật ngữ machine learning.