Validation Data

Dữ liệu xác thực đóng vai trò như một chốt kiểm soát quan trọng trong vòng đời phát triển machine learning, đóng vai trò là một tập dữ liệu trung gian được sử dụng để đánh giá hiệu suất của model trong quá trình huấn luyện. Khác với tập dữ liệu chính dùng để dạy cho thuật toán, tập xác thực cung cấp một ước tính khách quan về mức độ hệ thống đang học cách khái quát hóa cho các thông tin mới, chưa từng thấy. Bằng cách giám sát các chỉ số trên tập hợp con cụ thể này, các nhà phát triển có thể tinh chỉnh cấu hình của model và xác định các vấn đề tiềm ẩn như overfitting, nơi hệ thống ghi nhớ các ví dụ huấn luyện thay vì hiểu các mẫu cơ bản. Vòng lặp phản hồi này là cần thiết để tạo ra các giải pháp artificial intelligence (AI) mạnh mẽ hoạt động đáng tin cậy trong thế giới thực.

Link to this sectionVai trò của xác thực trong điều chỉnh Hyperparameter#

Chức năng chính của dữ liệu xác thực là tạo điều kiện tối ưu hóa hyperparameters. Trong khi các tham số nội bộ, chẳng hạn như model weights, được học tự động thông qua quá trình huấn luyện, thì các hyperparameter—bao gồm learning rate, batch size và kiến trúc mạng—phải được thiết lập thủ công hoặc thông qua thử nghiệm.

Dữ liệu xác thực cho phép các kỹ sư so sánh hiệu quả các cấu hình khác nhau thông qua model selection. Ví dụ, nếu một nhà phát triển đang huấn luyện model YOLO26, họ có thể thử nghiệm ba learning rate khác nhau. Phiên bản mang lại độ chính xác cao nhất trên tập xác thực thường được chọn. Quá trình này giúp điều hướng bias-variance tradeoff, đảm bảo model đủ phức tạp để nắm bắt các sắc thái dữ liệu nhưng đủ đơn giản để duy trì khả năng khái quát hóa.

Link to this sectionPhân biệt giữa các phần chia dữ liệu#

Để đảm bảo tính chặt chẽ về mặt khoa học, một tập dữ liệu hoàn chỉnh thường được chia thành ba tập hợp con riêng biệt. Hiểu được mục đích độc đáo của từng tập hợp là rất quan trọng để data management hiệu quả.

• Training Data: Đây là phần lớn nhất của tập dữ liệu, được sử dụng trực tiếp để fit model. Thuật toán xử lý các ví dụ này để điều chỉnh các tham số nội bộ thông qua backpropagation.
• Validation Data: This subset is used during the training process to provide frequent evaluation. Crucially, the model never directly updates its weights based on this data; it only uses it to guide model selection and early stopping decisions.
• Test Data: Một tập dữ liệu bị giữ lại hoàn toàn chỉ được sử dụng một khi cấu hình model cuối cùng đã được chọn. Nó đóng vai trò như một "bài kiểm tra cuối cùng" để cung cấp thước đo thực tế về hiệu suất model deployment.

Link to this sectionTriển khai thực tế với Ultralytics#

Trong hệ sinh thái Ultralytics, xác thực một model là một quy trình hợp lý. Khi người dùng bắt đầu huấn luyện hoặc xác thực, framework sẽ tự động sử dụng các hình ảnh được chỉ định trong cấu hình YAML của tập dữ liệu. Điều này tính toán các chỉ số hiệu suất chính như Mean Average Precision (mAP), giúp người dùng đánh giá độ chính xác của các tác vụ phát hiện đối tượng hoặc phân đoạn của họ.

Ví dụ sau đây minh họa cách xác thực một YOLO26 model đã được huấn luyện trước trên tập dữ liệu tiêu chuẩn COCO8 dataset bằng Python:

from ultralytics import YOLO

# Load the YOLO26 model (recommended for state-of-the-art performance)
model = YOLO("yolo26n.pt")

# Validate the model using the 'val' mode
# The 'data' argument points to the dataset config containing the validation split
metrics = model.val(data="coco8.yaml")

# Print the Mean Average Precision at IoU 0.5-0.95
print(f"Validation mAP50-95: {metrics.box.map}")

Link to this sectionCác ứng dụng trong thực tế#

Dữ liệu xác thực là không thể thiếu trong các ngành công nghiệp khác nhau, nơi độ chính xác và độ tin cậy là điều bắt buộc.

• Nông nghiệp thông minh: Trong lĩnh vực AI in agriculture, các hệ thống được huấn luyện để phát hiện bệnh hại cây trồng hoặc theo dõi các giai đoạn tăng trưởng. Một tập xác thực chứa hình ảnh được chụp trong các điều kiện thời tiết đa dạng (nắng, nhiều mây, mưa) đảm bảo model không chỉ hoạt động vào những ngày nắng đẹp hoàn hảo. Bằng cách tinh chỉnh các chiến lược data augmentation dựa trên điểm xác thực, người nông dân nhận được thông tin chi tiết nhất quán bất kể sự biến đổi của môi trường.
• Chẩn đoán y tế: Khi phát triển các giải pháp cho medical image analysis, chẳng hạn như xác định khối u trong quét CT, dữ liệu xác thực giúp ngăn model học các sai lệch cụ thể đối với thiết bị của một bệnh viện. Việc xác thực nghiêm ngặt trên các nhân khẩu học bệnh nhân đa dạng đảm bảo rằng các công cụ chẩn đoán đáp ứng các tiêu chuẩn an toàn theo yêu cầu của các cơ quan quản lý như FDA's digital health guidelines.

Link to this sectionKỹ thuật nâng cao: Cross-Validation#

Trong các tình huống dữ liệu khan hiếm, việc dành riêng 20% cho xác thực có thể loại bỏ quá nhiều thông tin huấn luyện có giá trị. Trong những trường hợp như vậy, các chuyên gia thường sử dụng Cross-Validation, cụ thể là K-Fold Cross-Validation. Kỹ thuật này bao gồm việc phân chia dữ liệu thành 'K' tập hợp con và xoay vòng tập hợp con nào đóng vai trò là dữ liệu xác thực. Điều này đảm bảo rằng mọi điểm dữ liệu đều được sử dụng cho cả huấn luyện và xác thực, cung cấp ước tính mạnh mẽ hơn về mặt thống kê về hiệu suất model như được mô tả trong statistical learning theory.

Việc sử dụng hiệu quả dữ liệu xác thực là nền tảng của Machine Learning Operations (MLOps) chuyên nghiệp. Bằng cách tận dụng các công cụ như Ultralytics Platform, các nhóm có thể tự động hóa việc quản lý các tập dữ liệu này, đảm bảo rằng các model được kiểm tra và tối ưu hóa nghiêm ngặt trước khi chúng được đưa vào sản xuất.