Test Data

Test Data là một tập hợp con cụ thể của một tập dữ liệu lớn hơn được dành riêng hoàn toàn để đánh giá hiệu suất cuối cùng của một machine learning (ML) model. Khác với dữ liệu được sử dụng trong các giai đoạn học tập trước đó, test data hoàn toàn "chưa từng thấy" đối với thuật toán cho đến tận cuối chu trình phát triển. Sự cô lập này rất quan trọng vì nó cung cấp một đánh giá khách quan về mức độ tổng quát hóa của một computer vision (CV) model hoặc hệ thống AI khác đối với các đầu vào mới trong thế giới thực. Bằng cách mô phỏng môi trường production, test data giúp các nhà phát triển xác minh rằng model của họ đã thực sự học được các mẫu cơ bản thay vì chỉ ghi nhớ các ví dụ huấn luyện.

Vai trò của dữ liệu kiểm thử trong vòng đời ML#

Trong machine learning workflow tiêu chuẩn, dữ liệu thường được chia thành ba danh mục riêng biệt, mỗi danh mục phục vụ một mục đích duy nhất. Hiểu rõ sự khác biệt giữa các phần chia này là điều cốt yếu để xây dựng các hệ thống artificial intelligence (AI) mạnh mẽ.

• Training Data: Đây là phần lớn nhất của tập dữ liệu, được sử dụng để dạy cho model. Thuật toán liên tục điều chỉnh các tham số nội bộ của nó, hay weights, để giảm thiểu lỗi trên tập ví dụ cụ thể này.
• Validation Data: Tập hợp con này được sử dụng thường xuyên trong quá trình training để tinh chỉnh hyperparameters và định hướng các quyết định về kiến trúc. Nó đóng vai trò là một bước kiểm tra tạm thời để ngăn chặn tình trạng overfitting, là hiện tượng một model hoạt động tốt trên dữ liệu huấn luyện nhưng lại thất bại trên dữ liệu mới.
• Test Data: Đây là "kỳ thi" cuối cùng dành cho model. Nó không bao giờ được sử dụng để cập nhật weights hay tinh chỉnh các cài đặt. Việc đánh giá trên test data mang lại các chỉ số hiệu suất mang tính quyết định, chẳng hạn như accuracy, recall, và Mean Average Precision (mAP), mà các bên liên quan sử dụng để quyết định xem một model đã sẵn sàng cho model deployment hay chưa.

Việc quản lý đúng đắn các phần chia này thường được hỗ trợ bởi các công cụ như Ultralytics Platform, có khả năng tự động tổ chức các tập dữ liệu được tải lên thành các danh mục thiết yếu này nhằm đảm bảo quá trình model evaluation diễn ra chặt chẽ.

Tầm quan trọng của đánh giá khách quan#

Giá trị chính của test data nằm ở khả năng phát hiện dataset bias và các vấn đề về phương sai. Nếu một model đạt độ chính xác 99% trên dữ liệu huấn luyện nhưng chỉ đạt 60% trên test data, điều đó cho thấy phương sai cao (overfitting). Ngược lại, hiệu suất kém trên cả hai cho thấy hiện tượng underfitting.

Sử dụng một tập test được chỉ định tuân thủ các nguyên tắc khoa học về reproducibility và tính khách quan. Nếu không có một tập test nguyên bản, các nhà phát triển sẽ có nguy cơ "học tủ để thi", làm rò rỉ thông tin từ giai đoạn đánh giá trở lại giai đoạn huấn luyện—một hiện tượng được gọi là data leakage. Điều này dẫn đến các ước tính hiệu suất quá lạc quan nhưng lại sụp đổ khi model đối mặt với real-world data.

Các ứng dụng trong thực tế#

Dữ liệu kiểm thử là yếu tố thiết yếu trong mọi ngành sử dụng AI để đảm bảo tính an toàn và độ tin cậy trước khi các hệ thống được đưa vào vận hành thực tế.

• Autonomous Driving: Trong quá trình phát triển autonomous vehicles, training data có thể bao gồm hàng triệu dặm đường cao tốc lái xe trong thời tiết quang đãng. Tuy nhiên, test data phải bao gồm các kịch bản hiếm gặp và thách thức—chẳng hạn như tuyết rơi dày đặc, chướng ngại vật bất ngờ, hoặc biển báo giao thông khó hiểu—mà chiếc xe chưa từng "nhìn thấy" rõ ràng trong quá trình training. Điều này đảm bảo hệ thống object detection có thể phản ứng an toàn trong các môi trường khó đoán.
• Healthcare Diagnostics: Khi xây dựng một model để tumor detection in medical imaging, tập huấn luyện có thể đến từ cơ sở dữ liệu của một bệnh viện cụ thể. Để xác minh model đó mạnh mẽ và an toàn cho việc sử dụng chung, test data lý tưởng nhất nên bao gồm các bản quét từ các bệnh viện khác nhau, được chụp bằng các máy móc khác nhau và đại diện cho một nhóm bệnh nhân đa dạng. Việc xác thực bên ngoài này xác nhận rằng AI không bị thiên vị đối với một loại thiết bị hoặc quần thể cụ thể nào.

Đánh giá hiệu suất bằng Code#

Sử dụng gói ultralytics, bạn có thể dễ dàng đánh giá hiệu suất của một model trên một tập dữ liệu tách rời. Mặc dù chế độ val thường được sử dụng để validation trong quá trình training, nó cũng có thể được định cấu hình để chạy trên một tập test cụ thể được xác định trong dataset YAML configuration của bạn.

Dưới đây là cách đánh giá một YOLO26 model đã được huấn luyện trước để thu thập các số liệu như mAP50-95:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Evaluate the model's performance on the validation set
# (Note: In a strict testing workflow, you would point 'data'
# to a YAML that defines a specific 'test' split and use split='test')
metrics = model.val(data="coco8.yaml")

# Print a specific metric, e.g., mAP at 50-95% IoU
print(f"Mean Average Precision (mAP50-95): {metrics.box.map}")

Quá trình này tạo ra các số liệu toàn diện, cho phép các nhà phát triển so sánh một cách khách quan các kiến trúc khác nhau, chẳng hạn như YOLO26 vs YOLO11, và đảm bảo giải pháp được chọn đáp ứng các defined goals của dự án. Kiểm thử nghiêm ngặt là bước kiểm soát cuối cùng để đảm bảo các tiêu chuẩn AI safety chất lượng cao được đáp ứng.