Benchmark Dataset

Dataset benchmark là dataset công khai cố định với các phân chia được xác định trước và metric đánh giá chính thức, được cộng đồng nghiên cứu sử dụng để so sánh model trên cùng một tác vụ trong cùng điều kiện. Kết quả được báo cáo bằng một con số cho mỗi metric, chẳng hạn độ chính xác top-1 trên ImageNet hoặc mAP_50-95 trên COCO val2017; các con số chỉ có thể so sánh giữa các bài báo vì mọi người dùng cùng ảnh, nhãn, mã chấm điểm và quy tắc. Benchmark theo dõi tiến bộ trong machine learning (ML), định hướng các phương pháp được áp dụng và cung cấp số liệu nổi bật trong bài báo cùng model card.

Benchmark xác định những gì#

Benchmark cố định mọi yếu tố có thể khiến hai điểm số không thể so sánh:

• Dữ liệu và các phân chia: Bộ ảnh huấn luyện, validation và kiểm thử chính xác để không ai có thể đánh giá trên tập con dễ hơn.
• Tác vụ và tập nhãn: Đầu ra model cần tạo, chẳng hạn một trong 1.000 lớp hoặc một bounding box cùng lớp cho mỗi trong số 80 loại đối tượng.
• Metric và mã chấm điểm: Bản triển khai chính thức, chẳng hạn đánh giá COCO, lấy trung bình precision trên mười ngưỡng IoU từ 0.50 đến 0.95.
• Quy tắc: Những điều kiện để kết quả dự thi được chấp nhận, chẳng hạn có cho phép thêm dữ liệu huấn luyện, tăng cường dữ liệu khi kiểm thử hoặc ensemble model hay không.

Nhiều benchmark giữ riêng nhãn kiểm thử để ngăn các nhóm tinh chỉnh model trên tập kiểm thử. Người tham gia huấn luyện trên các phân chia công khai, tải dự đoán cho ảnh kiểm thử lên; máy chủ đánh giá chấm dự đoán dựa trên nhãn ẩn trước khi công bố kết quả trên bảng xếp hạng. Khi nhãn kiểm thử không bao giờ được phát hành, như với ImageNet, các bài báo thay vào đó báo cáo kết quả trên phân chia validation công khai.

Các dataset benchmark phổ biến#

• Phân loại ảnh: ImageNet-1k, chấm theo độ chính xác top-1 và top-5; CIFAR-10 và CIFAR-100 dành cho các thử nghiệm quy mô nhỏ hơn.
• Phát hiện đối tượng và segmentation: COCO, với 80 danh mục và mean average precision (mAP) là metric chính; Pascal VOC, với 20 danh mục; và LVIS, với 1.203 danh mục, dành cho nhận dạng phân phối đuôi dài.
• Lái xe tự hành: KITTI và Waymo Open Dataset, gồm bản ghi camera và lidar về giao thông thực tế.
• Ngôn ngữ và suy luận: Câu hỏi khoa học trình độ sau đại học trong GPQA, câu hỏi chuyên sâu ở nhiều lĩnh vực trong Kỳ thi cuối cùng của nhân loại và bài toán lập trình trong LiveCodeBench.

Ultralytics công bố độ chính xác phát hiện của YOLO26 dưới dạng mAP_50-95 đơn model, đơn scale trên tập val2017 gồm 5.000 ảnh của COCO ở độ phân giải 640 pixel, từ 40.9 với YOLO26n đến 57.5 với YOLO26x; yolo detect val data=coco.yaml tái tạo kết quả đánh giá đó. Bảng xếp hạng VLM của Ultralytics áp dụng cùng cách tiếp cận cho mô hình thị giác-ngôn ngữ, chấm điểm từng model bằng mAP₅₀ trên các dataset phát hiện thực tế thuộc những lĩnh vực như chẩn đoán hình ảnh, ảnh chụp từ trên không và kệ hàng bán lẻ.

Hạn chế của benchmark#

• Overfit với benchmark: Việc chọn model trên cùng một tập kiểm thử trong nhiều năm có thể khiến cả lĩnh vực tinh chỉnh theo những đặc điểm riêng của tập đó. ImageNetV2 kiểm tra vấn đề này bằng cách thu thập một tập kiểm thử mới theo quy trình ban đầu: độ chính xác giảm 11% đến 14%, nhưng thứ hạng model vẫn giữ nguyên; các tác giả cho rằng mức giảm đến từ ảnh khó hơn đôi chút chứ không phải việc tái sử dụng tập kiểm thử.
• Lỗi nhãn: Một nghiên cứu về 10 tập kiểm thử được sử dụng rộng rãi ước tính có ít nhất 3.3% nhãn bị sai. Trên ImageNet với nhãn đã hiệu chỉnh, ResNet-18 vượt ResNet-50 khi tỷ lệ ảnh kiểm thử ban đầu bị gán nhãn sai chỉ tăng 6%.
• Bão hòa: Khi các model hàng đầu tiến gần đến giới hạn do nhiễu nhãn, chênh lệch điểm số không còn phân biệt được chúng và các benchmark khó hơn sẽ thay thế. Humanity's Last Exam tập hợp 2.500 câu hỏi chuyên gia sau khi các large language model đạt độ chính xác 90% trên MMLU.
• Nhiễm dữ liệu: Các mục kiểm thử lọt vào dữ liệu huấn luyện quy mô web làm tăng điểm số của large language model. LiveCodeBench khắc phục bằng cách liên tục bổ sung bài toán thi mới cùng ngày phát hành, để có thể chấm từng model trên các bài toán được công bố sau thời điểm dữ liệu huấn luyện bị khóa.
• Không khớp với môi trường triển khai: Benchmark đo trên một phân phối dữ liệu. Model đứng đầu trên COCO vẫn có thể bỏ sót các đối tượng nhỏ, bất thường hoặc đặc thù miền trong nhà máy hay bệnh viện; vì vậy, các nhóm cũng duy trì một golden dataset từ trường hợp sử dụng của chính họ.

Dataset benchmark và các thuật ngữ liên quan#

• Dữ liệu kiểm thử: Dữ liệu được giữ lại để đo lường model đã hoàn thiện một lần. Phân chia kiểm thử của benchmark là dữ liệu kiểm thử được cả lĩnh vực dùng chung, còn tập kiểm thử riêng của một nhóm đo hiệu suất trên dữ liệu triển khai của nhóm đó.
• Dữ liệu validation: Dữ liệu dùng trong quá trình phát triển để tinh chỉnh hyperparameter và chọn checkpoint. Benchmark thường cung cấp phân chia validation chính thức cho mục đích này.
• Benchmark hiệu năng (tốc độ): Đo độ trễ, thông lượng hoặc mức sử dụng bộ nhớ của model trên phần cứng và runtime nhất định, chẳng hạn ONNX Runtime hoặc TensorRT; thường kiểm tra độ chính xác sau mỗi lần export để xác nhận việc chuyển đổi không làm giảm chất lượng model.