Bộ dữ liệu chuẩn

Tầm quan trọng của Bộ dữ liệu chuẩn

Bộ dữ liệu chuẩn là cơ bản vì chúng thiết lập một sân chơi bình đẳng để đánh giá mô hình . Bằng cách sử dụng chính xác cùng một dữ liệu và tiêu chí đánh giá, các nhà nghiên cứu có thể trực tiếp và công bằng so sánh điểm mạnh và điểm yếu của các mô hình khác nhau trong các điều kiện giống hệt nhau. Thực hành này thúc đẩy khả năng tái tạo trong nghiên cứu , giúp những người khác dễ dàng xác minh kết quả và xây dựng dựa trên công trình hiện có. Chuẩn giúp xác định các lĩnh vực mà các mô hình vượt trội hoặc gặp khó khăn, hướng dẫn các hướng nghiên cứu trong tương lai và các nỗ lực phát triển để tạo ra các hệ thống AI mạnh mẽ và đáng tin cậy hơn. Chúng đóng vai trò là các cột mốc, cho phép cộng đồng đo lường tiến độ theo thời gian.

Các tính năng chính của bộ dữ liệu chuẩn

Các tập dữ liệu chuẩn chất lượng cao thường có một số đặc điểm chính sau:

• Tính đại diện: Dữ liệu phải phản ánh chính xác các tình huống thực tế hoặc phạm vi vấn đề cụ thể mà mô hình hướng đến.
• Kích thước và tính đa dạng: Chúng cần phải đủ lớn và đủ đa dạng để cho phép đánh giá có ý nghĩa và ngăn chặn các mô hình chỉ ghi nhớ dữ liệu ( quá mức ). Các tập dữ liệu thị giác máy tính chất lượng cao là điều cần thiết.
• Chú thích rõ ràng: Dữ liệu phải được dán nhãn chính xác và nhất quán ( nhãn dữ liệu ) theo các hướng dẫn được xác định rõ ràng.
• Tiêu chuẩn đánh giá: Tiêu chuẩn thường đi kèm với các tiêu chuẩn cụ thể (ví dụ: độ chính xác , mAP , IoU ) và các giao thức đánh giá để đảm bảo so sánh nhất quán.
• Khả năng tiếp cận: Chúng phải dễ dàng tiếp cận với cộng đồng nghiên cứu, thường thông qua các kho lưu trữ công cộng hoặc thử thách.

Ứng dụng của Bộ dữ liệu chuẩn

Bộ dữ liệu chuẩn được sử dụng rộng rãi trong nhiều tác vụ AI và học sâu (DL) , bao gồm:

• Phát hiện đối tượng : Các tập dữ liệu như COCO , PASCAL VOC và Open Images V7 là tiêu chuẩn để đánh giá các mô hình xác định vị trí và phân loại đối tượng trong hình ảnh.
• Phân loại hình ảnh : ImageNet có lẽ là chuẩn mực nổi tiếng nhất, thúc đẩy những tiến bộ đáng kể trong việc phân loại hình ảnh thành các danh mục được xác định trước. Những chuẩn mực khác bao gồm CIFAR-10 và MNIST .
• Phân đoạn phiên bản : Các tác vụ yêu cầu phác thảo đối tượng ở cấp độ pixel thường sử dụng các điểm chuẩn như COCO hoặc LVIS .
• Ước tính tư thế : Các tập dữ liệu như COCO-Pose được sử dụng để đánh giá các mô hình phát hiện điểm chính của con người hoặc vật thể.
• Nhiệm vụ theo lĩnh vực cụ thể: Có các chuẩn mực chuyên biệt cho các lĩnh vực như phân tích hình ảnh y tế (ví dụ: Bộ dữ liệu phát hiện khối u não ), lái xe tự động ( Argoverse , nuScenes ) và hình ảnh trên không ( VisDrone ). Bộ dữ liệu Roboflow 100 cung cấp chuẩn mực đa dạng trên nhiều lĩnh vực.

Ví dụ thực tế

1. So sánh các mô hình phát hiện đối tượng: Khi Ultralytics phát triển một mô hình mới như Ultralytics YOLO11 , hiệu suất của nó được kiểm tra nghiêm ngặt trên các tập dữ liệu chuẩn như COCO . Các kết quả (như điểm mAP) được so sánh với các phiên bản trước ( YOLOv8 , YOLOv10 ) và các mô hình tiên tiến khác. Những so sánh mô hình này giúp người dùng chọn mô hình tốt nhất cho nhu cầu cụ thể của họ, cho dù là nghiên cứu học thuật hay ứng dụng thương mại. Các nền tảng như Ultralytics HUB cho phép người dùng đào tạo các mô hình và có khả năng chuẩn hóa chúng trên dữ liệu tùy chỉnh.
2. Thúc đẩy lái xe tự động: Các công ty phát triển công nghệ cho xe tự hành phụ thuộc rất nhiều vào các chuẩn mực như Argoverse hoặc nuScenes . Các tập dữ liệu này chứa các tình huống lái xe đô thị phức tạp với chú thích chi tiết cho ô tô, người đi bộ, người đi xe đạp, v.v. Bằng cách đánh giá các mô hình nhận thức của họ trên các chuẩn mực này, các công ty có thể đo lường sự cải thiện về độ chính xác phát hiện, độ tin cậy theo dõi và độ mạnh mẽ của toàn bộ hệ thống, điều này rất quan trọng để đảm bảo an toàn trong AI cho xe tự lái .

Điểm chuẩn so với các tập dữ liệu khác

Điều quan trọng là phải phân biệt các tập dữ liệu chuẩn với các phân chia dữ liệu khác được sử dụng trong vòng đời ML:

• Dữ liệu đào tạo : Được sử dụng để dạy mô hình bằng cách điều chỉnh các tham số của nó dựa trên các ví dụ đầu vào và nhãn tương ứng của chúng. Đây thường là phần lớn nhất của dữ liệu. Các kỹ thuật như tăng cường dữ liệu thường được áp dụng ở đây.
• Dữ liệu xác thực : Được sử dụng trong quá trình đào tạo để điều chỉnh các siêu tham số mô hình (như tốc độ học hoặc lựa chọn kiến trúc) và cung cấp ước tính không thiên vị về kỹ năng mô hình trong khi điều chỉnh. Nó giúp ngăn ngừa việc quá khớp với dữ liệu đào tạo.
• Dữ liệu thử nghiệm : Được sử dụng sau khi mô hình được đào tạo đầy đủ để cung cấp đánh giá cuối cùng, khách quan về hiệu suất của nó trên dữ liệu chưa biết. Bộ dữ liệu chuẩn thường đóng vai trò là bộ thử nghiệm chuẩn để so sánh các mô hình khác nhau được phát triển độc lập.

Mặc dù bộ dữ liệu chuẩn có thể được sử dụng như một bộ thử nghiệm, nhưng mục đích chính của nó rộng hơn: cung cấp một tiêu chuẩn chung để so sánh trong toàn bộ cộng đồng nghiên cứu, thường được tạo điều kiện thuận lợi bởi bảng xếp hạng công khai liên quan đến các thử thách như Thử thách nhận dạng hình ảnh quy mô lớn ImageNet (ILSVRC) .