Golden Dataset

Bộ dữ liệu vàng là tập hợp ví dụ được tuyển chọn cẩn thận, gán nhãn chính xác và có tính đại diện, dùng làm chuẩn tham chiếu đáng tin cậy để đánh giá hệ thống AI. Thay vì tối đa hóa quy mô, bộ dữ liệu này ưu tiên độ chính xác, mức độ bao phủ và tính phù hợp với ứng dụng dự kiến. Các nhóm sử dụng bộ dữ liệu này như một “đáp án chuẩn” ổn định để so sánh model, kiểm tra hồi quy, điều tra lỗi và quyết định hệ thống đã sẵn sàng triển khai hay chưa.

Trong machine learning, “tập dữ liệu chuẩn” là thuật ngữ kỹ thuật không chính thức, chứ không phải một loại tập dữ liệu được chuẩn hóa phổ quát. Nội dung cụ thể tùy thuộc vào tác vụ: ảnh có bounding box đã xác minh cho phát hiện đối tượng, prompt kèm phản hồi được phê duyệt cho model ngôn ngữ hoặc giao dịch có kết quả được xác nhận cho phát hiện gian lận.

Điều gì tạo nên một bộ dữ liệu vàng#

Bộ dữ liệu vàng chứa đầu vào cùng đầu ra mong đợi đáng tin cậy, thường được gọi là ground truth. Trong thị giác máy tính, các đầu ra này có thể là nhãn lớp, bounding box, mask phân đoạn hoặc keypoint được tạo ra thông qua gán nhãn dữ liệu nghiêm ngặt.

Các đặc điểm chính gồm:

• Độ chính xác của nhãn: Chuyên gia trong lĩnh vực hoặc người đánh giá đã qua đào tạo xác minh chú giải theo các hướng dẫn rõ ràng. Các ví dụ không rõ ràng được xử lý nhất quán thay vì tùy thuộc vào cách diễn giải của từng cá nhân.
• Phạm vi đại diện: Bộ dữ liệu phản ánh các điều kiện sản xuất quan trọng, bao gồm các trường hợp phổ biến, ví dụ khó, sự kiện hiếm gặp và các nhóm người dùng hoặc môi trường có liên quan.
• Mức độ phù hợp với tác vụ: Mỗi ví dụ giúp đo lường một yêu cầu đã xác định, chẳng hạn như phát hiện các gói hàng bị hư hỏng dưới ánh sáng trong kho.
• Tính độc lập: Các ví dụ được tách khỏi dữ liệu huấn luyện để ngăn rò rỉ dữ liệu, vốn có thể khiến hiệu suất được báo cáo cao một cách sai lệch.
• Khả năng truy xuất: Các nhóm ghi lại nguồn dữ liệu, điều kiện thu thập, quy tắc gán nhãn, người đánh giá và các thay đổi. Theo dõi tập dữ liệu bằng MLflow minh họa cách hash, schema, nguồn và dòng dõi tập dữ liệu có thể hỗ trợ khả năng tái lập.
• Thay đổi có kiểm soát: Các bản cập nhật được quản lý phiên bản và đánh giá. Điểm số của model chỉ có ý nghĩa khi đã biết chính xác phiên bản tập dữ liệu và cài đặt đánh giá.

Golden không có nghĩa là hoàn hảo hoặc luôn chính xác. Điều kiện thực tế và định nghĩa có thể thay đổi, vì vậy cần kiểm tra và cập nhật bộ tham chiếu mà không âm thầm viết lại kết quả lịch sử.

Golden Dataset và các thuật ngữ liên quan#

Golden dataset có một số điểm trùng lặp với các khái niệm quen thuộc, nhưng nhấn mạnh vào độ tin cậy và quản trị:

• Nhãn ground truth là đáp án được chấp nhận cho một ví dụ; golden dataset là tập hợp các ví dụ đã được đánh giá cùng với các đáp án được chấp nhận tương ứng.
• Tập dữ liệu benchmark thường được chia sẻ để so sánh các hệ thống trên một tác vụ chung. Golden dataset thường là dữ liệu riêng tư, được thiết kế phù hợp với một tổ chức, sản phẩm hoặc môi trường triển khai cụ thể.
• Dữ liệu validation hướng dẫn việc lựa chọn và tinh chỉnh model trong quá trình phát triển. Các quyết định lặp đi lặp lại dựa trên dữ liệu này có thể dần khiến quy trình phát triển bị overfit.
• Dữ liệu test được giữ riêng để đánh giá cuối cùng. Golden dataset thường đóng vai trò là tập test hoặc hồi quy chất lượng cao, dù cũng có thể bao gồm các phần riêng cho phát triển và kiểm thử cuối cùng.
• Dữ liệu huấn luyện giúp model học các tham số và thường có quy mô lớn hơn nhiều. Golden dataset nên được giữ ngoài tập huấn luyện, trừ khi một bản sao đã quản lý phiên bản được chủ động ngừng dùng để đánh giá.

Hướng dẫn của Google về phân chia tập dữ liệu khuyến nghị giữ các ví dụ huấn luyện, validation và kiểm thử tách biệt. Khi dữ liệu khan hiếm, các kỹ thuật cross-validation có thể cải thiện việc ước lượng, nhưng một tập tham chiếu cuối cùng được bảo vệ vẫn rất hữu ích.

Ứng dụng thực tế#

Kiểm tra lỗi sản phẩm trong sản xuất: Một nhà máy có thể tạo tập dữ liệu chuẩn gồm các ảnh đã được đánh giá, thể hiện sản phẩm đạt yêu cầu và các lỗi đã xác nhận như vết nứt, thiếu linh kiện hoặc lắp ráp sai. Tập dữ liệu bao gồm nhiều dây chuyền sản xuất, vị trí camera, vật liệu và điều kiện chiếu sáng. Mỗi model ứng viên được đánh giá trên cùng một tập dữ liệu trước khi phát hành. Nếu recall giảm đối với các vết nứt nhỏ, nhóm có thể chặn triển khai ngay cả khi chỉ số tổng thể có vẻ đạt yêu cầu.

Giám sát kệ hàng bán lẻ: Nhà bán lẻ có thể duy trì các hình ảnh cửa hàng đã xác minh, bao gồm kệ hàng đông đúc, vị trí trống, sản phẩm bị che khuất một phần, bao bì theo mùa và hiện tượng phản chiếu. Tập dữ liệu này đo lường khả năng hệ thống thị giác phát hiện sản phẩm và khoảng trống hàng hóa một cách đáng tin cậy trong nhiều môi trường cửa hàng. Việc đánh giá hiệu suất theo kịch bản hoặc danh mục sản phẩm tuân theo thông lệ rộng hơn là tìm các nhóm có tỷ lệ lỗi cao, được mô tả trong hướng dẫn AI có trách nhiệm của Microsoft.

Các ứng dụng này cho thấy vì sao chỉ số độ chính xác tổng thể là chưa đủ. Golden dataset cần hỗ trợ đánh giá theo từng phân nhóm đối với các lớp, địa điểm, thiết bị hoặc điều kiện hiếm gặp, nơi lỗi gây ra những hậu quả khác nhau. Tương tự, NIST AI Risk Management Framework Core nhấn mạnh các tập kiểm thử được ghi chép đầy đủ, metric phù hợp và đánh giá trong các điều kiện tương tự khi triển khai.

Xây dựng và duy trì Golden Dataset#

Bắt đầu bằng cách xác định hành vi dự kiến của model và các chế độ lỗi quan trọng. Thu thập ví dụ có tính đại diện, viết hướng dẫn gán nhãn chính xác, hiệu chuẩn người đánh giá và giải quyết bất đồng với chuyên gia lĩnh vực. Giữ các mẫu gần trùng lặp và các frame video có liên quan trong cùng một phân chia để nội dung tương tự về mặt hình ảnh không vượt qua ranh giới giữa huấn luyện và đánh giá.

Đối với các dự án thị giác, Ultralytics Platform hỗ trợ quản lý tập dữ liệu trên cloud, gán nhãn, huấn luyện và triển khai. Quy trình gán nhãn của nền tảng cho phép các nhóm tạo và tinh chỉnh nhãn, trong khi các chế độ xem tập dữ liệu giúp kiểm tra phân bố lớp, hình ảnh chưa gán nhãn, các phân chia, mẫu trùng lặp và ngoại lệ.

Quản lý phiên bản cho từng bản phát hành đã được phê duyệt và ghi lại các nội dung thêm, xóa, chỉnh sửa nhãn và thay đổi chính sách. Hướng dẫn của NIST về kiểm thử, đánh giá, validation và xác minh AI cung cấp một khuôn khổ rộng hơn để đánh giá có ý nghĩa. Sau khi triển khai, hãy so sánh dữ liệu mới với bộ tham chiếu golden và theo dõi các điều kiện đang thay đổi; hướng dẫn giám sát model của Azure giải thích cách các tín hiệu drift và chất lượng dữ liệu có thể cho biết khi nào cần sửa đổi tập tham chiếu.

Đánh giá Model Thị giác#

Ultralytics YOLO có thể đánh giá dự đoán dựa trên nhãn đã được xem xét bằng chế độ Validation:

from ultralytics import YOLO

# Load a pretrained object detection model
model = YOLO("yolo26n.pt")

# Evaluate predictions against a labeled reference split
metrics = model.val(data="coco8.yaml", split="val")

# Report the primary detection metric
print(f"mAP50-95: {metrics.box.map:.3f}")

Quy trình này minh họa vai trò của golden dataset ở phía model: chạy một model cố định trên một phân chia có nhãn cố định và ghi lại metric có thể tái lập. Trong các dự án sản xuất, trước khi phê duyệt bản phát hành, các nhóm cũng nên kiểm tra kết quả theo từng lớp, ma trận nhầm lẫn, ví dụ khó và ngưỡng chấp nhận dành riêng cho ứng dụng.