Golden Dataset

Golden dataset là một tập hợp các ví dụ được tuyển chọn kỹ lưỡng, được gán nhãn chính xác và có tính đại diện, được sử dụng làm tham chiếu đáng tin cậy để đánh giá hệ thống AI. Thay vì tối đa hóa quy mô, nó ưu tiên tính chính xác, độ bao phủ và mức độ liên quan đến ứng dụng dự định. Các nhóm sử dụng nó như một "đáp án" ổn định để so sánh các model, kiểm tra lỗi hồi quy, điều tra sự cố và quyết định xem hệ thống đã sẵn sàng để triển khai hay chưa.

Trong machine learning, “golden dataset” là thuật ngữ kỹ thuật không chính thức hơn là một loại tập dữ liệu được chuẩn hóa phổ biến. Nội dung chính xác của nó phụ thuộc vào tác vụ: hình ảnh có các bounding box đã được xác minh cho tác vụ object detection, prompt với các phản hồi được phê duyệt cho một language model, hoặc các giao dịch với kết quả được xác nhận để phát hiện gian lận.

Điều Gì Tạo Nên Một Golden Dataset#

Golden dataset chứa các đầu vào cộng với các đầu ra mong đợi đáng tin cậy, thường được gọi là ground truth. Trong thị giác máy tính, các đầu ra này có thể là nhãn lớp, bounding box, segmentation mask hoặc keypoint được tạo ra thông qua quá trình data annotation nghiêm ngặt.

Các chất lượng chính của nó là:

• Độ chính xác của nhãn: Các chuyên gia lĩnh vực hoặc reviewer được đào tạo sẽ xác minh các chú thích bằng cách sử dụng các hướng dẫn rõ ràng. Các ví dụ mơ hồ được giải quyết một cách nhất quán thay vì để diễn giải theo cá nhân.
• Độ bao phủ đại diện: Tập dữ liệu phản ánh các điều kiện sản xuất quan trọng, bao gồm các trường hợp phổ biến, các ví dụ khó, các sự kiện hiếm gặp và các nhóm người dùng hoặc nhóm môi trường có liên quan.
• Sự liên kết tác vụ: Mỗi ví dụ giúp đo lường một yêu cầu đã định, chẳng hạn như phát hiện các kiện hàng bị hư hỏng dưới ánh sáng trong kho.
• Tính độc lập: Các ví dụ được tách biệt khỏi dữ liệu huấn luyện để ngăn chặn data leakage, điều này có thể làm cho hiệu suất được báo cáo cao một cách gây hiểu lầm.
• Tính khả truy nguyên: Các nhóm ghi lại các nguồn dữ liệu, điều kiện thu thập, quy tắc chú thích, reviewer và các thay đổi. MLflow dataset tracking minh họa cách mã băm, schema, nguồn và dòng dõi tập dữ liệu có thể hỗ trợ tính tái tạo.
• Thay đổi có kiểm soát: Các bản cập nhật được đánh phiên bản và xem xét. Điểm số của model chỉ có ý nghĩa khi biết chính xác phiên bản tập dữ liệu và cài đặt đánh giá.

Golden không có nghĩa là hoàn hảo hoặc chính xác vĩnh viễn. Các điều kiện và định nghĩa trong thế giới thực có thể thay đổi, vì vậy tập tham chiếu phải được kiểm toán và làm mới mà không làm thay đổi âm thầm các kết quả lịch sử.

Golden Dataset so với Các Thuật Ngữ Liên Quan#

Golden dataset chồng chéo với một số khái niệm quen thuộc nhưng nhấn mạnh vào tính tin cậy và quản trị:

• Một ground-truth label là câu trả lời được chấp nhận cho một ví dụ; một golden dataset là tập hợp các ví dụ đã được xem xét và câu trả lời được chấp nhận của chúng.
• Một benchmark dataset thường được chia sẻ để so sánh các hệ thống trên một tác vụ chung. Một golden dataset thường mang tính riêng tư và được tinh chỉnh cho một tổ chức, sản phẩm hoặc môi trường triển khai cụ thể.
• Validation data hướng dẫn việc lựa chọn và tinh chỉnh model trong quá trình phát triển. Các quyết định lặp đi lặp lại dựa trên nó có thể dẫn đến việc học quá mức (overfit) dần dần quá trình phát triển.
• Test data được giữ lại để đánh giá cuối cùng. Một golden dataset thường đóng vai trò là tập kiểm tra hoặc tập hồi quy chất lượng cao, mặc dù nó cũng có thể chứa các phần phát triển và kiểm tra cuối cùng riêng biệt.
• Dữ liệu huấn luyện dạy các tham số model và thường lớn hơn rất nhiều. Golden dataset nên nằm ngoài quá trình huấn luyện trừ khi một bản sao có phiên bản được loại bỏ có chủ đích khỏi quá trình đánh giá.

Google guidance on dataset splitting khuyến nghị giữ cho các ví dụ huấn luyện, xác thực và kiểm tra tách biệt nhau. Khi dữ liệu khan hiếm, các cross-validation techniques có thể cải thiện việc ước tính, nhưng một tập tham chiếu cuối cùng được bảo vệ vẫn rất có giá trị.

Các ứng dụng trong thực tế#

Kiểm tra lỗi sản xuất: Một nhà máy có thể tạo ra một golden dataset gồm các hình ảnh đã qua kiểm tra cho thấy các sản phẩm đạt tiêu chuẩn và các lỗi đã được xác nhận như vết nứt, thiếu linh kiện hoặc lắp ráp không chính xác. Nó baoمل nhiều dây chuyền sản xuất, vị trí camera, vật liệu và điều kiện ánh sáng. Mỗi model ứng viên đều được đánh giá trên cùng một tập trước khi phát hành. Nếu độ thu hồi (recall) giảm đối với các vết nứt nhỏ, nhóm có thể chặn việc triển khai ngay cả khi số liệu tổng thể có vẻ chấp nhận được.

Giám sát kệ hàng bán lẻ: Nhà bán lẻ có thể duy trì các hình ảnh cửa hàng đã được xác minh chứa các kệ hàng đông đúc, khoảng trống, sản phẩm bị che khuất một phần, bao bì theo mùa và hình phản chiếu. Tập dữ liệu này đo lường xem hệ thống thị giác có phát hiện đáng tin cậy các sản phẩm và khoảng trống hàng tồn kho trên các môi trường cửa hàng hay không. Việc xem xét hiệu suất theo kịch bản hoặc danh mục sản phẩm tuân theo thực tiễn rộng lớn hơn là tìm kiếm các nhóm có tỷ lệ lỗi cao được mô tả trong Microsoft’s responsible AI guidance.

Kiểm tra lỗi sản xuất: Các ứng dụng này cho thấy lý do tại sao chỉ dựa vào độ chính xác tổng thể là chưa đủ. Golden dataset nên hỗ trợ đánh giá dựa trên lát cắt (slice-based evaluation) cho các lớp, vị trí, thiết bị hoặc điều kiện hiếm gặp mà ở đó các lỗi gây ra hậu quả khác nhau. NIST AI Risk Management Framework Core cũng nhấn mạnh các tập kiểm tra được tài liệu hóa, các số liệu phù hợp và việc đánh giá trong các điều kiện giống như triển khai.

Xây Dựng và Duy Trì Golden Dataset#

Bắt đầu bằng cách xác định hành vi dự kiến của model và các chế độ lỗi quan trọng. Thu thập các ví dụ đại diện, viết hướng dẫn chú thích chính xác, chạy quy trình hiệu chuẩn reviewer và giải quyết các bất đồng với các chuyên gia lĩnh vực. Giữ các hình ảnh gần như trùng lặp và các khung hình video liên quan trong cùng một tập dữ liệu (split) để nội dung có hình ảnh tương tự không vượt qua ranh giới giữa huấn luyện và đánh giá.

Đối với các dự án thị giác, Ultralytics Platform hỗ trợ quản lý tập dữ liệu đám mây, chú thích, huấn luyện và triển khai. annotation workflow của nó cho phép các nhóm tạo và tinh chỉnh nhãn, trongขณะທີ່ các chế độ xem tập dữ liệu giúp kiểm tra phân phối lớp, hình ảnh chưa được chú thích, các tập chia tách, dữ liệu trùng lặp và các điểm ngoại lai.

Đánh phiên bản cho mỗi bản phát hành được phê duyệt và ghi lại các mục bổ sung, xóa bỏ, sửa nhãn và thay đổi chính sách. NIST guidance on AI testing, evaluation, validation, and verification cung cấp một framework rộng lớn hơn để đánh giá có ý nghĩa. Sau khi triển khai, hãy so sánh dữ liệu đến với tham chiếu vàng và theo dõi các điều kiện thay đổi; Azure model monitoring guidance giải thích cách các tín hiệu trôi dạt (drift) và chất lượng dữ liệu có thể tiết lộ thời điểm tập tham chiếu cần được sửa đổi.

Đánh Giá Vision Model#

Ultralytics YOLO có thể đánh giá các dự đoán dựa trên các nhãn đã được xem xét bằng cách sử dụng Validation mode:

from ultralytics import YOLO

# Load a pretrained object detection model
model = YOLO("yolo26n.pt")

# Evaluate predictions against a labeled reference split
metrics = model.val(data="coco8.yaml", split="val")

# Report the primary detection metric
print(f"mAP50-95: {metrics.box.map:.3f}")

Workflow này minh họa vai trò phía model của một golden dataset: chạy một model cố định đối với một tập dữ liệu đã gán nhãn cố định và ghi lại một số liệu có thể tái tạo. Trong các dự án sản xuất, các nhóm cũng nên kiểm tra kết quả theo từng lớp, ma trận nhầm lẫn (confusion matrix), các ví dụ khó và ngưỡng chấp nhận dành riêng cho ứng dụng trước khi phê duyệt bản phát hành.