Model Card

Model card là một tài liệu có cấu trúc giải thích chức năng của một model AI hoặc machine learning, cách model được phát triển và đánh giá, phạm vi nên sử dụng, cũng như những giới hạn hoặc rủi ro mà người dùng cần nắm rõ. Tài liệu này hoạt động như một bảng thông tin thực tế dành cho các lập trình viên, người đánh giá, người triển khai và các bên liên quan chịu ảnh hưởng, hỗ trợ transparency in AI mà không yêu cầu quyền truy cập mã nguồn hoặc các thành phần bên trong của model. Trong ngữ cảnh này, model card không liên quan gì đến “comp card” của người mẫu thời trang, vốn là một portfolio chuyên nghiệp.

Nội dung của một Model Card#

Một model card hữu ích kết hợp các minh chứng kỹ thuật với hướng dẫn bằng ngôn ngữ thông dụng. Mức độ chi tiết của tài liệu nên phản ánh mức độ tác động của model: một image classifier thử nghiệm có thể chỉ cần một card ngắn gọn, trong khi một model ảnh hưởng đến các quyết định y tế hoặc tài chính đòi hỏi tài liệu chi tiết hơn.

Các thành phần phổ biến bao gồm:

• Mục đích, quyền sở hữu và phiên bản: Xác định model, nhóm chịu trách nhiệm, phiên bản phát hành, task, các đầu vào và đầu ra được hỗ trợ, cùng với thông tin liên hệ hoặc thông tin bảo trì.
• Training data và ngữ cảnh phát triển: Mô tả các nguồn dữ liệu, điều kiện thu thập, quy trình gán nhãn, tiền xử lý, kiến trúc model, quy trình huấn luyện và các giả định quan trọng. Dữ liệu nhạy cảm hoặc độc quyền có thể được tóm tắt mà không cần tiết lộ chi tiết.
• Đánh giá và performance metrics: Báo cáo các metrics trên các tập dữ liệu validation hoặc test đã được xác định rõ ràng. Đối với object detection, các chỉ số này có thể bao gồm precision, recall, mean average precision, inference latency, và kết quả cho từng class riêng lẻ hoặc các tập con dữ liệu có ý nghĩa.
• Ứng dụng dự kiến và trường hợp loại trừ: Giải thích các ứng dụng phù hợp, điều kiện vận hành dự kiến, yêu cầu giám sát của con người và các kịch bản mà model không được thiết kế để xử lý.
• Giới hạn và rủi ro: Tài liệu hóa các chế độ lỗi đã biết, mức độ bất định, các vấn đề về quyền riêng tư, cân nhắc bảo mật và các hiện tượng dataset bias có thể xảy ra. Tài liệu cũng cần nêu rõ hậu quả có thể xảy ra của các dự đoán không chính xác.

Tài liệu Amazon SageMaker Model Cards documentation cung cấp một ví dụ về bản ghi vòng đời có cấu trúc bao gồm mục đích sử dụng, chi tiết huấn luyện, đánh giá, xếp hạng rủi ro và các khuyến nghị. Các bộ sưu tập công khai như Google DeepMind model cards cho thấy cách các card có thể truyền đạt các tính năng, đánh giá an toàn và hạn chế đến một đối tượng rộng lớn hơn.

Tại sao Model Card lại quan trọng#

Model card giúp các nhóm đưa ra quyết định sáng suốt trước khi áp dụng hoặc triển khai một model. Một metric tiêu đề ấn tượng có thể che giấu hiệu năng yếu kém trên các class hiếm, môi trường bất thường hoặc các nhóm người dùng cụ thể. Bằng cách tài liệu hóa tập dữ liệu đánh giá, điều kiện kiểm thử và kết quả theo từng nhóm, một card cung cấp cho người đọc bối cảnh cần thiết để giải thích các con số đó.

Chúng cũng hỗ trợ công tác quản trị và trách nhiệm giải trình. NIST AI Risk Management Framework nhấn mạnh việc quản lý tính đáng tin cậy trong toàn bộ vòng đời AI, trong khi OECD transparency and explainability principle kêu gọi cung cấp thông tin ý nghĩa về khả năng và hạn chế của AI. Model card cung cấp một công cụ thực tế cho các mục tiêu này.

Trong tổ chức, các card cải thiện quá trình bàn giao giữa các data scientist, nhóm sản phẩm, người đánh giá tuân thủ và operations engineer. Các hệ thống như IBM AI Factsheets mở rộng phương pháp này bằng cách thu thập metadata của model trong suốt quá trình phát triển, phê duyệt, triển khai và giám sát.

Tài liệu liên quan và các điểm khác biệt chính#

Một số tài liệu liên quan phục vụ các mục đích khác nhau:

• Data cards: Mô tả nguồn gốc, thành phần, quá trình thu thập, điều kiện truy cập, mục đích sử dụng và các giới hạn của một tập dữ liệu. Một model card tập trung vào model đã được huấn luyện, mặc dù nó nên tham chiếu đến tài liệu tập dữ liệu có liên quan.
• Model registry: Lưu trữ và quản lý các artifact, phiên bản, lineage và trạng thái triển khai của model. Quy trình MLflow Model Registry workflow minh họa vai trò vận hành này. Một model card truyền đạt ý nghĩa và rủi ro; một registry quản lý các tài sản model. Cả hai có thể được liên kết với nhau.
• System card: Tài liệu hóa toàn bộ một hệ thống AI, có khả năng bao gồm nhiều model, các câu lệnh prompt, thành phần truy xuất, cơ chế bảo vệ, giao diện và các quy trình có sự tham gia của con người. Một model card có phạm vi hẹp hơn ở cấp độ model.
• Explainability report: Kiểm tra lý do tại sao một model tạo ra các đầu ra cụ thể. Một model card tóm tắt hành vi tổng thể và các giới hạn nhưng không thay thế cho các giải thích ở cấp độ dự đoán.

Các ứng dụng trong thực tế#

• Kiểm tra trực quan trong sản xuất: Một nhà máy có thể triển khai một computer vision model để defect detection. Model card của hệ thống đó có thể liệt kê các class lỗi được hỗ trợ, vị trí camera, giả định về ánh sáng, hiệu năng đối với các lỗi hiếm gặp, kích thước đối tượng tối thiểu và độ trễ trên edge-device. Nếu các vết xước thường bị bỏ sót dưới ánh sáng phản chiếu, việc ghi lại hạn chế đó sẽ giúp người vận hành yêu cầu xem xét thủ công hoặc thu thập thêm hình ảnh huấn luyện.

• Hỗ trợ hình ảnh y tế: Card của một model hình ảnh y tế có thể xác định các loại scan, thiết bị, quần thể bệnh nhân và cơ sở đại diện trong quá trình đánh giá. Card có thể báo cáo hiệu năng của nhóm phụ và làm rõ rằng các đầu ra hỗ trợ các bác sĩ có chuyên môn chứ không tự đưa ra chẩn đoán một cách độc lập. Việc thiếu bối cảnh này có thể khiến bệnh viện sử dụng model trên thiết bị hoặc đối tượng không được hỗ trợ, làm tăng nguy cơ đưa ra các khuyến nghị không đáng tin cậy.

Model card cũng thường gặp khi lựa chọn các model của bên thứ ba. Ví dụ, tài liệu Microsoft Foundry model catalog documentation mô tả các card chứa thông tin chi tiết về model, benchmark, các kiểu dữ liệu được hỗ trợ, giấy phép và thông tin triển khai.

Tạo và duy trì một Model Card#

Hãy bắt đầu tạo card ngay trong giai đoạn lập kế hoạch dự án thay vì sau khi triển khai. Ghi lại các minh chứng khi chúng được tạo ra, bao gồm phiên bản tập dữ liệu, cài đặt huấn luyện, điều kiện đánh giá và các quyết định của người đánh giá. Đối với một model object detection Ultralytics YOLO26](https://ultralytics-translation-0.invalid), validation workflow được tài liệu hóa có thể tạo ra các metrics cho phần đánh giá:

from ultralytics import YOLO

# Load the documented model version
model = YOLO("yolo26n.pt")

# Evaluate it on a labeled validation dataset
metrics = model.val(data="coco8.yaml")

# Record these results with the dataset and test conditions
print(f"mAP50-95: {metrics.box.map:.3f}")
print(f"mAP50: {metrics.box.map50:.3f}")
print(f"mAP75: {metrics.box.map75:.3f}")

Các giá trị này chỉ có ý nghĩa khi đi kèm với phiên bản model, tập dữ liệu, tập phân chia split, kích thước hình ảnh image size, phần cứng và cấu hình đánh giá. Các nhóm có thể sử dụng Ultralytics Platform để gán nhãn tập dữ liệu, theo dõi các lượt huấn luyện, triển khai model và giám sát các endpoint trong khi vẫn duy trì các minh chứng cần thiết để cập nhật card.

Một model card phải là một tài liệu có phiên bản và liên tục được cập nhật. Hãy cập nhật tài liệu bất cứ khi nào model, tập dữ liệu, quy trình đánh giá, môi trường triển khai hoặc các giới hạn được biết đến thay đổi. Quan trọng nhất, hãy viết cho những người đang quyết định xem model có nên được sử dụng hay không và sử dụng như thế nào—chứ không chỉ dành riêng cho nhóm đã huấn luyện model đó.