Model Card

Thẻ model là tài liệu có cấu trúc, giải thích chức năng của một model AI hoặc machine learning, cách model được phát triển và đánh giá, nơi nên sử dụng model, cũng như những hạn chế hoặc rủi ro mà người dùng cần nắm rõ. Thẻ model đóng vai trò như một bảng thông tin thực tiễn dành cho developer, reviewer, đội triển khai và các bên liên quan chịu ảnh hưởng, hỗ trợ tính minh bạch trong AI mà không cần truy cập mã nguồn hoặc thông tin nội bộ của model. Trong ngữ cảnh này, thẻ model không liên quan đến “comp card” của người mẫu thời trang, vốn là một hồ sơ năng lực chuyên nghiệp.

Thẻ Model bao gồm những gì#

Một thẻ model hữu ích kết hợp bằng chứng kỹ thuật với hướng dẫn bằng ngôn ngữ dễ hiểu. Độ chi tiết của thẻ nên tương xứng với mức độ ảnh hưởng của model: một bộ phân loại ảnh thử nghiệm có thể chỉ cần thẻ ngắn, trong khi model tác động đến các quyết định về y tế hoặc tài chính cần tài liệu chi tiết hơn.

Các thành phần thường gặp gồm:

• Mục đích, quyền sở hữu và phiên bản: Xác định model, nhóm chịu trách nhiệm, phiên bản phát hành, tác vụ, đầu vào và đầu ra được hỗ trợ, cùng thông tin liên hệ hoặc bảo trì.
• Dữ liệu huấn luyện và bối cảnh phát triển: Mô tả nguồn dữ liệu, điều kiện thu thập, quy trình gán nhãn, tiền xử lý, kiến trúc model, quy trình huấn luyện và các giả định quan trọng. Có thể tóm tắt dữ liệu nhạy cảm hoặc độc quyền mà không tiết lộ dữ liệu đó.
• Đánh giá và chỉ số hiệu năng: Báo cáo các chỉ số trên những bộ dữ liệu validation hoặc test được xác định rõ. Với bài toán phát hiện đối tượng, các chỉ số này có thể gồm precision, recall, mean average precision, độ trễ suy luận và kết quả theo từng class hoặc các nhóm con dữ liệu có ý nghĩa.
• Mục đích sử dụng và trường hợp loại trừ: Giải thích các ứng dụng phù hợp, điều kiện vận hành dự kiến, yêu cầu giám sát của con người và những tình huống mà model không được thiết kế để xử lý.
• Hạn chế và rủi ro: Ghi lại các dạng lỗi đã biết, độ bất định, vấn đề quyền riêng tư, cân nhắc bảo mật và nguy cơ thiên lệch dữ liệu. Tài liệu cũng cần nêu những hệ quả có thể xảy ra khi dự đoán sai.

Tài liệu Model Cards của Amazon SageMaker đưa ra ví dụ về hồ sơ vòng đời có cấu trúc, bao quát mục đích sử dụng, thông tin huấn luyện, đánh giá, xếp hạng rủi ro và khuyến nghị. Các bộ sưu tập công khai như thẻ model của Google DeepMind cho thấy cách thẻ model truyền đạt năng lực, đánh giá an toàn và hạn chế đến đông đảo đối tượng hơn.

Vì sao thẻ Model quan trọng#

Thẻ model giúp các nhóm đưa ra quyết định sáng suốt trước khi áp dụng hoặc triển khai model. Một chỉ số tổng quan ấn tượng có thể che khuất hiệu năng yếu trên các class hiếm, môi trường bất thường hoặc một số nhóm người dùng cụ thể. Bằng cách ghi lại bộ dữ liệu đánh giá, điều kiện test và kết quả theo từng nhóm, thẻ model cung cấp cho người đọc bối cảnh cần thiết để diễn giải các con số đó.

Thẻ model cũng hỗ trợ quản trị và trách nhiệm giải trình. Khung quản lý rủi ro AI của NIST nhấn mạnh việc quản lý độ tin cậy trong suốt vòng đời AI, còn nguyên tắc minh bạch và khả năng giải thích của OECD kêu gọi cung cấp thông tin có ý nghĩa về năng lực và hạn chế của AI. Thẻ model là một tài liệu thực tiễn phục vụ các mục tiêu này.

Trong tổ chức, thẻ model cải thiện việc bàn giao giữa nhà khoa học dữ liệu, nhóm sản phẩm, reviewer tuân thủ và kỹ sư vận hành. Các hệ thống như IBM AI Factsheets mở rộng cách tiếp cận này bằng cách thu thập metadata của model trong các giai đoạn phát triển, phê duyệt, triển khai và giám sát.

Tài liệu liên quan và những điểm khác biệt chính#

Một số tài liệu liên quan phục vụ các mục đích khác nhau:

• Thẻ dữ liệu: Mô tả nguồn gốc, thành phần, quy trình thu thập, điều kiện truy cập, mục đích sử dụng và hạn chế của một bộ dữ liệu. Thẻ model tập trung vào model đã huấn luyện, dù vẫn cần dẫn chiếu tài liệu liên quan về bộ dữ liệu.
• Registry model: Lưu trữ và quản lý artifact, phiên bản, nguồn gốc và trạng thái triển khai của model. Quy trình làm việc với MLflow Model Registry minh họa vai trò vận hành này. Thẻ model truyền đạt ý nghĩa và rủi ro; registry quản lý tài sản model. Hai thành phần này có thể được kết nối.
• Thẻ hệ thống: Tài liệu hóa toàn bộ một hệ thống AI, có thể bao gồm nhiều model, prompt, thành phần truy xuất, biện pháp bảo vệ, giao diện và quy trình có sự tham gia của con người. Thẻ model có phạm vi hẹp hơn, tập trung ở cấp model.
• Báo cáo khả năng giải thích: Phân tích lý do model tạo ra những đầu ra cụ thể. Thẻ model tóm tắt hành vi tổng thể và các hạn chế nhưng không thay thế phần giải thích cho từng dự đoán.

Ứng dụng thực tế#

• Kiểm tra trực quan trong sản xuất: Nhà máy có thể triển khai model thị giác máy tính để phát hiện lỗi. Thẻ model có thể liệt kê các class lỗi được hỗ trợ, vị trí đặt camera, giả định về ánh sáng, hiệu năng khi phát hiện lỗi hiếm, kích thước đối tượng tối thiểu và độ trễ trên edge device. Nếu model thường bỏ sót vết xước trong điều kiện ánh sáng phản chiếu, việc ghi lại hạn chế này giúp người vận hành yêu cầu kiểm tra thủ công hoặc thu thập thêm ảnh huấn luyện.

• Hỗ trợ chẩn đoán hình ảnh lâm sàng: Thẻ của một model chẩn đoán hình ảnh y tế có thể xác định các loại ảnh chụp, thiết bị, nhóm bệnh nhân và cơ sở y tế được đưa vào quá trình đánh giá. Thẻ có thể báo cáo hiệu năng theo nhóm và làm rõ rằng đầu ra chỉ hỗ trợ bác sĩ đủ chuyên môn, không tự đưa ra chẩn đoán. Thiếu bối cảnh này có thể khiến bệnh viện sử dụng model trên thiết bị hoặc nhóm bệnh nhân không được hỗ trợ, làm tăng nguy cơ nhận khuyến nghị thiếu tin cậy.

Thẻ model cũng được sử dụng khi lựa chọn model của bên thứ ba. Ví dụ: tài liệu danh mục model của Microsoft Foundry mô tả các thẻ bao gồm thông tin chi tiết về model, benchmark, loại dữ liệu được hỗ trợ, giấy phép và thông tin triển khai.

Tạo và duy trì thẻ Model#

Hãy bắt đầu xây dựng thẻ trong giai đoạn lập kế hoạch dự án, thay vì chờ đến sau khi triển khai. Ghi lại bằng chứng ngay khi có, bao gồm phiên bản bộ dữ liệu, thiết lập huấn luyện, điều kiện đánh giá và quyết định của reviewer. Với model phát hiện đối tượng Ultralytics YOLO26, quy trình validation được ghi lại có thể tạo ra các chỉ số cho phần đánh giá:

from ultralytics import YOLO

# Load the documented model version
model = YOLO("yolo26n.pt")

# Evaluate it on a labeled validation dataset
metrics = model.val(data="coco8.yaml")

# Record these results with the dataset and test conditions
print(f"mAP50-95: {metrics.box.map:.3f}")
print(f"mAP50: {metrics.box.map50:.3f}")
print(f"mAP75: {metrics.box.map75:.3f}")

Các giá trị này chỉ có ý nghĩa khi đi kèm phiên bản model, bộ dữ liệu, phân chia dữ liệu, kích thước ảnh, phần cứng và cấu hình đánh giá. Các nhóm có thể dùng Ultralytics Platform để gán nhãn bộ dữ liệu, theo dõi các lần chạy huấn luyện, triển khai model và giám sát endpoint, đồng thời lưu giữ bằng chứng cần thiết để cập nhật thẻ.

Thẻ model nên là tài liệu sống, có quản lý phiên bản. Hãy cập nhật thẻ mỗi khi model, bộ dữ liệu, quy trình đánh giá, môi trường triển khai hoặc các hạn chế đã biết thay đổi. Quan trọng nhất, hãy viết cho những người cần quyết định có nên sử dụng model hay không và sử dụng như thế nào, chứ không chỉ cho nhóm đã huấn luyện model.