Model Card
模型卡用于记录已训练模型的预期用途、训练数据、评估结果和局限。这种格式由 Google 研究人员于 2018 年提出。
模型卡是随训练完成的机器学习模型一同发布的简短文档,记录模型的用途、训练和评估方式、在不同群体和条件下的表现,以及模型失效的情形。Google 的 Margaret Mitchell、Timnit Gebru 及其同事在 2018 年提出了这一格式,并在 FAT* 2019 会议上发表了论文 Model Cards for Model Reporting。如今,模型卡已成为AI 透明度的标准做法:Hugging Face上的模型仓库会将模型卡作为首页,AI 实验室也会为主要版本发布模型卡,例如 Anthropic 于 2024 年发布的 Claude 3 模型卡。
模型卡包含哪些内容#
原始论文提出了九个部分:
- 模型详情:开发者、版本、日期、架构、许可证,以及问题反馈渠道。
- 预期用途:模型的主要用途和目标用户,以及不在适用范围内的用途。
- 影响因素:可能改变模型表现的群体、设备和环境,例如年龄组、相机类型或照明条件。
- 指标:报告了哪些性能指标、使用了哪些决策阈值,以及选择这些指标和阈值的原因。
- 评估数据:用于测试的数据集及其选择原因。
- 训练数据:模型学习所用的数据,并尽可能详细地说明可公开的信息。
- 定量分析:按各个影响因素分别报告结果,并分析因素之间的组合情况。
- 伦理考量:敏感数据、对人的潜在风险以及采取的缓解措施。
- 注意事项与建议:已知的不足之处,例如从未测试过的条件。
定量分析是这一理念的核心。单一的总分会掩盖集中在某个子群体中的问题,因此论文中一个使用 CelebA 人脸数据集训练的微笑检测器示例模型卡,会分别按年龄和性别报告错误率;这种分组评估能揭示算法偏差和数据集偏差。对于目标检测模型,同一部分会按类别和条件报告平均精度均值 (mAP),例如小目标、夜间图像或各台相机的结果,同时还会报告目标硬件上的推理延迟。
Hugging Face 上的模型卡#
在 Hugging Face Hub 上,模型卡是仓库的 README.md:它由面向用户的 Markdown 部分和 YAML 元数据头组成,Hub 会解析元数据以按任务、许可证和数据集筛选模型,并展示评估结果。huggingface_hub 库会根据结构化数据生成这两部分:
from huggingface_hub import EvalResult, ModelCard, ModelCardData
from torchvision.models import ResNet50_Weights
# Torchvision 会随每组权重附带已发布的 ImageNet 准确率
weights = ResNet50_Weights.IMAGENET1K_V2
top1 = weights.meta["_metrics"]["ImageNet-1K"]["acc@1"]
# 机器可读元数据:库、训练数据和评估结果
result = EvalResult(
task_type="image-classification",
dataset_type="imagenet-1k",
dataset_name="ImageNet-1K",
metric_type="accuracy",
metric_value=top1,
)
card_data = ModelCardData(
model_name="resnet50", library_name="torchvision", datasets=["imagenet-1k"], eval_results=[result]
)
# 填充默认模板:YAML 头部后接 Markdown 部分
card = ModelCard.from_template(card_data, model_summary="ResNet-50 image classifier trained on ImageNet-1K.")
print(card.data.to_yaml())
print([line[3:] for line in card.content.splitlines() if line.startswith("## ")])YAML 输出列出训练数据集,并包含一个 model-index 区块,记录 ImageNet-1K 上 80.858% 的 top-1 准确率;Hub 会将其显示为评估结果。第二行会输出模板中的各个部分,从“模型详情”和“用途”,到“偏差、风险与局限”,再到“评估”和“环境影响”。该模板直接承袭了原始论文中的九个部分。
相关文档#
- 数据集说明书:Timnit Gebru 及其同事在 2018 年提出了这种文档,用于记录数据集的收集和标注方式,以及数据集的预期用途。模型卡会链接到训练数据的数据集说明书,而不是重复记录其中的内容。
- 系统卡:描述由多个模型、提示、安全过滤器和人工流程组成的已部署 AI 系统。Meta 于 2022 年引入了这一术语;如今,包括 OpenAI 在内,构建大型语言模型 (LLM)的实验室都会为每个主要模型版本发布系统卡。
- 模型注册表:存储模型文件、版本和沿袭信息,而模型卡则说明每个已注册版本适用于哪些用途。
- 可解释人工智能 (XAI):解释模型为何做出某个具体预测,而模型卡描述模型在整个评估集上的行为。
在某些情况下,法规已将模型卡格式变为一项要求。根据《欧盟人工智能法案》,自 2025 年 8 月 2 日起,通用人工智能模型的提供者必须保留训练和评估的技术文档,并向基于其模型构建应用的开发者提供有关模型能力和局限的信息。欧盟委员会的《通用人工智能实践准则》为此提供了《模型文档表》,其中包含类似模型卡的字段,例如预期用途、训练数据和能耗。模型卡是AI 治理和负责任的 AI整体实践的一部分。
保持模型卡内容更新#
模型卡描述的是某个模型版本,因此模型、数据或部署条件发生变化时,模型卡也需要更新。生产环境中的模型监控可提供相关证据:数据漂移或新的失效模式会成为下一版本模型卡中的注意事项。
模型卡的部分信息也可以随模型文件一同保存。当 Ultralytics YOLO26模型导出为 ONNX或 OpenVINO 等格式时,导出器会嵌入元数据,其中包含训练数据集、作者、导出日期、软件包版本、许可证、任务、输入尺寸和类别名称等说明,因此部署后的副本仍能标明自身信息及其检测对象。










