Model Monitoring

模型监控是指持续测量已部署机器学习模型的输入、输出、性能和服务健康状况，并在任何一项指标超出预期范围时发出警报。模型故障通常悄无声息：相机移动、镜头变脏或产品重新设计后，检测器仍会返回置信度看似合理的检测框，只有准确率发生变化。监控会将线上行为与参考数据进行比较，通常是模型获批时使用的验证数据，让团队通过仪表板而非用户反馈发现数据漂移和准确率下降。监控在模型部署后闭合机器学习运维（MLOps）闭环，并判断模型何时需要重新训练。

监控内容#

生产环境监控通常涵盖四个层面：

• 推理延迟与服务健康状况： 请求速率、错误率、p95 和 p99 延迟，以及 GPU 内存和利用率；通常使用 Prometheus 收集，并在 Grafana 中绘图。
• 输入数据： 模式违规、缺失值，以及特征或图像统计数据的变化，例如亮度、分辨率或目标尺寸。
• 预测置信度与输出分布： 类别分布、每张图像的检测数和置信度分数。这里出现的变化称为预测漂移，是标签尚未产生前的一种早期预警信号。
• 模型性能： 在真实标签到达后计算准确率、精确率、召回率或 mAP。欺诈标签可能要几周后才会以拒付的形式出现；视觉团队则会手动标注一部分生产图像。

Ultralytics Platform在专用端点中集成了预测层：监控选项卡会绘制已部署 YOLO 模型的置信度分布、平均置信度随时间的变化、热门类别和每张图像的预测数量；你可以将近期图像及其预测结果保存到数据集中，以便审核和重新训练。模型监控与维护指南以及 Ultralytics Academy 的课程可观测性与漂移会演示如何检查 YOLO 部署中的漂移。

大多数模型衰退由两类变化导致。数据漂移（也称协变量偏移）会改变输入，例如制造业生产线上的检测相机位置发生变化或照明条件改变。概念漂移则会改变输入与正确答案之间的关系，例如欺诈者改变作案手法，曾经正常的交易变成欺诈交易。输入统计数据可以直接揭示数据漂移；只有标签到达并体现在性能指标中，才能发现概念漂移。这两者都是计算机视觉模型在生产环境中失效的最常见原因。

检测漂移#

一种常见的漂移检查方法是使用双样本柯尔莫戈洛夫-斯米尔诺夫检验，比较线上统计量与参考统计量的分布。该检验会测量两个累积分布之间的最大差距。以下脚本将其应用于模拟的检测置信度：一个来自验证集的参考样本、一个与参考分布匹配的生产周样本，以及一个分布偏低的周样本：

import numpy as np
from scipy.stats import ks_2samp

rng = np.random.default_rng(0)

# Detection confidences logged at validation time form the reference distribution
reference = rng.beta(8, 2, size=2000)

# Two simulated production windows: one like the reference, one shifted lower
windows = {"week 1": rng.beta(8, 2, size=500), "week 2": rng.beta(5, 3, size=500)}

for name, live in windows.items():
    # Two-sample Kolmogorov-Smirnov test: do both samples come from one distribution?
    result = ks_2samp(reference, live)
    drift = result.pvalue < 0.01
    print(f"{name}: mean {live.mean():.2f}, KS {result.statistic:.3f}, p {result.pvalue:.1e}, drift {drift}")

第 1 周通过检查，KS 统计量为 0.037，p = 0.64。第 2 周的平均置信度从第 1 周的 0.80 降至 0.63，KS 统计量为 0.456、p = 1.2e-75，表明出现了漂移。样本数达到数千时，即使无害的变化也会达到统计显著性，因此生产环境的检查通常会在 KS 统计量或总体稳定性指数（PSI）超过固定阈值时发出警报。Evidently和 NannyML 等开源库会将这些检验整合成漂移报告；NannyML 还会根据经过校准的置信度分数，在没有标签的情况下估算分类器的准确率。Amazon SageMaker Model Monitor 和 Vertex AI Model Monitoring 也提供相同的托管检查服务。随后，警报会启动调查：

监控、可观测性与评估的区别#

• 可观测性： 用于解释警报为何触发的日志、追踪记录和存储的输入数据。监控会运行预先定义的检查，许多供应商会将二者作为机器学习可观测性套件一起销售。
• 模型评估： 在模型发布前，使用留出的测试集为模型评分。只要模型仍在提供服务，监控就会在实际流量上重复这项测量。
• 实验跟踪： 在开发期间记录训练运行，此时还没有任何生产数据。