在 Ultralytics Platform 上监控已部署的计算机视觉模型
了解如何使用 Ultralytics Platform 监控已部署的计算机视觉模型。跟踪指标、发现问题并提升可靠性。
测试用于分析图像和视频的计算机视觉模型，与在生产环境中运行这些模型并不总是一回事。在开发过程中，这些模型或算法会在干净、准备充分的数据集上进行测试，测试条件也受到控制且可预测。
部署后，情况会变得更加动态。模型会接触真实世界的流量，请求量可能波动，响应时间可能变化，也可能偶尔发生故障。
在这个阶段，重点转向确保系统可靠运行，并保证端点在条件变化时仍保持可用、响应迅速且稳定。
因此，监控至关重要。它通过请求量、延迟、错误率和整体系统健康状况等指标，让你清楚了解已部署端点在生产环境中的表现。
为了简化这一过程，配备合适的工具与模型本身同样重要。最近，Ultralytics 推出了 Ultralytics Platform，这是一个全新的端到端环境，整合了完整的计算机视觉工作流，涵盖数据、训练、部署和监控。
图 1. Ultralytics Platform 的部署仪表盘及监控功能（来源）
监控功能直接集成在这一工作流中，用户无需依赖独立工具，就能跟踪端点健康状况、检查请求行为并维护可靠的系统。在本文中，我们将介绍如何使用 Ultralytics Platform 监控已部署模型端点，让生产系统保持平稳运行。开始吧！
AI 模型监控概述#
在 AI 模型生命周期中，监控是指观察模型上线并处理真实世界请求后，已部署系统的运行表现。训练和验证会展示机器学习模型（ML 模型）在准备好的数据集上的表现，而监控关注的是已部署端点在生产环境中的运行情况。
监控的一个关键部分是跟踪反映可靠性和响应能力的系统级指标。延迟和正常运行时间等指标有助于判断系统处理传入请求的能力。延迟衡量处理请求并返回响应所需的时间，而正常运行时间则反映端点持续保持可用的情况。
另一个关键方面是可观测性，它能让你了解请求的处理方式。每当图像或视频帧等输入发送到已部署模型时，该输入都会作为推理请求进行处理。
日志会记录这些请求及其时间戳、响应时间和状态码等详细信息。有了这些日志，就能更轻松地追踪请求、调试问题并调查故障。日志对于发现重复错误、响应缓慢或系统行为异常等模式尤其有用。
通过结合指标和日志，监控能帮助用户了解系统在生产环境中的运行状况，并在问题出现时迅速响应。
模型性能指标与系统指标对比#
在深入介绍生产环境监控之前，我们先来讨论模型性能指标和系统指标之间的区别。
通常，模型监控与评估指标相关，也称为模型指标，例如准确率、精确率、召回率和 mAP（平均精度均值）。这些指标用于描述模型行为并评估模型预测的质量，通常会结合生产数据或输入数据进行分析。它们对于识别新数据中的边缘案例或离群点尤其有用。
不过，这与监控生产环境中已部署的系统有所不同。在这种情况下，监控关注的是系统的运行情况，而不是直接评估模型预测结果。
部署监控不依赖模型指标，而是依靠请求量、延迟、错误率和正常运行时间等系统级信号。这些指标能让你了解端点如何处理输入数据、响应是否稳定，以及系统在生产环境中的运行状况。
模型监控在计算机视觉项目中的作用#
接下来，我们来看一个真实案例，了解计算机视觉部署为什么需要监控系统。
设想一个视觉解决方案，它使用姿态估计来监控建筑工人的安全合规情况。姿态估计是一项用于识别和分析人体运动的计算机视觉任务。在模型初次部署时，这类系统可能会在视野清晰、场景常规的受控条件下表现良好。
然而，真实的建筑工地会带来更多复杂因素。请求量可能全天波动，网络状况可能不稳定，而且多个摄像头或端点可能同时发送数据。如果系统没有得到妥善监控，这些因素可能会导致响应变慢或偶尔发生故障。
图 2. 使用姿态估计监控建筑工地上的工人（来源）
在这样的生产环境中，了解系统运行是否可靠就变得十分重要。监控能让你了解端点是否可用、响应传入请求的速度，以及随着时间推移处理流量的稳定性。
例如，延迟增加可能意味着负载加大或资源受限，而错误率上升则可能表明请求处理或系统稳定性存在问题。日志则能提供更多背景信息，展示各个请求的处理过程以及故障发生的位置。
通过跟踪这些信号，AI 爱好者和数据科学家可以及早发现问题、更有效地排查故障，并确保系统在真实条件变化时仍能可靠运行。
使用 Ultralytics Platform 监控已部署的视觉模型#
在许多深度学习工作流中，日志、指标和系统健康状况通常由不同工具分别监控。这种分散的设置会让人难以清楚了解已部署端点在生产环境中的运行情况，也会增加管理部署的复杂度。
Ultralytics Platform 将监控直接集成到统一环境中，从而简化了这一流程。该环境覆盖完整的计算机视觉工作流，从数据摄取和标注到训练、部署和监控。
通过这种集成设置，用户无需配置外部日志系统或额外仪表盘，就能跟踪已部署端点如何处理真实世界的流量。所有功能都集中在一处，让你更轻松地观察系统行为，并长期维持可靠的部署。
你可以直接从部署选项卡访问监控功能。在单个仪表盘中，用户可以跟踪关键指标、分析请求级别的行为并查看趋势。这些内置可视化功能让你无需在不同工具之间切换，就能更轻松地了解解决方案的运行情况。
该平台将监控、部署和模型管理整合到更广泛的工作流中，从而降低了复杂度。这样一来，你就能更顺畅地专注于管理部署、优化系统性能和维持可靠性。
Ultralytics Platform 的内置监控功能#
在真实部署中，监控需要清楚了解系统如何随着时间推移和条件变化而运行。它不仅仅是跟踪几项指标，还包括了解已部署端点在不同环境中的行为，并有效管理多个部署。
Ultralytics Platform 融入了视觉 AI 社区针对常见计算机视觉挑战提出的反馈，并提供了多项功能，让监控变得更加实用且易于扩展。
以下是其中一些关键功能的概述：
- 全局部署概览：部署页面包含一张交互式世界地图，显示各个部署区域，并通过视觉指示标记活跃端点和正在进行的端点，方便用户监控地域分布和各区域的活动情况。
- 灵活的仪表盘视图：部署仪表盘提供多种视图模式，包括卡片视图、紧凑网格视图和表格视图。表格视图支持按名称、区域、状态和请求数等列排序，方便进行结构化监控和比较。
- 监控多个端点：仪表盘通过概览卡片和部署列表汇总所有部署的监控数据。
- 数据保留策略：监控数据会保留一段指定时间，其中指标保留 30 天，日志保留 7 天，便于分析近期性能和排查问题。
- 支持外部监控：你可以使用 Datadog、New Relic 和正常运行时间监控服务等外部工具监控部署端点，也可以通过 API 端点进行自定义监控和健康检查。
接下来，我们将详细介绍其中一些功能，并了解如何使用它们监控已部署到生产环境的端点。
如何使用 Ultralytics Platform 跟踪关键性能指标#
模型部署后，监控工作便从跟踪关键系统指标开始。在开发过程中，准确率和召回率等指标很有用；而生产环境监控则侧重于响应时间和错误率等系统级信号，这些信号能提供可衡量的数据，帮助你了解端点处理实际流量的可靠程度。
Ultralytics Platform 提供集中式仪表盘，让你清晰了解端点活动和系统行为。具体来说，Deployment 仪表盘包含四项关键指标，显示端点的使用情况以及端点对传入请求的响应情况。
下面详细看看这些指标：
- 请求总数：24 小时内所有端点收到的请求总数。这有助于识别使用模式和整体需求。
- 活动部署：当前正在运行并处理请求的端点数量。
- P95 延迟：95% 的请求在此响应时间内完成。通过纳入响应较慢的情况，这项指标能更真实地反映性能。
- 错误率：失败请求占请求总数的百分比。这项指标有助于发现问题，也可用于检测异常。
简而言之，这些指标能让你清楚了解已部署端点在生产环境中的运行情况。通过分析使用模式，团队和个人可以了解流量分布、识别负载高峰时段，并确保系统随着使用量增长仍能保持响应迅速、运行可靠。
通过日志了解模型部署行为#
指标提供了系统性能的宏观视图，而日志则能更详细地展现已部署端点如何处理单个请求。日志会记录发送到端点的每个请求及其对应的响应。
日志有助于跟踪问题、检查故障并了解请求的处理方式。在 Ultralytics Platform 中，你可以选择任意部署来查看其详细信息，包括日志。
图 3. Ultralytics Platform 中的日志示例（来源）
平台会以结构化格式显示日志条目，让你更容易了解每个请求期间发生的情况。每个条目都包含一个严重性级别，用于指示事件的重要程度，还包含显示事件发生时间的时间戳。
日志还包含描述事件的消息，以及状态码和延迟等 HTTP 相关详细信息。这些信息有助于追踪请求、排查故障并更有效地调试问题。此外，日志按严重性分组，方便用户优先处理需要关注的部署。
在 Ultralytics Platform 上分析端点的健康状况和可靠性#
监控还需要了解已部署端点的整体健康状况，包括端点是否正常运行、是否及时响应，以及能否持续无错误地处理请求。Ultralytics Platform 清晰展示每个部署的健康状态，让你可以轻松确认端点是否按预期运行。
平台会在每个部署卡片上显示相应的可视化健康状态指示器。
例如，绿色指示器表示端点运行正常且响应正常，红色指示器则表示存在问题或服务中断。旋转图标表示系统正在主动检查部署状态。
随着时间推移跟踪端点健康状况，有助于及早发现问题、维持稳定的性能，并确保生产环境中运行的应用始终拥有稳定的使用体验。
监控数据与性能改进之间的联系#
模型监控不只是跟踪指标，还能形成反馈闭环，支持持续改进。随着端点处理实际流量，指标和日志中会逐渐显现出一些模式，从中可以发现延迟增加、错误率升高或系统行为不稳定等问题。
监控可以突出显示需要关注的方面。例如，持续偏高的延迟可能意味着需要更好地分配资源或扩展规模，而错误率上升则可能表明请求处理或系统稳定性存在问题。
发现这些问题后，就可以采取措施提升可靠性。这可能包括调整基础设施、扩展资源，或修复请求处理方式中的问题。完成这些更改后，可以继续监控系统，以确认性能是否有所改善。
将监控与持续改进结合起来，用户就能在使用量增长、运行条件变化时维持系统的稳健性。
真实案例解析：航空行李处理监控#
为了更好地了解监控在真实场景中的作用，我们来看看它如何应用于航空地面作业自动化。
设想一个用于监控飞机地面作业期间行李装卸过程的视觉系统。在这种场景中，可以使用类似 Ultralytics YOLO26 的目标检测模型，检测行李是否从传送带或搬运设备上掉落。
在测试和早期部署阶段，实时系统可能表现良好，能够准确识别行李并快速响应。
然而，在实际机场环境中，情况远没有这么可预测。光线会随一天中的时间变化，多台摄像头会同时传输数据，繁忙时段的请求量也会激增。这些因素可能导致延迟上升或出现错误；如果无法查看系统运行情况，这些问题很容易被忽视。
这正是监控发挥作用的地方。通过跟踪请求量、延迟和错误率等指标，并结合详细日志，团队可以快速发现端点何时变慢或发生故障。如果高峰时段延迟升高，可能意味着需要扩展资源；如果错误突然增多，则可能是特定摄像头或请求处理出现了问题。根据这些信号采取行动，有助于保持系统可靠，确保即使运行条件发生变化，行李处理过程仍能得到准确监控。
要点#
计算机视觉模型部署后，一旦脱离受控的开发环境并开始处理实际流量，就需要监控来维持其可靠性。监控关注请求量、延迟、错误率和正常运行时间等系统级信号，并结合详细日志，提供及早发现问题所需的可视性，确保生产系统平稳运行。
Ultralytics Platform 将监控直接集成到部署工作流中，让你更轻松地跟踪端点健康状况、检查请求行为，并在无需依赖独立工具的情况下维持系统可靠性。平台将数据、训练、部署和监控整合在一处，帮助团队从实验走向可靠的实际部署。
加入不断壮大的社区，访问我们的 GitHub 仓库，进一步了解视觉 AI。想要立即开始构建视觉 AI 项目，请查看我们的许可选项。访问我们的解决方案页面，了解制造业 AI和医疗保健 AI如何塑造未来。
