服务模式

模型服务是让训练有素的机器学习（ML）模型在生产环境中接收输入数据并返回预测结果的过程。一旦模型经过训练和验证，模型服务就是将其从静态文件转变为可支持实际应用的主动操作工具的关键步骤。它包括将模型部署到服务器上，并创建一个接口（通常是API），允许其他软件系统与之通信，以进行实时推理。

虽然模型服务与模型部署密切相关，但模型服务是更广泛的模型部署过程中的一个特定组成部分。部署包括将模型集成到生产环境中的整个工作流程，包括基础设施的设置和监控。模型服务特指基础设施中负责运行模型和高效处理推理请求的部分。

示范服务的主要组成部分

一个强大的模型服务系统由多个集成组件组成，这些组件协同工作，提供快速可靠的预测。

• 模型格式：在提供服务之前，必须将模型打包成标准化格式。ONNX等格式可确保不同框架之间的互操作性。为实现最高性能，可使用英伟达™（NVIDIA®）GPU 的TensorRT等工具对模型进行优化。
• 服务框架：加载模型、管理GPU 等硬件资源和处理推理请求的专用软件。流行的框架包括TensorFlow Serving、PyTorch Serve 和高性能的英伟达 Triton Inference Server，可通过我们的Triton 集成指南与 Ultralytics 模型一起使用。
• API 端点：这是允许客户端应用程序发送数据（如图像或文本）并接收模型预测结果的通信网关。REST和 gRPC 是常用的 API 协议。
• 基础设施：模型运行的物理或虚拟硬件。范围从内部服务器到云计算平台，如亚马逊 SageMaker和谷歌云人工智能平台。对于要求低延迟的应用，模型通常在边缘人工智能设备上运行。使用Docker等工具进行容器化对于创建可移植、可扩展的服务环境至关重要。
• 监控和日志：持续跟踪模型性能和系统健康状况。这包括监控推理延迟和吞吐量等指标，以及观察数据漂移等问题，数据漂移会随着时间的推移降低模型的准确性。您可以在我们的模型监控指南中了解更多信息。

实际应用

模型服务是无数人工智能功能背后的引擎。

1. 人工智能驱动的库存管理：一家零售公司使用Ultralytics YOLO11模型进行实时库存管理。该模型以ONNX格式打包，并在店内的小型边缘计算机上提供服务。摄像头将视频信号发送到服务端点，服务端点执行物体检测，对货架上的商品进行清点，并在库存不足时发出警报。
2. 云端医学图像分析：某医院系统部署了一个用于医学图像分析的复杂计算机视觉模型。由于模型规模大，计算需求高，因此将其部署在一个配备多个 GPU 的强大云服务器上。放射科医生通过一个安全门户网站上传高分辨率扫描图像，该门户网站会调用服务 API。该模型返回的预测结果有助于识别潜在的异常情况，从而提高诊断速度和准确性。

MLOps 的作用

模型服务是机器学习运营（MLOps）的基石。良好的 MLOps 战略可确保整个生命周期（从数据预处理和模型训练到服务和监控）的自动化、可靠性和可扩展性。Ultralytics HUB等平台旨在简化整个工作流程，为计算机视觉模型的有效训练、版本和服务提供集成解决方案。