服务模式

模范服务的重要性

模型服务是实现 ML 模型可操作性的基础。没有它，即使是最精确的模型，如最先进的 Ultralytics YOLO对象检测器等最精确的模型也会被隔离在开发环境中，无法对现实世界的流程产生影响。有效的模型服务可确保在训练过程中开发的洞察力和自动化能力能够被访问和使用。它可以实现实时推理，使应用程序能够动态响应新数据，这对于从视频中的物体检测到聊天机器人中的自然语言处理（NLP）等任务至关重要。最终，模型服务对于实现人工智能计划的投资回报（ROI）至关重要。

模型服务与模型部署

虽然模型服务经常被交替使用，但从技术上讲，模型服务是更广泛的模型部署过程中的一个特定组成部分。模型部署包括将训练有素的模型在实时生产环境中运行所需的所有步骤，包括打包、基础设施设置、集成和监控。模型服务专门关注托管模型和处理传入预测请求的基础设施和软件层，通常通过REST或gRPC 等网络协议将模型的功能作为服务提供。查看我们的模型部署选项指南，了解更多详情。

实际应用

通过模型服务，我们每天都能使用无数人工智能驱动的功能。这里有两个例子：

• 电子商务平台： 推荐系统根据用户的浏览历史和偏好，实时向用户提供个性化的产品建议。模型服务基础设施可处理数百万个请求，确保低推理延迟。
• 医疗诊断：在医学图像分析中，通过安全端点提供训练有素的模型以检测异常（如扫描中的肿瘤，请参阅使用YOLO11 检测肿瘤）。临床医生可以快速高效地上传图像并获得诊断帮助（放射学：人工智能）。

示范服务的关键要素

实施一个强大的模型服务系统需要多个组成部分共同协作：

• 模型格式：模型需要以适合服务的格式打包，例如 ONNX等工具进行优化 TensorRT等工具进行优化，以提高在NVIDIA ）图形处理器等特定硬件上的性能。
• 服务框架：专业软件处理加载模型、管理资源和高效处理推理请求。例如TensorFlow Serving、TorchServe 和NVIDIA Triton Inference Server，Ultralytics 模型与这些软件集成Triton 集成指南）。
• API 端点：允许客户端应用程序发送数据和接收预测的接口（如 REST、gRPC）。这通常由API 网关管理，以确保安全、速率限制和路由选择。
• 基础设施：提供模型的底层硬件和环境，可以是亚马逊 SageMaker Google 人工智能平台（Vertex AI）等云计算平台、内部服务器或边缘计算设备（在边缘人工智能设备上部署）。Docker等容器化工具通常用于打包（Docker Quickstart）。
• 监控和日志：用于跟踪性能指标（延迟、吞吐量、错误率）、资源利用率以及数据漂移等潜在问题的工具（《模型监控指南》）。

Ultralytics HUB等平台旨在简化整个工作流程，为计算机视觉模型的训练、版本化、部署和服务提供集成解决方案，并与MLOps（机器学习运营）最佳实践保持一致。主要考虑因素包括处理负载变化的可扩展性、安全性（数据安全性）和可维护性。