Model Serving

模型服务是将训练好的机器学习模型托管并通过网络接口向软件应用程序提供其功能的过程。它充当保存在磁盘上的静态模型文件与处理真实世界数据的实时系统之间的桥梁。一旦模型完成 机器学习 (ML) 训练阶段，它就必须被集成到一个生产环境中，以便接收输入（例如图像、文本或表格数据）并返回预测结果。这通常通过将模型封装在 应用程序编程接口 (API) 中来实现，从而允许它与网络服务器、移动应用或物联网设备进行通信。

模型服务在 AI 中的作用#

模型服务的主要目标是有效地将 预测建模 功能投入运营。虽然训练侧重于准确率和损失最小化，但服务侧重于性能指标，如 延迟（返回预测的速度）和 吞吐量（每秒可以处理多少请求）。健壮的服务基础设施可确保 计算机视觉 (CV) 系统在重负载下保持可靠。它通常涉及使用 Docker 等工具的 容器化 技术，该技术将模型及其依赖项打包在一起，以确保在不同的计算环境中具有一致的行为。

实际应用#

通过实现基于数据的即时决策，模型服务为各行各业的普及型 AI 功能提供了动力。

• 智能制造： 在工业环境中，制造业人工智能 系统使用托管模型来检查装配线。零部件的高分辨率图像被发送到本地服务器，其中一个 YOLO26 模型会检测划痕或错位等缺陷，并触发即时警报以移除有缺陷的物品。
• 零售自动化： 零售商利用 零售人工智能 来增强客户体验。由 目标检测 模型服务的摄像头可以识别结账区的产品，自动计算总费用，而无需手动扫描条形码。

实际实施#

为了有效地提供模型服务，通常有必要将 模型导出 到诸如 ONNX 等标准化格式，这促进了不同训练框架和推理引擎之间的互操作性。以下示例演示了如何加载模型并运行推理，从而使用 Python 模拟存在于服务终结点内部的逻辑。

from ultralytics import YOLO

# Load the YOLO26 model (this typically happens once when the server starts)
model = YOLO("yolo26n.pt")

# Simulate an incoming API request with an image source URL
image_source = "https://ultralytics.com/images/bus.jpg"

# Run inference to generate predictions for the user
results = model.predict(source=image_source)

# Process results (e.g., simulating a JSON response to a client)
print(f"Detected {len(results[0].boxes)} objects in the image.")

选择正确的策略#

服务策略的选择很大程度上取决于具体的用例。在线服务通过 REST 或 gRPC 等协议提供即时响应，这对于面向用户的 Web 应用程序至关重要。相反，批量服务会离线处理大量数据，适用于夜间生成报告等任务。对于需要隐私或低延迟且不依赖互联网的应用程序，边缘 AI 将服务过程直接移至设备上，利用诸如 TensorRT 等优化格式来最大化受限硬件上的性能。许多组织利用 Ultralytics Platform 来简化这些模型向各种终结点的部署，包括云 API 和边缘设备。

与相关术语的区别#

虽然密切相关，“模型服务”与 模型部署 和 推理 是不同的。

• 模型部署： 这是指将模型发布到生产环境中的更广泛的生命周期阶段。服务是用于执行已部署模型的特定机制或软件（如 NVIDIA Triton Inference Server 或 TorchServe）。
• 推理： 这是根据输入计算预测结果的数学行为。模型服务提供了基础设施（网络、可扩展性和安全性），使 推理 能够为最终用户可靠地发生。
• 微服务： 服务通常被架构为一组 微服务，其中模型作为一个独立的服务运行，应用程序的其他部分可以对其进行查询，通常以 JSON 等轻量级格式交换数据。