Ultralytics Platform：将计算机视觉模型部署到任意区域

本周早些时候，Ultralytics 推出了 Ultralytics Platform，这是一个全流程环境，旨在通过简化视觉 AI 工作流的各个阶段（从数据准备和模型开发到部署），加快计算机视觉 (CV) 系统的交付。

Ultralytics Platform 的一个主要开发动机是，将计算机视觉解决方案从构想转化为现实影响，所需的不只是构建一个强大的模型。模型训练完成并通过验证后，还必须部署模型，让应用能够发送图像、接收预测结果，并在真实环境中可靠地运行推理。

在机器学习生命周期的这个阶段，计算机视觉模型会走出实验环境，开始为实际系统提供支持。即使数据集准备、标注、模型训练和测试等前期步骤进展顺利，如果没有可靠的模型部署方式，这些成果也无法发挥作用。

许多计算机视觉项目的实际情况是，部署可能是工作流中最复杂的步骤之一。

团队通常需要配置推理 API、管理计算资源、将模型部署到靠近用户的位置以降低延迟，并在系统投入生产后监控其性能。

Ultralytics Platform 通过提供多种部署选项来简化并自动化这一流程，包括模型导出格式、共享推理服务，以及覆盖全球多个区域的专用端点。借助托管基础设施和内置监控，团队可以轻松地将训练好的模型转化为可投入生产的计算机视觉系统。

图 1. 使用 Ultralytics Platform 部署模型一览（来源）

本文将介绍如何使用 Ultralytics Platform 上的专用端点，将计算机视觉模型部署到任意区域。

什么是计算机视觉模型部署？#

在深入了解如何使用 Ultralytics Platform 部署深度学习模型之前，我们先来更全面地了解计算机视觉模型部署的实际含义。

计算机视觉模型部署是将训练好的模型投入实际使用的过程。模型不再只在训练环境中运行，而是经过配置，让应用能够向其发送图像或视频并接收预测结果。

例如，模型可以检测图像中的对象、执行图像分割、识别仓库中的物品，或识别视频片段中的模式。在大多数真实系统中，这些操作通过 API 或推理端点完成。

应用向模型发送图像，模型对其进行处理，并在几毫秒内返回预测结果。正因如此，Ultralytics YOLO 等计算机视觉模型才能支持实时应用。

根据用例不同，模型可以部署在不同环境中。有些模型运行在云端（通过云平台），可供许多应用访问；另一些则运行在边缘设备上，例如需要快速本地预测的本地摄像头、机器人或嵌入式系统。

Ultralytics Platform 上的 AI 模型部署选项#

Ultralytics Platform 解决了计算机视觉社区在模型部署时面临的许多挑战，并提供了灵活的推理方式，以满足应用的不同需求。

以下简要介绍平台提供的模型部署选项：

• 模型导出：你可以将模型导出为 22 种不同格式，包括 ONNX、TensorRT、CoreML 和 TFLite，从而在各种环境中运行模型，例如 Raspberry Pi 和 NVIDIA Jetson 等边缘设备、移动应用、Docker 容器以及自定义基础设施。
• 共享推理：平台让你可以通过托管的共享推理服务运行预测，非常适合快速测试模型。
• 专用端点：轻松将模型部署为独立服务，每个服务都具有唯一的 API URL，可在全球 42 个地区运行，并支持缩容至零、监控和运行状况检查，满足生产部署需求。

使用专用端点进行部署#

在 Ultralytics Platform 上将预训练模型或自定义训练的计算机视觉模型投入生产，最具可扩展性的方式之一就是使用专用端点。专用端点可将训练好的模型部署为独立服务，让应用能够向其发送图像并通过 API 获取预测结果。

如果模型只在训练环境或本地笔记本中运行，它的用途就会受限；将模型部署为端点后，实际应用便能访问它。例如，仓库系统可以发送包裹图像进行目标检测，智能摄像头可以分析视频帧，机器人系统也可以使用预测结果来指导操作。

每个专用端点都以单租户服务的形式运行，这意味着运行模型的基础设施不会与其他用户共享。这样可以提供更可预测的性能，也更容易监控模型在生产环境中的行为。

了解专用推理端点的功能#

你可以把专用端点看作托管模型的服务。Ultralytics Platform 会提供一个唯一的端点 URL，作为应用的入口。

应用向该 URL 发送请求时，会附上图像以及置信度阈值或图像尺寸等可选参数，并提供用于身份验证的 API 密钥。

该服务会使用你的模型对图像进行推理，并以结构化响应的形式返回预测结果。通过这种设置，开发者可以使用标准 Web 工具将计算机视觉模型集成到实际系统中。

应用可以使用 Python、JavaScript、cURL 或其他 HTTP 客户端发送请求，因此很容易将模型连接到仪表板、机器人系统或云应用。由于端点独立运行，它还支持扩缩、监控和全球部署，帮助团队构建可靠的生产级计算机视觉系统。

多区域部署可提升实时推理性能#

Ultralytics Platform 专用端点的一项重要优势，是能够将模型部署到全球 42 个地区。这些地区分布在世界多个区域，包括北美、南美、欧洲、亚太地区，以及中东和非洲。

图 2. Ultralytics Platform 支持全球 42 个地区（来源）

将模型部署在更靠近应用运行地点的区域，有助于降低延迟，也就是应用发送图像并接收预测结果所需的时间。这还有助于组织满足数据隐私和数据驻留要求，方法是将数据处理安排在更靠近数据来源的地方。

许多依赖实时推理的计算机视觉应用都需要低延迟，例如机器人系统、物联网 (IoT) 设备、工业检测流水线和智慧城市基础设施。

例如，如果某个应用主要在欧洲使用，那么与在遥远的区域运行模型相比，在欧洲区域部署模型可以显著缩短响应时间。

如何使用 Ultralytics Platform 部署到任意区域#

将模型部署到特定区域很简单，通常只需几分钟。平台会处理基础设施设置，让开发者专注于将模型集成到应用中。下面我们来看看具体步骤。

第 1 步：训练或上传模型#

部署前，你需要在项目中准备一个已训练的模型。该模型可以直接在 Ultralytics Platform 上训练，也可以是在其他地方训练后上传的模型，或者是从社区项目克隆的模型。你可以在“探索选项卡”中找到其他用户分享的公开项目，只需点击一次即可将项目复制到自己的账户。

模型准备就绪后，在项目中打开模型页面以继续操作。

第 2 步：打开 Deploy 选项卡#

导航到模型的 Deploy 选项卡。你可以在平台的此页面配置并启动部署。

在该页面上，你会看到区域表格和交互式地图，其中显示了全球可用的部署位置。平台会测量从你所在位置到各区域的延迟，并据此对区域排序，帮助你选择最合适的区域。

图 3. Ultralytics Platform 上按延迟排序的区域（来源）

第 3 步：选择部署区域#

根据用户或应用所在的位置选择区域。在靠近请求来源的区域部署模型，可以显著缩短响应时间。

第 4 步：部署端点#

选择区域并确认配置后，你可以点击 Deploy。

随后，平台会准备部署环境、拉取模型镜像、启动服务，并执行运行状况检查以确保端点已就绪。此过程通常需要一到两分钟。

部署完成后，平台会生成一个唯一的端点 URL，供应用发送推理请求。

图 4. 已部署端点示例（来源）

第 5 步：开始发送推理请求#

端点运行后，应用便可以使用提供的 REST API 端点向模型发送图像，并在 Authorization 标头中传入 API 密钥。端点会处理每个请求并返回预测结果，例如检测到的对象、边界框或其他特定任务的输出。

有关模型部署的更多详情，请查看官方的 Ultralytics Platform 文档。

监控已部署端点的模型性能和指标#

计算机视觉模型部署后，监控模型性能是维持系统可靠性和稳健性的重要环节。即使是训练良好的模型，也需要在生产环境中受到监控，以确保它持续快速响应、妥善处理传入请求并提供准确的预测结果。

Ultralytics Platform 提供内置监控工具，让团队了解已部署端点的运行表现。平台的 Deploy 页面可作为监控仪表板，集中展示所有正在运行的端点及关键指标，帮助跟踪系统运行状况和使用情况。

以下是你可以使用 Platform 监控的一些指标：

• P95 延迟：该指标衡量推理请求在服务器端响应时间的第 95 百分位数。它可以帮助你了解大多数推理请求所需的时间，并发现性能变慢的情况。
• 错误率：该指标表示在选定的监控时间窗口内失败或返回错误的请求所占比例。监控错误率可以帮助团队快速发现部署或传入请求中的问题。
• 请求总数：该指标显示在选定时间段内（例如过去 24 小时）所有已部署端点处理的推理请求总数。它有助于团队了解流量水平，以及模型的使用频率。

除了这些指标外，平台还提供端点运行状况检查和部署日志。运行状况检查会显示端点是否正确响应，日志则提供近期请求和系统活动的详细信息。

要点#

部署计算机视觉模型，是将训练好的模型转化为驱动现实应用的系统的关键一步。使用 Ultralytics Platform，团队可以通过专用端点轻松地在全球 42 个地区部署模型，通过 API 运行实时推理，并在同一环境中监控性能。该平台结合灵活的部署选项、内置监控和可扩展基础设施，帮助开发者更快地将训练好的机器学习模型转变为可靠的计算机视觉应用。

加入我们不断壮大的社区吧！欢迎访问我们的 GitHub 代码库，深入了解 AI。如果你想构建计算机视觉解决方案，请查看我们的许可选项。探索计算机视觉在医疗保健领域的应用，了解 AI 如何改变物流！