Ultralytics Platform：将计算机视觉模型部署到任意区域

本周早些时候，Ultralytics 推出了 Ultralytics Platform，这是一个全新的端到端环境，旨在通过简化视觉 AI 工作流的每个阶段，从数据准备、模型开发到部署，让计算机视觉（CV）系统的交付更加高效。

开发 Ultralytics Platform 的一个重要动机是：要将能够让机器分析图像和视频的计算机视觉解决方案从创意变为实际影响，所涉及的远不只是构建一个强大的模型。模型完成训练并通过验证后，还必须进行部署，以便应用能够发送图像、接收预测结果，并在真实环境中可靠地运行推理。

机器学习生命周期的这一阶段，是计算机视觉模型超越实验并开始为实用系统提供支持的关键环节。即使数据集准备、标注、模型训练和测试等前期步骤进展顺利，如果没有可靠的模型部署方式，这些成果也无法真正发挥作用。

在许多计算机视觉项目中，部署可能是整个工作流中最复杂的步骤之一。

团队通常需要配置推理 API、管理计算资源、将模型部署在靠近用户的位置以降低延迟，并在系统投入生产运行后监控性能。

Ultralytics Platform 通过提供多种部署选项来简化并自动化这一流程，包括模型导出格式、共享推理服务，以及覆盖全球各区域的专用端点。借助托管基础设施和内置监控，团队可以轻松地将训练好的模型转变为可投入生产的计算机视觉系统。

图 1. 使用 Ultralytics Platform 部署模型一览（来源）

本文将探讨如何使用 Ultralytics Platform 上的专用端点，将计算机视觉模型部署到任何区域。让我们开始吧！

什么是 CV 模型部署？#

在深入了解如何使用 Ultralytics Platform 部署深度学习模型之前，我们先更好地了解计算机视觉模型部署究竟意味着什么。

计算机视觉模型部署是将训练好的模型投入真实世界使用的过程。模型不再只运行于训练环境中，而是经过配置，使应用能够向其发送图像或视频并接收预测结果。

例如，模型可以检测图像中的对象、执行图像分割、识别仓库中的物品，或识别视频画面中的模式。在大多数真实系统中，这些操作通过 API 或推理端点完成。

应用向模型发送图像，模型对其进行处理，并在几毫秒内返回预测结果。这正是 Ultralytics YOLO 等计算机视觉模型能够支持实时应用的原因。

模型可以根据使用场景部署在不同环境中。有些模型运行在云端（通过云平台），可供多个应用访问；另一些则运行在边缘设备上，例如需要快速本地预测的本地摄像头、机器人或嵌入式系统。

Ultralytics Platform 上的 AI 模型部署选项#

Ultralytics Platform 解决了计算机视觉社区面临的许多挑战，尤其是在模型部署方面，同时还根据应用需求提供了灵活的推理运行方式。

下面快速了解该平台提供的模型部署选项：

• 模型导出：你可以将模型导出为 17 种不同格式，包括 ONNX、TensorRT、CoreML 和 TFLite，从而能够在各种环境中运行模型，例如 Raspberry Pi 和 NVIDIA Jetson 等边缘设备、移动应用、Docker 容器以及自定义基础设施。
• 共享推理： 该平台允许你通过托管的共享推理服务运行预测，非常适合快速测试模型。
• 专用端点：你可以轻松地将模型部署为独立服务，并通过唯一的 API URL 在全球 43 个区域运行，同时获得内置的自动扩缩容、监控和健康检查功能，以支持生产部署。

使用专用端点进行部署#

在 Ultralytics Platform 上，将预训练模型或自定义训练的计算机视觉模型投入生产运行时，专用端点是最具扩展性的方式之一。专用端点可以将训练好的模型部署为独立服务，使应用能够向其发送图像，并通过 API 接收预测结果。

与仅在训练环境或本地 notebook 中运行模型不同，将模型部署为端点后，真实应用即可访问它。例如，仓库系统可以发送包裹图像以进行对象检测，智能摄像头可以分析视频帧，机器人系统则可以利用预测结果指导操作。

每个专用端点都作为单租户服务运行，这意味着运行你模型的基础设施不会与其他用户共享。这样可以提供更可预测的性能，也更便于监控模型在生产环境中的表现。

了解专用推理端点的功能#

你可以将专用端点理解为模型的托管服务。Ultralytics Platform 会提供一个唯一的端点 URL，作为应用的入口。

应用向该 URL 发送请求时，请求中会包含图像和可选参数（例如置信度阈值或图像尺寸），以及用于身份验证的 API 密钥。

该服务使用你的模型对图像执行推理，并以结构化响应返回预测结果。这种设置让开发者可以使用标准 Web 工具，将计算机视觉模型集成到真实系统中。

应用可以使用 Python、JavaScript、cURL 或其他 HTTP 客户端发送请求，因此可以轻松地将模型连接到仪表板、机器人系统或云应用。由于端点独立运行，它还支持扩缩容、监控和全球部署，帮助团队构建可靠的生产级计算机视觉系统。

多区域部署提升实时推理能力#

Ultralytics Platform 专用端点的一项重要优势，是能够将模型部署到全球 43 个区域。这些区域覆盖世界多个地区，包括北美、南美、欧洲、亚太地区以及中东和非洲。

图 2. Ultralytics Platform 支持全球 43 个区域（来源）

将模型部署到更靠近应用运行位置的区域，有助于降低延迟，也就是应用发送图像并接收预测结果所需的时间。此外，将数据处理保留在更靠近其来源的位置，还能帮助组织满足数据隐私和数据驻留要求。

低延迟对于许多依赖实时推理的计算机视觉应用非常重要，例如机器人系统、物联网（IoT）设备、工业检测流水线和智慧城市基础设施。

例如，如果某个应用主要在欧洲使用，那么将模型部署在欧洲区域，相比在遥远区域运行模型，可以显著提升响应速度。

如何使用 Ultralytics Platform 部署到任何区域#

将模型部署到指定区域非常简单，通常只需几分钟。该平台会处理基础设施设置，让开发者能够专注于将模型集成到应用中。下面我们逐步了解相关操作。

步骤 1：训练或上传模型#

部署之前，你需要在项目中准备好一个训练好的模型。它可以是直接在 Ultralytics Platform 上训练的模型、在其他地方完成训练后上传的模型，也可以是从社区项目中克隆的模型。在“Explore 选项卡”中，你可以找到其他用户分享的公开项目，并一键将其复制到自己的账户。

模型准备就绪后，在项目中打开其模型页面即可继续操作。

步骤 2：打开 Deploy 选项卡#

进入该模型的 Deploy 选项卡。你可以在此平台区域配置并启动部署。

在该页面上，你会看到一个区域表格和一张交互式地图，其中显示全球可用的部署位置。该平台会根据你所在的位置测量延迟，并据此对区域进行排序，帮助你选择最合适的区域。

图 3. Ultralytics Platform 上按延迟排序的区域（来源）

步骤 3：选择部署区域#

根据用户或应用所在的位置选择区域。将模型部署在更靠近请求来源的位置，可以显著降低响应时间。

步骤 4：部署端点#

选择区域并确认配置后，你可以点击 Deploy。

随后，该平台会准备部署环境、拉取模型镜像、启动服务，并执行健康检查以确保端点已准备就绪。此过程通常需要一到两分钟。

部署完成后，该平台会生成一个唯一的端点 URL，应用可以使用它发送推理请求。

图 4. 已部署端点示例（来源）

步骤 5：开始发送推理请求#

端点运行后，应用即可使用提供的 REST API 端点发送图像，并在 Authorization 标头中传递 API 密钥。端点会处理每个请求，并返回检测到的对象、边界框或其他特定于任务的输出等预测结果。

如需了解有关模型部署的更多详情，请查看官方的 Ultralytics Platform 文档。

监控已部署端点的模型性能和指标#

计算机视觉模型部署后，监控其性能便成为维护系统可靠性和稳健性的重要环节。即使是训练良好的模型，也需要在生产环境中受到监控，以确保其持续快速响应、正确处理传入请求并提供准确预测。

Ultralytics Platform 提供内置监控工具，让团队能够了解已部署端点的运行表现。该平台的 Deploy 页面充当监控仪表板，集中展示所有正在运行的端点及帮助跟踪系统健康状况和使用情况的关键指标。

以下是你可以使用 Platform 监控的一些指标：

• P95 延迟： 此指标用于衡量推理请求服务器端响应时间的第 95 百分位数。它可以帮助你了解大多数推理请求所需的时间，并发现性能下降。
• 错误率： 表示在所选监控时间窗口内失败或返回错误的请求所占的百分比。监控错误率可以让团队快速发现部署或传入请求存在的问题。
• 请求总数： 此指标显示在所选时间段内（例如过去 24 小时），所有已部署端点处理的推理请求总数。它可以帮助团队了解流量水平以及模型的使用频率。

除这些指标外，该平台还提供端点健康检查和部署日志。健康检查表明端点是否正常响应，而日志则提供有关近期请求和系统活动的详细信息。

要点总结#

部署计算机视觉模型，是将训练好的模型转化为支持真实应用的系统的关键步骤。借助 Ultralytics Platform，团队可以通过覆盖全球 43 个区域的专用端点轻松部署模型，通过 API 运行实时推理，并在单一环境中监控性能。通过结合灵活的部署选项、内置监控和可扩展基础设施，该平台帮助开发者更快地将训练好的机器学习模型转变为可靠的计算机视觉应用。

加入我们不断壮大的社区！访问我们的 GitHub 仓库，进一步了解 AI。如果你希望构建计算机视觉解决方案，不妨查看我们的许可选项。探索医疗保健领域的计算机视觉所带来的优势，了解 AI 在物流领域如何发挥作用！