Ultralytics Platform：将计算机视觉模型部署到任何区域

本周早些时候，Ultralytics 发布了 Ultralytics Platform，这是一个全新的端到端环境，旨在通过简化从数据准备、模型开发到部署的视觉 AI 工作流程的每个阶段，助力你更快地交付计算机视觉 (CV) 系统。

开发 Ultralytics Platform 的核心动机之一在于，将一个能够让机器分析图像和视频的计算机视觉解决方案从构思转化为实际影响，不仅仅是构建一个强大的模型。一旦模型训练完成并通过验证，它必须被部署，这样应用程序才能发送图像、接收预测并在真实环境中可靠地运行推理。

机器学习生命周期的这一阶段，是计算机视觉模型跨越实验阶段并开始驱动实际系统的关键点。即使数据集准备、标注、模型训练和测试等前期步骤进展顺利，如果没有可靠的模型部署方式，这些成果也无法发挥作用。

在许多 计算机视觉项目 的实际操作中，部署往往是工作流程中最复杂的步骤之一。

团队通常需要配置推理 API、管理计算资源、将模型部署在靠近用户的地方以减少延迟，并在系统投入生产运行后监控其性能。

Ultralytics Platform 通过提供多种部署选项（包括模型导出格式、共享推理服务以及跨全球区域的专用端点）来简化并自动化此过程。借助托管基础设施和内置监控，团队可以轻松地从已训练模型转向生产就绪的计算机视觉系统。

图 1. 使用 Ultralytics Platform 部署模型概览 (来源)

在本文中，我们将探索如何使用 Ultralytics Platform 上的专用端点将计算机视觉模型部署到任意区域。让我们开始吧！

Link to this section什么是 CV 模型部署？#

在深入探讨如何使用 Ultralytics Platform 部署深度学习模型之前，让我们先来更好地理解计算机视觉模型部署的实际含义。

计算机视觉 模型部署 是将已训练模型投入实际使用的过程。模型不再仅仅运行在训练环境中，而是通过设置，使应用程序能够向其发送图像或视频并接收预测结果。

例如，模型可能会检测图像中的对象、执行图像分割、识别仓库中的物品或识别视频片段中的模式。在大多数真实系统中，这是通过 API 或推理端点来实现的。

应用程序将图像发送到模型，模型进行处理，并在几毫秒内返回预测结果。这就是 Ultralytics YOLO 等计算机视觉模型实现实时应用的原因。

根据使用场景的不同，模型可以在不同的环境中部署。有些运行在云端（通过云平台），可供众多应用程序访问；而另一些则运行在边缘设备上，例如本地摄像头、机器人或需要快速本地预测的嵌入式系统。

Link to this sectionUltralytics Platform 上的 AI 模型部署选项#

虽然 Ultralytics Platform 解决了计算机视觉社区面临的许多挑战（特别是在模型部署方面），但它也提供了灵活的方式来根据你的应用需求运行推理。

以下是该平台上可用的模型部署选项概览：

• 模型导出：你可以将模型导出为 17 种不同格式，包括 ONNX、TensorRT、CoreML 和 TFLite，从而使模型能够在广泛的环境中运行，如 Raspberry Pi 和 NVIDIA Jetson 等边缘设备、移动应用、Docker 容器以及自定义基础设施。
• 共享推理： 该平台允许你通过托管的共享推理服务运行预测，这非常适合快速测试模型。
• 专用端点：轻松将模型部署为具有唯一 API URL 的独立服务，这些服务可跨 43 个全球区域运行，并内置自动扩缩容、监控和健康检查功能，以支持生产环境部署。

Link to this section使用专用端点进行部署#

在 Ultralytics Platform 上将预训练模型或自定义训练的计算机视觉模型投入生产环境时，最可扩展的方式之一是使用专用端点。专用端点允许你将已训练模型作为其自己的服务进行部署，以便应用程序可以通过 API 向其发送图像并接收预测。

将模型部署为端点使其能够被真实应用访问，而不是仅仅运行在训练环境或本地笔记本中。例如，仓库系统可以发送包裹图像进行对象检测，智能摄像头可以分析视频帧，或者机器人系统可以使用预测来指导操作。

每个专用端点都作为单租户服务运行，这意味着运行你模型的资源不会与其他用户共享。这提供了更可预测的性能，并使监控模型在生产环境中的表现变得更加容易。

Link to this section了解专用推理端点的功能#

你可以将专用端点视为你模型的托管服务。Ultralytics Platform 提供了一个唯一的端点 URL，作为应用程序的入口点。

当应用程序向该 URL 发送请求时，它会包含一张图像和可选参数（如置信度阈值或图像大小），以及用于身份验证的 API key。

该服务使用你的模型对图像进行推理，并以结构化响应返回预测结果。这种设置允许开发者使用标准的 Web 工具将计算机视觉模型集成到真实系统中。

应用程序可以使用 Python、JavaScript、cURL 或其他 HTTP 客户端发送请求，从而轻松地将模型连接到仪表板、机器人系统或云应用程序。由于端点独立运行，它还支持扩缩容、监控和全球部署，帮助团队构建可靠的生产级计算机视觉系统。

Link to this section多区域部署可提升实时推理性能#

Ultralytics Platform 专用端点的关键优势在于能够跨 43 个全球区域部署模型。这些区域覆盖了世界多个地区，包括北美、南美、欧洲、亚太地区以及中东和非洲。

图 2. Ultralytics Platform 支持 43 个全球区域 (来源)

在靠近应用程序运行位置的区域部署模型有助于减少延迟，即应用程序发送图像并接收预测所花费的时间。它还可以通过将数据处理保持在靠近数据源的地方，帮助企业满足数据隐私和数据驻留要求。

低延迟对于许多依赖实时推理的计算机视觉应用至关重要，例如机器人系统、物联网 (IoT) 设备、工业检测流水线和智慧城市基础设施。

例如，如果某个应用程序主要在欧洲使用，与在遥远区域运行模型相比，在欧洲区域部署模型可以显著改善响应时间。

Link to this section如何使用 Ultralytics Platform 部署到任意区域#

将模型部署到特定区域非常简单，通常只需要几分钟。平台处理了基础设施设置，因此开发者可以将精力集中在将模型集成到他们的应用程序中。让我们逐步了解相关流程。

Link to this section第 1 步：训练或上传模型#

部署前，你需要项目中有一个可用的已训练模型。这可以是直接在 Ultralytics Platform 上训练的模型、在其他地方训练后上传的模型，或是从“探索”选项卡中找到的社区项目克隆的模型，在“探索”选项卡中，其他用户共享的公共项目可以一键复制到你自己的账户中。

模型准备就绪后，打开你项目内的模型页面以继续操作。

Link to this section第 2 步：打开部署 (Deploy) 选项卡#

导航到该模型的部署选项卡。平台的这一部分允许你配置和启动部署。

在该页面上，你将看到一个区域表格和一张显示全球可用部署位置的交互式地图。平台会测量你所在位置的延迟并相应地对区域进行排序，以帮助你选择最合适的区域。

图 3. Ultralytics Platform 上按延迟排序的区域 (来源)

Link to this section第 3 步：选择部署区域#

根据你的用户或应用程序所在的位置选择一个区域。将模型部署在靠近请求源的地方可以显著减少响应时间。

Link to this section第 4 步：部署端点#

选择区域并确认配置后，你可以点击“部署”。

然后，平台会准备部署环境、拉取模型镜像、启动服务并执行健康检查以确保端点就绪。此过程通常需要一到两分钟。

部署完成后，平台会生成一个唯一的端点 URL，应用程序可以使用它来发送推理请求。

图 4. 已部署端点的示例 (来源)

Link to this section第 5 步：开始发送推理请求#

端点运行后，应用程序可以使用提供的 REST API 端点并在 Authorization 标头中传递 API key，开始向模型发送图像。端点处理每个请求并返回预测结果，例如检测到的对象、边界框或其他任务特定的输出。

有关模型部署的更多详细信息，请查看官方 Ultralytics Platform 文档。

Link to this section监控已部署端点的模型性能和指标#

计算机视觉模型部署完成后，监控其性能就成为维持系统可靠性和稳健性的重要部分。即使是训练有素的模型，也需要在生产环境中进行观察，以确保其持续快速响应、正确处理传入请求并提供准确的预测。

Ultralytics Platform 提供了 内置监控 工具，让团队能够直观地了解已部署端点的运行情况。平台的“部署”页面充当监控仪表板，提供了所有运行中端点的集中视图，以及有助于跟踪系统健康状况和使用情况的关键指标。

以下是你可以使用该平台监控的一些指标：

• P95 延迟： 此指标衡量推理请求的第 95 百分位服务器端响应时间。它提供了关于大多数推理请求耗时情况的见解，并有助于识别性能减速。
• 错误率： 它代表在选定监控窗口内失败或返回错误的请求百分比。监控错误率可以让团队快速检测到部署或传入请求的问题。
• 总请求数： 此指标显示在选定时间段内（例如过去 24 小时）跨已部署端点处理的推理请求总数。它有助于团队了解流量水平以及模型的使用频率。

除了这些指标外，该平台还提供端点健康检查和部署日志。健康检查指示端点是否响应正常，而日志则提供有关近期请求和系统活动的详细信息。

Link to this section关键要点#

部署计算机视觉模型是将已训练模型转化为驱动实际应用系统的关键步骤。借助 Ultralytics Platform，团队可以轻松跨 43 个全球区域通过专用端点部署模型、通过 API 运行实时推理，并在一个环境中监控性能。通过结合灵活的部署选项、内置监控和可扩展的基础设施，该平台帮助开发者更快地从已训练的机器学习模型转向可靠的计算机视觉应用。

加入我们日益壮大的 社区！浏览我们的 GitHub 存储库 以了解更多关于 AI 的信息。如果你正在寻求构建计算机视觉解决方案，请查看我们的 许可选项。探索 医疗保健中的计算机视觉 的优势，看看 物流中的 AI 是如何发挥作用的！