Ultralytics Platform：将计算机视觉模型部署到任何区域

本周早些时候，Ultralytics推出了Ultralytics Platform，这是一个全新的端到端环境，旨在通过简化从数据准备、模型开发到部署的视觉AI工作流的每个阶段，从而更快地交付计算机视觉(CV)系统。

开发Ultralytics Platform的关键动机之一是，将一个使机器能够分析图像和视频的计算机视觉解决方案从构想到产生影响，不仅仅是构建一个强大的模型。一旦模型经过训练并验证通过，它必须被部署，以便应用程序能够发送图像、接收预测并在真实世界环境中可靠地运行Inference。

机器学习生命周期的这一阶段是计算机视觉模型超越实验阶段，开始为实际系统提供动力的阶段。即使数据集准备、标注、模型 training 和测试等早期步骤进展顺利，如果没有可靠的模型部署方式，这些成果也无法发挥作用。

许多计算机视觉项目的现实情况是，部署可能是工作流程中最复杂的步骤之一。 

团队通常需要配置Inference API、管理计算资源、将模型部署到靠近用户的地方以减少延迟，并在系统投入生产后监控性能。

Ultralytics Platform通过提供多种部署选项，包括模型导出格式、共享推理服务以及全球各区域的专用端点，简化并自动化了这一过程。凭借托管基础设施和内置监控，团队可以轻松地将训练好的模型转换为可用于生产的计算机视觉系统。

在本文中，我们将探讨如何使用 Ultralytics Platform 上的专用端点将计算机视觉模型部署到任何区域。让我们开始吧！

什么是CV模型部署？

在我们深入探讨如何使用 Ultralytics Platform 部署深度学习模型之前，让我们先更好地理解计算机视觉模型部署的实际含义。

计算机视觉模型部署是将训练好的模型投入实际应用的过程。模型不再仅限于训练环境中运行，而是被配置成应用程序可以向其发送图像或视频并接收预测结果。 

例如，模型可以detect图像中的物体，执行图像segmentation，识别仓库中的物品，或识别视频片段中的模式。在大多数实际系统中，这通过API或推理端点实现。 

应用程序向模型发送图像，模型对其进行处理，并在几毫秒内返回预测结果。这使得 Ultralytics YOLO 等计算机视觉模型能够支持实时应用。

模型可以根据用例部署在不同的环境中。有些模型在云端（通过云平台）运行，供多个应用程序访问，而另一些则在边缘设备上运行，例如本地摄像头、机器人或需要快速本地预测的嵌入式系统。

Ultralytics Platform 上的 AI 模型部署选项

Ultralytics Platform 解决了计算机视觉社区面临的许多挑战，尤其是在模型部署方面，它根据您的应用需求提供了灵活的推理运行方式。 

以下是平台上可用的模型部署选项概览：

• 模型导出: 您可以将模型导出为17种不同的格式，包括ONNX, TensorRT, CoreML和TFLite，从而可以在各种环境中运行模型，例如树莓派和NVIDIA Jetson等边缘设备、移动应用程序、Docker容器和自定义基础设施。
• 共享Inference：该平台允许您通过托管的共享Inference服务运行预测，这非常适合快速测试模型。 
• 专用端点: 轻松将模型部署为具有独特 API URL 的独立服务，这些服务可在全球43个区域运行，并内置自动扩缩、监控和健康检查，以支持生产部署。

使用专用端点进行部署

在 Ultralytics Platform 上，通过专用端点在生产环境中运行预训练模型或自定义训练的计算机视觉模型，是最具可扩展性的方式之一。专用端点允许您将训练好的模型部署为独立服务，从而使应用程序能够向其发送图像并通过API接收预测结果。

将模型部署为端点，使其可供实际应用程序访问，而不仅仅是在训练环境或本地notebook中运行。例如，仓库系统可以发送包裹图像进行目标detect，智能摄像头可以分析视频帧，或者机器人系统可以使用预测结果来指导行动。

每个专用端点都作为单租户服务运行，这意味着运行您模型的基础设施不会与其他用户共享。这提供了更可预测的性能，并使监控模型在生产环境中的行为变得更容易。

理解专用推理端点的功能

您可以将专用端点视为模型的托管服务。Ultralytics 平台提供一个唯一的端点 URL，作为应用程序的入口点。 

当应用程序向该 URL 发送请求时，它会包含一张图片和可选参数，例如置信度阈值或图像尺寸，以及用于身份验证的 API 密钥。

该服务使用您的模型对图像进行推理，并以结构化响应返回预测结果。这种设置使开发人员能够使用标准网络工具将计算机视觉模型集成到实际系统中。 

应用程序可以使用python、JavaScript、cURL或其他HTTP客户端发送请求，从而轻松地将模型连接到仪表板、机器人系统或云应用程序。由于端点独立运行，它还可以支持扩展、监控和全球部署，帮助团队构建可靠的生产级计算机视觉系统。

多区域部署提升实时推理性能

Ultralytics Platform 上专用端点的一个主要优势是能够将模型部署到全球 43 个区域。这些区域涵盖世界多个地区，包括北美、南美、欧洲、亚太地区以及中东和非洲。

将模型部署在更靠近应用程序运行的区域有助于降低延迟，延迟是指应用程序发送图像并接收预测所需的时间。它还可以通过将数据处理保持在更接近数据源的位置，帮助组织满足数据隐私和数据驻留要求。 

低延迟对于许多依赖实时推理的计算机视觉应用程序至关重要，例如机器人系统、物联网 (IoT) 设备、工业检测流水线和智慧城市基础设施。

例如，如果一个应用程序主要在欧洲使用，将模型部署在欧洲区域可以显著提高响应时间，相比于在遥远区域运行模型。 

如何使用 Ultralytics Platform 部署到任何区域

将模型部署到特定区域非常简单，通常只需几分钟。平台负责基础设施的设置，因此开发人员可以专注于将模型集成到他们的应用程序中。让我们逐步了解所涉及的步骤。

第一步：训练或上传模型

在部署之前，您的项目中需要有一个可用的已训练模型。这可以是在 Ultralytics Platform 上直接训练的模型、在其他地方训练后上传的模型，或者从“探索”选项卡中的社区项目克隆的模型，在该选项卡中，其他用户共享的公共项目可以一键复制到您的账户中。

模型准备就绪后，打开项目中的模型页面以继续操作。

第二步：打开部署选项卡

导航到模型的“部署”选项卡。平台的这一部分允许您配置和启动部署。

在该页面上，您将看到一个区域表和一张交互式地图，显示全球可用的部署位置。平台会测量您所在位置的延迟，并据此对区域进行排序，以帮助您选择最合适的区域。

第三步：选择部署区域

根据您的用户或应用程序所在的位置选择一个区域。将模型部署到更靠近请求源的位置可以显著缩短响应时间。

第四步：部署端点

选择区域并确认配置后，即可点击部署。

平台随后准备部署环境，拉取模型镜像，启动服务，并执行健康检查以确保端点就绪。此过程通常需要一到两分钟。

部署完成后，平台会生成一个唯一的端点URL，应用程序可以使用该URL发送推理请求。

第 5 步：开始发送推理请求

随着端点运行，应用程序可以使用提供的 REST API 端点和在 Authorization 标头中传递的 API 密钥开始向模型发送图像。该端点处理每个请求并返回预测结果，例如 detect 到的物体、边界框或其他特定任务的输出。

有关模型部署的更多详细信息，请查阅官方 Ultralytics Platform 文档。

监控模型性能和已部署端点的指标

一旦计算机视觉模型部署完成，监控其性能就成为维护系统可靠性和鲁棒性的重要组成部分。即使是经过良好训练的模型也需要在生产环境中进行观察，以确保它能持续快速响应、正确处理传入请求并提供准确的预测。

Ultralytics Platform 提供内置监控工具，让团队了解已部署端点的性能表现。平台的部署页面充当监控仪表板，提供所有运行中端点的集中视图以及有助于跟踪系统健康状况和使用情况的关键指标。

以下是您可以使用平台监控的一些指标：

• P95延迟：此指标衡量推理请求的第95百分位服务器端响应时间。它提供了关于大多数推理请求所需时间的洞察，并识别性能瓶颈。
• 错误率：它表示在选定的监控窗口内，失败或返回错误的请求百分比。监控错误率使团队能够快速detect部署或传入请求的问题。
• 总请求数：此指标显示在所选时间段内（例如，过去24小时）所有已部署端点处理的推理请求总数。它有助于团队了解流量水平以及模型的使用频率。

除了这些指标之外，平台还提供端点健康检查和部署日志。健康检查指示端点是否正常响应，而日志则提供有关近期请求和系统活动的详细信息。

主要要点

部署计算机视觉模型是将已训练模型转化为支持实际应用的系统的关键一步。借助 Ultralytics Platform，团队可以通过遍布全球 43 个区域的专用端点轻松部署模型，通过 API 运行实时推理，并从单一环境中监控性能。通过结合灵活的部署选项、内置监控和可扩展的基础设施，该平台帮助开发人员更快地从已训练的机器学习模型转向可靠的计算机视觉应用程序。

加入我们不断壮大的社区！深入研究我们的 GitHub 存储库，了解更多关于 AI 的信息。如果您正在寻找构建计算机视觉解决方案的方法，请查看我们的许可选项。探索 计算机视觉在医疗保健领域的优势，了解 AI 在物流领域的应用 如何发挥作用！