Ultralytics ：将计算机视觉模型部署到任何地区

本周早些时候Ultralytics Ultralytics 这是一个全新的端到端环境，旨在通过优化视觉人工智能工作流的各个阶段（从数据准备和模型开发到部署），加快计算机视觉（CV）系统的交付速度。

开发Ultralytics 的主要动因之一在于：要将一种能够让机器分析图像和视频的计算机视觉解决方案从构想到落地并产生实际影响，仅靠构建一个强大的模型是远远不够的。模型经过训练并通过验证后，必须进行部署，才能让应用程序在真实环境中可靠地发送图像、接收预测结果并运行推理。

在机器学习生命周期的这一阶段，计算机视觉模型将超越实验阶段，开始为实际系统提供支持。即使数据集准备、标注、模型训练和测试等前期步骤进展顺利，如果没有可靠的模型部署方案，这些成果也无法发挥实际作用。

在许多计算机视觉项目中，部署往往是工作流中最复杂的步骤之一。 

团队通常需要配置推理 API、管理计算资源、在用户附近部署模型以减少延迟，并在系统投入生产运行后监控性能。

Ultralytics 通过提供多种部署选项（包括模型导出格式、共享推理服务以及覆盖全球各区域的专用端点），简化并自动化了这一流程。借助托管基础设施和内置监控功能，团队能够轻松地将训练好的模型转化为可投入生产的计算机视觉系统。

在本文中，我们将探讨如何利用Ultralytics 专用端点，将计算机视觉模型部署到任何区域。让我们开始吧！

什么是 CV 模型部署？

在深入探讨如何使用Ultralytics 部署深度学习模型之前，让我们先来更好地理解“计算机视觉模型部署”究竟意味着什么。

计算机视觉模型的部署是指将经过训练的模型投入实际应用的过程。与仅在训练环境中运行不同，该模型经过配置后，应用程序可以向其发送图像或视频，并接收相应的预测结果。 

例如，模型可以detect 图像中的detect 、执行图像分割、识别仓库中的物品，或识别视频片段中的模式。在大多数实际系统中，这些操作是通过 API 或推理端点实现的。 

应用程序将图像发送给模型，模型对其进行处理，并在几毫秒内返回预测结果。正是这一点使得像 Ultralytics YOLO 等计算机视觉模型能够支持实时应用。

模型可根据具体应用场景部署在不同的环境中。有些模型在云端（通过云平台）运行，可供众多应用程序访问；而另一些则运行在边缘设备上，例如本地摄像头、机器人或需要快速本地预测的嵌入式系统。

Ultralytics 平台上的 AI 模型部署选项

虽然Ultralytics 解决了计算机视觉领域面临的诸多挑战——尤其是模型部署方面的挑战——但它还能根据应用程序的需求，提供灵活的推理运行方式。 

以下简要介绍了该平台提供的模型部署选项：

• 模型导出：您可以将模型导出为 17 种不同的格式，包括ONNX、TensorRT、CoreML 和TFLite从而能够在各种环境中运行模型，例如树莓派和NVIDIA 等边缘设备、移动应用、Docker 容器以及自定义基础设施。
• 共享推理：该平台 允许您通过托管式共享推理服务运行预测任务，这非常适合快速测试模型 
• 专用端点：可轻松 将模型部署为独立服务，配备专属的 API URL，支持在全球 43 个区域运行，并为生产环境部署提供内置的自动扩展、监控和健康检查功能。

使用专用端点进行部署

Ultralytics 通过专用端点在生产环境中运行预训练模型或自定义训练的计算机视觉模型，是最具可扩展性的方法之一。专用端点允许您将训练好的模型部署为独立的服务，从而应用程序可以通过 API 向其发送图像并接收预测结果。

与仅在训练环境或本地笔记本中运行模型不同，将其部署为端点可使其被实际应用程序调用。例如，仓库系统可以发送包裹图像进行物体检测，智能摄像头可以分析视频帧，或者机器人系统可以利用预测结果来指导动作。

每个专用端点均作为单租户服务运行，这意味着运行您模型的基础设施不会与其他用户共享。这能提供更可预测的性能，并使您更容易监控模型在生产环境中的运行状况。

了解专用推理端点的功能

您可以将专用端点视为模型的托管服务。Ultralytics 会提供一个唯一的端点 URL，该 URL 充当应用程序的入口点。 

当应用程序向该 URL 发送请求时，请求中会包含一张图片以及可选参数（如置信度阈值或图片尺寸），并附带用于身份验证的 API 密钥。

该服务会使用您的模型对图像进行推理，并将预测结果以结构化响应的形式返回。这种架构使开发人员能够利用标准的 Web 工具，将计算机视觉模型集成到实际系统中。 

应用程序可以使用Python、JavaScript、cURL 或其他 HTTP 客户端发送请求，从而轻松将模型与仪表盘、机器人系统或云应用程序连接起来。由于该端点独立运行，因此还支持扩展、监控和全球部署，帮助团队构建可靠的生产级计算机视觉系统。

多区域部署可提升实时推理性能

Ultralytics 专用端点的一大优势在于能够将模型部署到全球 43 个区域。这些区域遍布世界各地，包括北美、南美、欧洲、亚太地区以及中东和非洲。

在更接近应用程序运行位置的区域部署模型，有助于降低延迟——即应用程序发送图像并接收预测结果所需的时间。此外，通过将数据处理保持在更接近数据源的位置，这也有助于企业满足数据隐私和数据驻留的要求。 

对于许多依赖实时推理的计算机视觉应用而言，低延迟至关重要，例如机器人系统、物联网（IoT）设备、工业检测流程以及智慧城市基础设施。

例如，如果某款应用程序主要在欧洲使用，那么与在遥远的区域运行模型相比，将模型部署在欧洲区域可以显著提高响应速度。 

如何使用Ultralytics 部署到任意区域

将模型部署到特定区域非常简单，通常只需几分钟。平台会自动处理基础设施的配置，因此开发人员可以专注于将模型集成到应用程序中。下面让我们逐步了解具体步骤。

步骤 1：训练或上传模型

部署之前，您的项目中需要有一个已训练好的模型。该模型可以是在Ultralytics 直接训练的，也可以是在其他地方训练后上传的，或者从“探索”标签页中的社区项目克隆而来的——在该标签页中，其他用户共享的公开项目只需点击一下即可复制到您的账户中。

模型准备就绪后，请在项目中打开其模型页面以继续操作。

步骤 2：打开“部署”选项卡

转到该模型的“部署”选项卡。平台的此部分允许您配置和启动部署。

在该页面上，您将看到一个区域表和一张交互式地图，显示全球可用的部署位置。该平台会测量从您所在位置到各区域的延迟，并据此对区域进行排序，以帮助您选择最合适的区域。

步骤 3：选择部署区域

请根据您的用户或应用程序所在的位置选择区域。将模型部署在更接近请求源的位置，可以显著缩短响应时间。

步骤 4：部署端点

选择区域并确认配置后，您可以点击“部署”。

随后，该平台会准备部署环境、拉取模型镜像、启动服务，并执行健康检查以确保端点已就绪。此过程通常需要一到两分钟。

部署完成后，平台会生成一个唯一的端点 URL，应用程序可以使用该 URL 发送推理请求。

第 6 步：开始发送推理请求

端点运行后，应用程序即可通过提供的REST API ，并使用在 Authorization 头部中传递的 API 密钥，开始向模型发送图像。该端点会处理每个请求，并返回预测结果，例如检测到的物体、边界框或其他特定任务的输出。

有关模型部署的更多详细信息，请查阅Ultralytics 的官方文档。

监控已部署端点的模型性能和指标

计算机视觉模型部署后，对其性能进行监控成为维护系统可靠性和鲁棒性的重要环节。即使是经过充分训练的模型，也需要在生产环境中进行监控，以确保其能够持续快速响应、正确处理传入的请求，并提供准确的预测结果。

Ultralytics 内置的监控工具，使团队能够清晰掌握已部署终端设备的运行状况。该平台的“部署”页面充当监控仪表盘，集中展示所有正在运行的终端设备，并提供关键指标，有助于track 状况和使用情况。

以下是您可以通过该平台监控的部分指标：

• P95 延迟：该 指标衡量推理请求的第 95 百分位数服务器端响应时间。它能反映大多数推理请求的耗时情况，并帮助识别性能瓶颈。
• 错误率：指在 选定的监控时间段内，请求失败或返回错误的百分比。监控错误率有助于团队快速detect 部署或传入请求中的detect 。
• 请求总数：该 指标显示在所选时间段内（例如过去 24 小时），部署的端点处理的推理请求总数。它有助于团队了解流量水平以及模型的使用频率。

除了这些指标外，该平台还提供端点健康检查和部署日志。健康检查用于判断端点是否响应正常，而日志则提供有关近期请求和系统活动的详细信息。

主要要点

部署计算机视觉模型是将训练好的模型转化为驱动实际应用系统的关键步骤。借助Ultralytics 团队可以通过覆盖全球 43 个地区的专用端点轻松部署模型，通过 API 运行实时推理，并从单一环境监控性能。该平台通过结合灵活的部署选项、内置监控功能和可扩展的基础设施，帮助开发者更快地将训练好的机器学习模型转化为可靠的计算机视觉应用。

加入我们不断壮大的社区！深入研究我们的 GitHub 存储库，了解更多关于 AI 的信息。如果您正在寻找构建计算机视觉解决方案的方法，请查看我们的许可选项。探索 计算机视觉在医疗保健领域的优势，了解 AI 在物流领域的应用 如何发挥作用！