Ultralytics Platform 如何简化计算机视觉模型部署

多年来，Ultralytics 一直与计算机视觉社区合作，打造让每个人都能更轻松使用视觉 AI 的模型和工具。借助 Ultralytics Platform，我们更进一步，将完整的计算机视觉开发工作流程整合到一个统一环境中，涵盖从数据集管理和标注到模型训练、验证和部署的各个环节。

尤其是，我们很高兴能让计算机视觉模型部署变得更轻松。随着计算机视觉不断应用于现实场景，在受控环境之外分析图像和视频仍然很复杂。

与条件可预测的测试环境不同，现实场景中的光照各异、输入不断变化、工作负载难以预测，因此部署成为视觉工作流中最具挑战性的环节之一。

部署不仅仅是让模型可供使用。它还需要建立能够处理真实世界数据的流程，并确保随着使用量增长、项目规模扩大，一切仍能顺畅运行。

团队还需要跟踪性能，并长期保持可靠性。这通常意味着要在不同的 AI 工具之间切换，以完成测试、集成、部署和监控，这会拖慢模型开发进度并带来不必要的复杂性。

工作流最终会变得支离破碎。Ultralytics Platform 将这一流程整合并简化。

它在同一环境中内置了模型服务、测试和监控支持。团队可以通过基于浏览器的推理验证模型，通过共享推理服务将模型集成到应用中，还可以将模型部署到专用端点，并使用性能监控功能。

图 1. 查看 Ultralytics Platform 中的部署页面（来源）

本文将介绍 Ultralytics Platform 如何简化计算机视觉模型部署，涵盖从测试和集成到生产环境部署与监控的整个过程。现在开始吧！

计算机视觉模型部署概述#

在机器学习生命周期中，模型部署是模型从实验阶段进入实际应用的环节。对于使用深度学习和卷积神经网络构建的计算机视觉模型，这通常意味着让模型能够实时处理图像和视频。

部署后，这些模型会接收新数据，而这些数据通常会经过调整大小、归一化或格式转换等预处理步骤。随后，处理后的数据会传递给模型，由模型运用训练中学到的模式生成高精度预测。

根据具体用例，可能会涉及不同的计算机视觉任务。例如，Ultralytics YOLO 模型（如 Ultralytics YOLO26）支持多种视觉任务，包括目标检测、实例分割、图像分类、姿势估计和旋转边界框 (OBB) 检测。

要让模型在实际应用中发挥作用，通常需要将模型集成到能够高效处理预处理和推理的系统中。这正是部署基础设施不可或缺的原因。

在生产环境中，通常通过 REST API 或模型服务系统访问模型。这些接口让应用能够以编程方式发送数据并接收预测，从而更容易与依赖实时视觉理解的外部应用、IoT 设备或机器人系统集成。

传统计算机视觉部署工具的局限#

计算机视觉模型部署听起来可能很简单，但到目前为止，实际操作与想象大不相同。来看一个常见设置：首先从摄像头或传感器采集数据，将数据发送给模型进行推理，再将预测结果返回给应用。

实际上，这些步骤通常由不同的工具和服务分别处理。一个系统可能负责采集数据，另一个负责模型服务，还有其他工具用于扩缩容、监控和日志记录。要让这些组件保持连接并可靠运行，很快就会变得复杂。

随着使用量增长，这种复杂性也会增加。管理基础设施、处理依赖项，以及在端到端管道中保持性能一致，都会拖慢开发进度，并增加在真实应用中部署计算机视觉模型的难度。

Ultralytics Platform 将这些组件整合到一个统一的环境中。这让团队能够更连贯地管理整个部署工作流，同时确保系统在规模扩大时仍具备良好的性能和可靠性。

Ultralytics Platform 支持的模型部署选项#

除了统一模型部署流程，Ultralytics Platform 还让模型的部署和使用方式更加灵活。

为支持计算机视觉模型部署的不同阶段，该平台提供四种选项：通过即时推理进行基于浏览器的测试、通过 API 进行共享推理以支持开发、在全球各区域部署可扩展的专用端点，以及导出模型以便在外部基础设施或边缘设备上运行。

下面我们就来详细了解这些选项的运作方式。

使用 Predict 选项卡快速验证模型#

在将模型投入生产之前，了解模型在新的、未见过的数据上的表现非常重要。Ultralytics Platform 内置了 Predict 选项卡，让你无需任何设置、基础设施或依赖项，即可直接在浏览器中运行推理。

Predict 选项卡让模型验证变得快速且交互直观。你可以上传图像、使用预加载示例，或通过网络摄像头采集输入；数据一经提供，推理就会自动运行。

结果会立即显示，包括可视化叠加层、置信度分数和详细输出，让你清楚了解模型的运行表现。

图 2. 使用 Predict 选项卡验证模型的示例（来源）

这意味着只需点击几下，你就可以测试不同的输入、调整参数，并在单一界面中评估性能，然后再进行部署。

运行共享推理以进行测试或满足轻量级使用需求#

假设你已经训练好模型，并通过 Predict 选项卡完成验证。接下来通常就是开始将模型集成到应用或工作流中。

Ultralytics Platform 无需你设置基础设施或管理服务器，而是提供共享推理服务，让你通过简单的 REST API 向模型发送数据并接收预测结果。

在幕后，共享推理通过一个多租户系统在几个核心区域运行，请求会自动路由到最近的可用服务。这有助于保持响应迅速，同时让不同地点的用户能够稳定地访问模型。

你可以通过标准 HTTP 请求发送输入，并接收结构化输出，因此可以轻松将模型连接到应用、脚本或自动化工作流程。这种方案非常适合开发、测试、集成或轻量级使用场景，也适合在迁移到更具可扩展性的生产部署之前使用。

通过专用端点在全球范围部署模型#

模型准备好投入生产后，就需要可靠地处理真实流量并支持大规模运行。Ultralytics Platform 通过专用端点满足这一需求，模型以单租户服务的形式部署在全球 42 个地区。将部署位置设在更靠近终端用户的地方，有助于降低延迟，并在不同地区保持稳定的性能。

每个端点都拥有独立分配的计算资源和用于推理请求的唯一 URL。这种控制能力让你可以根据性能需求轻松调整部署，从轻量级应用到需要更多计算资源的高负载应用都能应对。

图 3. 你可以使用 Ultralytics Platform 在全球 42 个地区部署模型（来源）

使用默认资源时，空闲的专用端点会缩容至零，并在收到新请求时重新启动，无需人工干预即可帮助优化资源使用。自定义规格的端点则会保留一个热实例。

使用 Ultralytics Platform 轻松导出模型#

如今，随着越来越多的应用依赖直接在智能手机、摄像头和嵌入式系统等设备上运行模型，边缘 AI 正变得日益重要。在本地运行模型还有助于满足数据隐私要求，因为图像或视频流等敏感数据可以直接在设备上处理，而无需发送到外部服务器。

在这些场景中，模型需要在 Ultralytics Platform 之外运行，因此模型导出是部署流程中的关键环节。Ultralytics YOLO 模型通常使用 Python 和 PyTorch 进行训练，之后可以导出为 17 种以上的格式，包括 ONNX、TensorRT、CoreML 和 OpenVINO。

丰富的格式确保模型兼容各类硬件，从高性能图形处理器（GPU）到移动设备和嵌入式设备都能支持。此外，导出还支持针对特定环境进行性能调优。

根据格式不同，模型可以实现更快的推理速度，例如通过 TensorRT 提升 GPU 性能，或使用 ONNX 和 OpenVINO 优化 CPU 执行。FP16 和 INT8 等量化选项还可以进一步减小模型体积并提高吞吐量，这对边缘部署尤其有用。

在 Ultralytics Platform 上，导出功能已直接集成到工作流程中，只需点击几下即可快速生成优化后的模型。团队可以从训练直接转向在外部系统上运行模型，无需增加额外开销。

图 4. Ultralytics Platform 中的多种导出格式。

选择合适的模型部署选项#

Ultralytics Platform 中的每种部署选项都适用于工作流的不同阶段，从早期测试到生产应用。下面概述了各选项的适用场景：

• Predict 选项卡：通常在训练或微调完成后使用，让你通过基于浏览器的推理验证模型在新数据上的表现。
• 共享推理：在这一阶段，你可以通过 API 将模型集成到应用中，从而在开发过程中测试真实场景下的交互。
• 专用端点：用于生产部署，让模型保持稳定性能、使用专属资源，并能扩展到全球各区域。
• 模型导出：当模型需要在平台之外运行时，可以通过导出将模型部署到边缘设备、移动应用或自定义基础设施上。

团队通常会逐步使用这些选项，从验证到集成，最终完成生产部署，全程都在平台内进行。

通过 Ultralytics Platform 监控已部署模型#

部署至关重要，但视觉流水线并不会就此结束。模型投入生产运行后，持续监控是确保模型长期可靠运行的关键。

Ultralytics Platform 提供内置监控工具，让团队清楚了解视觉 AI 模型长期以来的运行情况，从而支持更规范的机器学习运维（MLOps）工作流。

Deploy 页面包含一个仪表板，可跟踪总请求数、活跃部署、响应延迟和错误率等关键指标。这些洞察有助于团队了解使用模式、评估系统响应能力，并确保不同工作负载下都能保持低延迟性能。

图 5. Ultralytics Platform 让已部署模型的监控变得简单。（来源）

每个专用端点还提供单独的部署视图，支持详细的可观测性，包括访问日志、模型健康状态和实时性能数据。日志可用于调试问题、追踪失败的请求，并识别与依赖项或基础设施有关的潜在问题。

随着生产环境不断变化，输入数据变动、扩容需求或使用模式转变等因素都可能影响模型的准确性和鲁棒性。通过持续监控性能指标，团队可以检测异常、发现瓶颈，并采取模型优化或资源调整等纠正措施，从而保持模型服务稳定可靠。

构建可扩展的计算机视觉模型部署#

传统上，扩展计算机视觉系统意味着把原本就不是为协同工作而设计的工作流和框架拼接在一起。数据管道、训练循环、部署基础设施和监控系统往往彼此分离，导致每个阶段都存在阻碍。

真正的挑战不仅在于构建模型，还在于让模型持续推进：从数据到生产环境，适应新的输入，应对不断增长的需求，并持续改进而不降低速度。

Ultralytics Platform 的突出之处在于，这种持续运转能力是内置的。它不把每个阶段视为独立步骤，而是将它们连接成一个持续循环，让模型可以在同一环境中完成开发、部署、观测和更新。

这种转变改变了团队扩展系统的方式。重点不再是编排工具或基础设施，而是在系统扩展时保持发展势头。

要点#

将计算机视觉等机器学习模型应用于现实场景，要求模型可靠、可扩展且易于管理。Ultralytics Platform 将模型服务、部署和监控等多种功能整合到一个统一环境中，简化了这一流程。凭借灵活的部署选项和内置工具，团队可以更快地从实验阶段进入生产阶段，同时减少复杂性。

访问我们的社区，并查看我们的 GitHub 代码库，了解更多信息。浏览我们的解决方案页面，了解医疗保健领域的 AI和物流领域的计算机视觉等应用。了解我们的许可选项，立即开始构建！