Ultralytics Platform 如何简化计算机视觉模型部署

多年来，Ultralytics 一直致力于与计算机视觉社区合作，通过创建各种模型和工具，让所有人都能更轻松地使用视觉 AI。借助 Ultralytics Platform，我们将整个计算机视觉开发工作流整合到一个统一的环境中，涵盖了从数据集管理、标注到模型训练、验证和部署的所有环节，从而更进一步地提升了开发体验。

我们尤其感到兴奋的是，我们让 computer vision 模型部署变得更加简单。随着计算机视觉不断进入实际应用场景，在受控环境之外分析图像和视频仍然是一项复杂的任务。

与条件可预测的测试环境不同，现实场景涉及多变的光照、不断变化的输入以及难以预料的工作负载，这使得部署成为视觉工作流中最具挑战性的部分之一。

部署不仅仅是让模型可用那么简单。它需要建立能够处理现实世界数据的流程，并确保随着使用量增长和项目规模扩大，一切都能平稳运行。

团队还需要长期追踪性能并保持可靠性。这通常意味着需要在不同的 AI 测试、集成、部署和监控工具之间来回切换，这会拖慢模型开发进度并增加不必要的复杂性。

工作流最终会变得支离破碎。Ultralytics Platform 统一并简化了这一流程。

它在单一环境中提供了内置的模型服务、测试和监控支持。团队可以使用基于浏览器的推理来验证模型，通过共享推理服务将其集成到应用程序中，并部署到具有性能监控功能的专用端点。

图 1. Ultralytics Platform 内部的部署页面概览 (来源)

在本文中，我们将探讨 Ultralytics Platform 如何重新定义计算机视觉 model deployment，从测试和集成到生产环境部署与监控。让我们开始吧！

Link to this section计算机视觉模型部署概述#

在机器学习生命周期中，模型部署是将模型从实验阶段推向实际应用阶段的环节。对于使用深度学习和卷积神经网络构建的 computer vision models 来说，这通常意味着让它们能够实时处理图像和视频。

部署后，模型会接收新数据，这些数据通常会经过调整大小、标准化或格式化等预处理步骤。处理后的数据随后被传递给模型，模型应用在训练期间学到的模式来生成高精度的预测结果。

根据使用场景的不同，这可能涉及多种计算机视觉任务。例如，Ultralytics YOLO 模型（如 Ultralytics YOLO26）支持广泛的视觉任务，包括目标检测、图像分类、实例分割、姿态估计和定向边界框 (OBB) 检测。

为了在实际应用中实现这一点，模型通常需要集成到能够同时高效处理预处理和推理的系统中。这就是部署基础设施变得至关重要的原因。

在生产环境中，通常通过 REST API 或模型服务系统来访问模型。这些接口允许应用程序通过编程方式发送数据并接收预测结果，从而更容易与依赖实时视觉理解的外部应用、IoT 设备或机器人系统集成。

Link to this section传统计算机视觉部署工具的局限性#

计算机视觉模型部署听起来很简单，但在实践中，情况却大不相同。考虑一个常见的设置：数据首先从摄像头或传感器捕获，发送给模型进行推理，然后以预测结果的形式返回给应用程序。

实际上，这些步骤中的每一个通常都由独立的工具和服务处理。一个系统可能负责数据捕获，另一个管理模型服务，而扩展、监控和日志记录则需要额外的工具。保持这些组件的连接并可靠运行，很快就会变得非常复杂。

随着使用量增加，这种复杂性会进一步加剧。管理基础设施、处理依赖关系以及在整个端到端流程中保持一致的性能，可能会拖慢开发进度，并使在实际应用中部署计算机视觉模型变得更加困难。

Ultralytics Platform 将这些组件集成到了一个单一、统一的环境中。这提供了一种更具凝聚力的方式来管理整个部署工作流，同时支持大规模环境下的性能与可靠性。

Link to this sectionUltralytics Platform 启用的模型部署选项#

除了统一模型部署流程外，Ultralytics Platform 还为模型如何部署和使用带来了灵活性。

为了支持计算机视觉模型部署的不同阶段，该平台提供了四种选项：带有即时推理的基于浏览器的测试、用于开发的共享 API 推理、跨全球区域可扩展生产部署的专用端点，以及用于在外部基础设施或边缘设备上运行模型的模型导出功能。

让我们仔细看看这些选项是如何工作的。

Link to this section使用 Predict 选项卡快速验证模型#

在将模型投入生产之前，了解其在新的未见数据上的表现非常重要。Ultralytics Platform 包含一个内置的 Predict 选项卡，让你无需任何设置、基础设施或依赖项，即可直接在浏览器中 run inference。

Predict 选项卡让模型验证变得快速且互动。你可以上传图片、使用预加载示例或通过网络摄像头捕获输入，一旦提供数据，推理就会自动运行。

结果会立即显示，并带有视觉叠加、置信度得分和详细输出，让你清晰地看到模型的表现。

图 2. 使用 Predict 选项卡验证模型的示例 (来源)

这意味着只需点击几下，你就可以在单一界面中测试不同输入、调整参数并评估性能，然后再进入部署阶段。

Link to this section运行用于测试或轻量级使用的共享推理#

假设你已经训练好模型并使用 Predict 选项卡进行了验证。下一步通常是将该模型集成到应用程序或工作流中。

无需设置基础设施或管理服务器，Ultralytics Platform 提供共享推理服务，让你能通过简单的 REST API 将数据发送给模型并接收预测结果。

在后台，共享推理运行在一个跨越几个核心区域的多租户系统上，请求会自动路由到最近的可用服务。这有助于保持响应性能，同时使不同地点的用户能够持续访问模型。

你可以使用标准的 HTTP 请求发送输入并接收结构化输出，从而轻松将模型连接到应用程序、脚本或自动化工作流。对于开发、测试、集成或在转向更具扩展性的生产部署之前的轻量级使用，这是一种理想的选择。

Link to this section通过专用端点在全球范围内部署模型#

一旦模型准备好投入生产，它就需要可靠且大规模地处理现实世界流量。Ultralytics Platform 通过 dedicated endpoints 支持这一需求，模型作为单租户服务在 43 global regions 运行。在靠近终端用户的地方部署有助于减少延迟，并保持跨不同位置的一致性能。

每个端点都在其分配的计算资源下运行，并拥有用于推理请求的唯一 URL。这种级别的控制使得根据性能需求调整部署变得很容易，涵盖了从轻量级用例到需要更多计算资源的高吞吐量应用。

图 3. 你可以使用 Ultralytics Platform 在 43 个全球区域部署模型 (来源)

专用端点本身被设计为能够处理不断变化的工作负载，通过自动缩放功能根据传入流量调整资源。它们在高需求期间扩展，并在使用量下降时缩小。由于默认启用了缩放到零功能，空闲端点会自动关闭并在新请求到达时重启，从而在无需人工干预的情况下帮助优化资源使用。

Link to this section使用 Ultralytics Platform 轻松导出模型#

如今，随着越来越多的应用依赖于在智能手机、摄像头和嵌入式系统等设备上直接运行模型，边缘 AI 变得越来越重要。本地运行模型还可以帮助满足数据隐私要求，因为敏感数据（如图像或视频流）可以在设备上直接处理，而无需发送到外部服务器。

在这种场景下，模型需要在 Ultralytics Platform 之外运行，这使得模型导出成为部署流程的关键部分。Ultralytics YOLO 模型通常使用 Python 和 PyTorch 进行训练，之后可以导出为 17 种以上的不同格式，包括 ONNX、TensorRT、CoreML 和 OpenVINO。

这种广泛的格式支持确保了跨多种硬件的兼容性，从高性能图形处理器 (GPU) 到移动设备和嵌入式设备均可使用。此外，导出功能还支持针对特定环境进行性能调优。

根据格式的不同，模型可以实现更快的推理速度，例如通过 TensorRT 提升 GPU 性能，或通过 ONNX 和 OpenVINO 优化 CPU 执行。FP16 和 INT8 量化等选项可以进一步减小模型大小并提高吞吐量，这对边缘部署尤为有用。

在 Ultralytics Platform 上，导出功能直接内置于工作流中，只需点击几下即可快速生成优化后的模型。团队可以从训练无缝衔接到在外部系统上运行模型，而无需增加额外的负担。

图 4. Ultralytics Platform 上的导出格式选择。

Link to this section选择合适的模型部署选项#

Ultralytics Platform 中的每个部署选项都支持工作流的不同阶段，从早期测试到生产环境使用。以下是你何时可以使用每个选项的概述：

• Predict 选项卡：通常在训练或微调后立即使用，当你想要使用基于浏览器的推理来验证模型在新数据上的表现时。
• 共享推理：在此阶段，可以通过 API 将模型集成到应用程序中，从而能够在开发过程中测试实际应用场景中的交互。
• 专用端点：用于生产部署，模型需要一致的性能、专用资源以及跨全球区域进行扩展的能力。
• 模型导出：当模型需要在平台外运行时，导出选项使模型能够在边缘设备、移动应用或自定义基础设施上进行部署。

团队通常会按步骤执行这些选项，从验证到集成，最后到生产部署，所有这些都在平台内完成。

Link to this section通过 Ultralytics Platform 监控部署的模型#

尽管部署至关重要，但视觉管道并未就此结束。一旦模型在生产中运行，持续的监控对于确保其长期可靠的表现是关键。

Ultralytics Platform 提供 built-in monitoring 工具，使团队能够清楚地了解其视觉 AI 模型随时间的表现，支持更结构化的机器学习运维 (MLOps) 工作流。

Deploy 页面包含一个仪表板，可跟踪请求总数、活动部署、响应延迟和错误率等关键指标。这些见解有助于团队理解使用模式、评估系统响应能力，并确保在不同工作负载下实现低延迟性能。

图 5. Ultralytics Platform 让监控部署的模型变得简单。(来源)

每个专用端点还通过独立的部署视图提供详细的可观测性。这包括访问日志、模型健康状态和实时性能数据。日志可用于调试问题、追踪失败请求以及识别与依赖关系或基础设施相关的潜在问题。

随着生产环境的发展，输入数据的变化、扩展需求或使用模式的转变都可能影响模型的准确性和鲁棒性。通过持续监控性能指标，团队可以检测异常、识别瓶颈，并采取诸如模型优化或资源调整等纠正措施，以保持一致且可靠的模型服务。

Link to this section将可扩展性内置于计算机视觉模型部署中#

扩展计算机视觉系统在传统上意味着拼凑出从未被设计为协同工作的各种工作流和框架。数据管道、训练循环、部署基础设施和监控系统往往分散在不同地方，在每个阶段都会产生摩擦。

真正的挑战不仅是构建模型，而是保持它们的运行。从数据到生产，适应新的输入，处理增长的需求，并持续改进而不减速。

Ultralytics Platform 的突出之处在于这种连续性是内置的。它不再将每个阶段视为独立步骤，而是将其连接成一个连续循环，模型可以在同一环境中进行开发、部署、观测和更新。

这种转变改变了团队扩展的方式。它不再是关于工具或基础设施的编排，而是关于在系统增长时保持动力。

Link to this section关键要点#

将像计算机视觉模型这样的机器学习模型引入实际应用，要求它们必须可靠、可扩展且易于管理。Ultralytics Platform 通过将模型服务、部署和监控等多种功能结合到一个统一的环境中，简化了这一流程。凭借灵活的部署选项和内置工具，团队可以以更少的复杂性更快地从实验转向生产。

查看我们的 community 并探索我们的 GitHub repository 以了解更多信息。浏览我们的解决方案页面，查看各种应用场景，如 AI in healthcare 和 computer vision in logistics。了解我们的 licensing options 并立即开始构建吧！