Ultralytics Platform 如何简化计算机视觉模型部署

多年来，Ultralytics 一直与计算机视觉社区合作，创建模型和工具，让每个人都能更轻松地使用视觉 AI。借助 Ultralytics Platform，我们更进一步，将整个计算机视觉开发工作流整合到一个统一环境中，涵盖从数据集管理和标注到模型训练、验证和部署的各个环节。

特别是，我们很高兴能让计算机视觉模型部署变得更加简单。随着计算机视觉不断应用于实际场景，在受控环境之外分析图像和视频仍然很复杂。

与条件可预测的测试环境不同，现实场景包含变化的光照、不断变化的输入和不可预测的工作负载，因此部署成为视觉工作流中最具挑战性的环节之一。

部署不仅仅是让模型可供使用，还需要建立能够处理真实世界数据的流程，并确保随着使用量增长和项目扩展，一切都能顺利运行。

团队还需要持续跟踪性能并保持可靠性。这通常意味着要在用于测试、集成、部署和监控的不同 AI 工具之间切换，这会拖慢模型开发速度并增加不必要的复杂性。

最终，工作流变得支离破碎。Ultralytics Platform 将这一过程统一并简化。

它在单一环境中内置了模型服务、测试和监控支持。团队可以使用基于浏览器的推理来验证模型，通过共享推理服务将模型集成到应用中，并部署到具备性能监控功能的专用端点。

图 1. Ultralytics Platform 部署页面一览（来源）

本文将探讨 Ultralytics Platform 如何重新定义计算机视觉模型部署，涵盖从测试和集成到生产部署与监控的全过程。让我们开始吧！

计算机视觉模型部署概览#

在机器学习生命周期中，模型部署是模型从实验阶段进入实际应用的环节。对于使用深度学习和卷积神经网络构建的计算机视觉模型，这通常意味着让模型能够实时处理图像和视频。

部署后，这些模型会接收新数据，而数据通常要经过调整大小、归一化或格式化等预处理步骤。处理后的数据随后会传递给模型，模型应用训练期间学到的模式，生成高精度预测结果。

根据使用场景的不同，这可能涉及各种计算机视觉任务。例如，Ultralytics YOLO 模型（如 Ultralytics YOLO26）支持广泛的视觉任务，包括目标检测、图像分类、实例分割、姿态估计和定向边界框（OBB）检测。

要让模型在实际应用中发挥作用，通常需要将其集成到能够高效处理预处理和推理的系统中。这正是部署基础设施不可或缺的原因。

在生产环境中，模型通常通过 REST API 或模型服务系统访问。这些接口允许应用以编程方式发送数据并接收预测结果，从而更容易与外部应用、物联网设备或依赖实时视觉理解的机器人系统集成。

传统计算机视觉部署工具的局限性#

计算机视觉模型部署听起来可能很简单，但直到现在，实际情况往往大不相同。考虑一种常见设置：数据首先从摄像头或传感器采集，发送给模型进行推理，然后以预测结果的形式返回应用。

实际上，这些步骤通常分别由不同的工具和服务处理。一个系统可能负责数据采集，另一个负责模型服务，同时还要使用其他工具进行扩展、监控和日志记录。要让这些组件保持连接并可靠运行，很快就会变得复杂。

随着使用量增长，这种复杂性也会增加。管理基础设施、处理依赖项，以及在端到端流水线中保持一致的性能，都会拖慢开发速度，并使计算机视觉模型更难部署到实际应用中。

Ultralytics Platform 将这些组件整合到一个统一环境中，从而以更加连贯的方式管理整个部署工作流，同时支持大规模运行时的性能和可靠性。

Ultralytics Platform 支持的模型部署选项#

除了统一模型部署流程外，Ultralytics Platform 还让模型的部署和使用方式更加灵活。

为支持计算机视觉模型部署的不同阶段，该平台提供四种选项：通过即时推理进行基于浏览器的测试、通过 API 共享推理以用于开发、通过专用端点在全球区域进行可扩展的生产部署，以及导出模型以便在外部基础设施或边缘设备上运行。

下面让我们进一步了解每种选项的工作方式。

使用 Predict 选项卡快速验证模型#

在将模型投入生产之前，了解它在新的、未见过的数据上的表现非常重要。Ultralytics Platform 内置了 Predict 选项卡，让你无需设置、基础设施或依赖项，即可直接在浏览器中运行推理。

Predict 选项卡让模型验证变得快速且交互性强。你可以上传图像、使用预加载示例或通过网络摄像头采集输入；数据提供后，推理会自动运行。

结果会立即显示，并包含可视化叠加层、置信度分数和详细输出，让你清晰了解模型的行为。

图 2. 使用 Predict 选项卡验证模型示例（来源）

这意味着，只需点击几下，你就可以测试不同输入、调整参数，并在同一界面中评估性能，然后再进入部署阶段。

运行共享推理以进行测试或轻量级使用#

假设你已经训练并使用 Predict 选项卡验证了模型。下一步通常是开始将该模型集成到应用或工作流中。

无需设置基础设施或管理服务器，Ultralytics Platform 提供共享推理服务，让你通过简单的 REST API 向模型发送数据并接收预测结果。

在后台，共享推理运行在覆盖几个核心区域的多租户系统上，请求会自动路由到最近的可用服务。这有助于保持响应性能，同时让不同地点的用户能够稳定访问模型。

你可以使用标准 HTTP 请求发送输入并接收结构化输出，因此很容易将模型连接到应用、脚本或自动化工作流。在迁移到更具扩展性的生产部署之前，这种设置非常适合开发、测试、集成或较轻量级的使用场景。

通过专用端点在全球范围部署模型#

模型准备投入生产后，需要可靠地处理真实世界的流量，并支持大规模运行。Ultralytics Platform 通过专用端点提供支持，模型以单租户服务的形式运行在全球 43 个区域中。将部署位置靠近终端用户有助于降低延迟，并在不同地点保持一致的性能。

每个端点都运行在独立分配的计算资源上，并拥有用于推理请求的唯一 URL。这种控制程度让你可以根据性能需求轻松调整部署，从轻量级使用场景到需要更多计算资源的高要求、高吞吐量应用均可适用。

图 3. 你可以使用 Ultralytics Platform 在全球 43 个区域部署模型（来源）

不过，专用端点的设计能够自行处理不断变化的工作负载，并根据传入流量通过自动扩展调整资源。需求较高时会扩容，使用量下降时会缩容。默认启用缩容至零后，空闲端点会自动关闭，并在新请求到达时重新启动，从而无需手动干预即可优化资源使用。

使用 Ultralytics Platform 轻松导出模型#

如今，随着越来越多的应用依赖在智能手机、摄像头和嵌入式系统等设备上直接运行模型，边缘 AI 变得越来越重要。在本地运行模型还有助于满足数据隐私要求，因为图像或视频流等敏感数据可以直接在设备上处理，而无需发送到外部服务器。

在这些场景中，模型需要在 Ultralytics Platform 之外运行，因此模型导出成为部署流程中的关键环节。Ultralytics YOLO 模型通常使用 Python 和 PyTorch 训练，随后可以导出为 17 种以上的不同格式，包括 ONNX、TensorRT、CoreML 和 OpenVINO。

如此丰富的格式可确保兼容多种硬件，从高性能图形处理单元（GPUs）到移动设备和嵌入式设备。此外，导出还支持针对特定环境进行性能调优。

根据格式的不同，模型可以实现更快的推理速度，例如使用 TensorRT 提升 GPU 性能，或使用 ONNX 和 OpenVINO 优化 CPU 执行。FP16 和 INT8 量化等选项还可以进一步减小模型大小并提高吞吐量，这对边缘部署尤其有用。

在 Ultralytics Platform 中，导出功能直接集成在工作流内，只需点击几下即可快速生成优化后的模型。团队可以从训练阶段直接转向在外部系统上运行模型，而无需增加额外负担。

图 4. Ultralytics Platform 上的导出格式选择。

选择合适的模型部署选项#

Ultralytics Platform 中的每个部署选项都支持工作流中的不同阶段，从早期测试到生产使用。以下是各选项的适用时机概览：

• Predict 选项卡：通常在训练或微调后立即使用，此时你希望通过基于浏览器的推理验证模型在新数据上的表现。
• 共享推理：在这一阶段，你可以通过 API 将模型集成到应用中，从而在开发期间测试真实世界的交互。
• 专用端点：用于生产部署，此时模型需要稳定的性能、专用资源，以及跨全球区域扩展的能力。
• 模型导出：当模型需要在平台之外运行时，导出选项支持将其部署到边缘设备、移动应用或自定义基础设施上。

团队通常会逐步使用这些选项，从验证到集成，最终完成生产部署，整个过程都在平台内进行。

通过 Ultralytics Platform 监控已部署模型#

部署固然重要，但视觉流水线并不会就此结束。模型投入生产运行后，持续监控是确保其长期可靠运行的关键。

Ultralytics Platform 提供内置监控工具，让团队清晰了解视觉 AI 模型随时间变化的行为，从而支持更加规范的机器学习运维（MLOps）工作流。

Deploy 页面包含一个仪表板，用于跟踪总请求数、活动部署、响应延迟和错误率等关键指标。这些数据有助于团队了解使用模式、评估系统响应能力，并确保不同工作负载下的低延迟性能。

图 5. Ultralytics Platform 让监控已部署模型变得简单。（来源）

每个专用端点还通过单独的部署视图提供详细的可观测性。这包括访问日志、模型健康状态和实时性能数据。日志可用于调试问题、追踪失败请求，以及发现与依赖项或基础设施相关的潜在问题。

随着生产环境不断变化，输入数据变化、扩展需求或使用模式转变等因素可能会影响模型的准确性和鲁棒性。通过持续监控性能指标，团队可以检测异常、发现瓶颈，并采取模型优化或资源调整等纠正措施，以保持一致且可靠的模型服务。

将可扩展性融入计算机视觉模型部署#

传统上，扩展计算机视觉系统意味着将原本并非为协同工作而设计的工作流和框架拼接在一起。数据流水线、训练循环、部署基础设施和监控系统通常彼此分离，导致每个阶段都存在摩擦。

真正的挑战不只是构建模型，而是让模型持续推进：从数据走向生产、适应新的输入、应对不断增长的需求，并在不降低速度的情况下持续改进。

Ultralytics Platform 的突出之处在于，这种持续推进能力是内置的。它不再将每个阶段视为独立步骤，而是将它们连接成一个持续循环，让模型能够在同一环境中完成开发、部署、观测和更新。

这种转变改变了团队扩展系统的方式。重点不再是编排工具或基础设施，而是在系统不断增长的过程中保持发展势头。

要点总结#

将计算机视觉模型等机器学习模型应用到实际场景中，需要确保它们可靠、可扩展且易于管理。Ultralytics Platform 将模型服务、部署和监控等多种功能整合到一个统一环境中，从而简化了这一过程。借助灵活的部署选项和内置工具，团队可以更快地从实验阶段进入生产阶段，同时减少复杂性。

访问我们的社区，并探索我们的 GitHub 仓库以了解更多信息。浏览我们的解决方案页面，了解医疗保健领域的 AI和物流领域的计算机视觉等多种应用。了解我们的许可选项，立即开始构建！