Ultralytics Platform如何简化计算机视觉模型部署

多年来，Ultralytics 一直与计算机视觉社区紧密合作，致力于创建模型和工具，让视觉 AI 更易于所有人使用。借助 Ultralytics 平台，我们更进一步，将整个计算机视觉开发工作流程整合到一个统一的环境中，涵盖从数据集管理和标注到模型训练、验证和部署的所有环节。

特别是，我们很高兴能让计算机视觉模型部署变得更简单。随着计算机视觉不断进入实际应用，在受控环境之外分析图像和视频仍然很复杂。 

与条件可预测的测试设置不同，实际场景涉及多变的光照、不断变化的输入和不可预测的工作负载，这使得部署成为视觉工作流程中最具挑战性的部分之一。

部署不仅仅是让模型可用。它还需要建立能够处理真实世界数据的流程，并确保随着使用量的增长和项目规模的扩大，一切都能顺利运行。 

团队还需要长期跟踪性能并保持可靠性。这通常意味着需要在不同的AI工具之间切换，以进行测试、集成、部署和监控，这会减缓模型开发并增加不必要的复杂性。

Workflows 最终变得碎片化。Ultralytics Platform 统一并简化了这一过程。

它在单一环境中提供模型服务、测试和监控的内置支持。团队可以使用基于浏览器的推理来验证模型，通过共享推理服务将其集成到应用程序中，并部署到具有性能监控功能的专用端点。

在本文中，我们将探讨 Ultralytics Platform 如何重新定义计算机视觉模型部署，涵盖从测试和集成到生产部署和监控的全过程。让我们开始吧！

计算机视觉模型部署概述

在机器学习生命周期中，模型部署是模型从实验阶段进入实际应用阶段。对于使用深度学习和卷积神经网络构建的计算机视觉模型而言，这通常意味着使它们能够实时处理图像和视频。

一旦部署，这些模型会接收新数据，这些数据通常会经过调整大小、归一化或格式化等预处理步骤。然后将处理后的数据传递给模型，模型会应用在训练期间学到的模式，以生成高精度的预测。

根据用例，这可以包括不同的计算机视觉任务。例如，Ultralytics YOLO 模型，例如Ultralytics YOLO26，支持广泛的视觉任务，包括目标检测、图像分类、实例 segment、姿势估计 和 旋转框检测 (OBB) detect。

为了使这在实际应用中可行，模型通常需要集成到能够高效处理预处理和推理的系统中。这就是部署基础设施变得至关重要的地方。

在生产环境中，模型通常通过 REST API 或模型服务系统进行访问。这些接口允许应用程序以编程方式发送数据和接收预测，从而更容易与依赖实时视觉理解的外部应用程序、物联网设备或机器人系统集成。

传统计算机视觉部署工具的局限性

计算机视觉模型部署听起来可能很简单，但到目前为止，在实践中却大相径庭。考虑一个常见的设置：数据首先从摄像头或传感器捕获，发送到模型进行推理，然后作为预测返回给应用程序。

实际上，这些步骤中的每一个通常都由独立的工具和服务处理。一个系统可能处理数据捕获，另一个管理模型服务，而额外的工具则用于扩展、监控和日志记录。保持这些组件的连接和可靠运行会很快变得复杂。

随着使用量的增长，这种复杂性也会增加。管理基础设施、处理依赖关系以及在端到端管道中保持一致的性能会减缓开发速度，并使在实际应用中部署计算机视觉模型变得更加困难。

Ultralytics Platform 将这些组件整合到一个统一的环境中。这提供了一种更具凝聚力的方式来管理整个部署工作流程，同时支持大规模的性能和可靠性。

Ultralytics Platform 提供的模型部署选项

除了统一模型部署流程之外，Ultralytics Platform 还为模型的部署和使用方式带来了灵活性。

为支持计算机视觉模型部署的不同阶段，该平台提供四种选项：基于浏览器的即时推理测试、通过API共享推理以进行开发、用于全球范围内可扩展生产部署的专用端点，以及用于在外部基础设施或边缘设备上运行模型的模型导出。

那么，让我们仔细看看这些选项是如何工作的。

使用预测选项卡快速验证模型

在将模型投入生产之前，了解它在新数据、未见过的数据上的表现非常重要。Ultralytics Platform 包含一个内置的“预测”选项卡，允许您直接在浏览器中运行推理，无需任何设置、基础设施或依赖项。

“预测”选项卡使模型验证变得快速且交互。您可以上传图像、使用预加载示例或通过网络摄像头捕获输入，一旦提供数据，推理就会自动运行。 

结果即时显示，带有视觉叠加、置信度分数和详细输出，让您清楚地了解模型的行为方式。

这意味着只需几次点击，您就可以在部署之前，在单一界面中测试不同的输入、调整参数并评估性能。

运行共享推理以进行测试或轻量级使用

假设您已经训练了一个模型并使用“预测”选项卡对其进行了验证。下一步通常是将该模型集成到应用程序或工作流中。 

无需设置基础设施或管理服务器，Ultralytics Platform 提供共享推理服务，让您可以通过简单的REST API将数据发送到您的模型并接收预测。

在幕后，共享推理在一个多租户系统上运行，跨越几个核心区域，请求会自动路由到最近的可用服务。这有助于保持响应性能，同时使不同位置的用户能够一致地访问模型。

您可以使用标准 HTTP 请求发送输入并接收结构化输出，从而可以轻松地将模型连接到应用程序、脚本或自动化工作流。这种设置是开发、测试、集成或轻量级使用的绝佳选择，之后可以迁移到更具可扩展性的生产部署。

通过专用端点在全球部署模型

一旦模型准备好投入生产，它需要可靠地大规模处理实际流量。Ultralytics Platform 通过 专用端点 支持这一点，模型作为单租户服务运行，跨越 43个全球区域。部署到离最终用户更近的地方有助于减少延迟并保持不同位置之间的一致性能。

每个端点都运行着自己分配的计算资源以及用于推理请求的唯一URL。这种控制级别使得可以根据性能需求轻松调整部署，从轻量级用例到需要更多计算资源的更严苛、高吞吐量应用程序。

然而，专用端点本身旨在处理不断变化的工作负载，具有根据传入流量调整资源的自动扩缩功能。它们在需求高峰期进行扩容，并在使用量下降时缩容。默认启用“缩容到零”功能后，空闲端点会自动关闭并在新请求到达时重新启动，有助于在无需手动干预的情况下优化资源使用。

使用Ultralytics Platform轻松导出您的模型

如今，边缘AI变得越来越重要，因为越来越多的应用程序依赖于直接在智能手机、摄像头和嵌入式系统等设备上运行模型。在本地运行模型还有助于满足数据隐私要求，因为图像或视频流等敏感数据可以直接在设备上处理，而无需发送到外部服务器。

在这些场景中，模型需要在Ultralytics Platform之外运行，使模型导出成为部署过程的关键部分。Ultralytics YOLO模型通常使用python和PyTorch进行训练，然后可以导出为17+种不同的格式，包括ONNX、TensorRT、CoreML和OpenVINO。 

如此广泛的格式确保了与各种硬件的兼容性，从高性能图形处理单元（GPU）到移动和嵌入式设备。此外，导出还支持针对特定环境的性能调优。 

根据格式的不同，模型可以实现更快的推理速度，例如使用TensorRT提高GPU性能，或使用ONNX和OpenVINO优化CPU执行。FP16和INT8量化等选项可以进一步减小模型大小并提高吞吐量，这对于边缘部署尤其有用。

在Ultralytics Platform上，导出功能直接集成到工作流中，只需点击几下即可快速生成优化模型。团队可以从训练无缝过渡到在外部系统上运行模型，而不会增加额外的负担。

选择正确的模型部署选项

Ultralytics Platform中的每个部署选项都支持工作流的不同阶段，从早期测试到生产使用。以下是您何时可能使用每个选项的概述：

• 预测选项卡：这通常在训练或微调之后使用，当您希望使用基于浏览器的推理来验证模型在新数据上的表现时。
• 共享推理：在此阶段，模型可以通过 API 集成到应用程序中，从而可以在开发过程中测试真实世界的交互。
• 专用端点: 这些用于生产部署，模型需要一致的性能、专用资源以及在全球范围内扩展的能力。
• 模型导出：当模型需要在平台外部运行时，导出选项使其能够在边缘设备、移动应用程序或自定义基础设施上部署。

团队通常会逐步使用这些选项，从验证到集成，最后到生产部署，所有这些都在平台内完成。

通过Ultralytics Platform监控已部署模型

部署固然重要，但视觉AI流程并非止步于此。一旦模型投入生产运行，持续监控是确保其长期可靠运行的关键。

Ultralytics Platform 提供内置监控工具，让团队清晰了解其视觉AI模型随时间变化的表现，从而支持更结构化的机器学习运维（MLOps）工作流程。

部署页面包含一个仪表板，可跟踪总请求数、活跃部署、响应延迟和错误率等关键指标。这些洞察有助于团队了解使用模式、评估系统响应能力，并确保在不同工作负载下的低延迟性能。

每个专用端点还通过独立的部署视图提供详细的可观测性。这包括对日志、模型健康状态和实时性能数据的访问。日志可用于调试问题、追踪失败的请求，并识别与依赖项或基础设施相关的潜在问题。

随着生产环境的演变，输入数据变化、扩展需求或使用模式转变等因素都可能影响模型的准确性和鲁棒性。通过持续监控性能指标，团队可以检测异常、识别瓶颈，并采取模型优化或资源调整等纠正措施，以保持模型服务的持续性和可靠性。

将可扩展性融入计算机视觉模型部署

传统上，扩展计算机视觉系统意味着将原本并非设计为一体的各种工作流和框架拼凑起来。数据管道、训练循环、部署基础设施和监控系统通常各自独立，在每个阶段都造成了摩擦。

真正的挑战不仅在于构建模型，还在于使其持续运行。从数据到生产，适应新的输入，处理不断增长的需求，并在不减速的情况下持续改进。

Ultralytics Platform 的突出之处在于其内置的流程。它没有将每个阶段视为独立的步骤，而是将它们连接成一个连续的循环，在同一环境中进行模型的开发、部署、观察和更新。

这种转变改变了团队扩展的方式。它不再是关于工具或基础设施的编排，而是关于在系统增长时保持发展势头。

主要要点

将计算机视觉模型等机器学习模型应用于实际场景，需要它们具备可靠性、可扩展性和易管理性。Ultralytics Platform 通过将模型服务、部署和监控等多种功能整合到一个统一环境中，简化了这一过程。凭借灵活的部署选项和内置工具，团队可以更快、更简单地从实验阶段过渡到生产阶段。

访问我们的 社区 并探索我们的 GitHub 仓库 以了解更多信息。浏览我们的解决方案页面，查看各种应用，例如 AI 在医疗保健领域的应用 和 计算机视觉在物流领域的应用。了解我们的 许可选项，立即开始构建！