Ultralytics YOLO27:
Ultralytics YOLO

在边缘端和云端高效部署 YOLO26 的 5 大技巧

了解在边缘端和云端高效部署 Ultralytics YOLO26 的 5 个实用技巧,涵盖如何选择合适的工作流和导出格式,以及量化。

ABAbirami Vina9 分钟阅读
在边缘端和云端高效部署 Ultralytics YOLO26 的技巧

上个月,Ultralytics 正式推出了 Ultralytics YOLO26,为视觉 AI树立了新标准。视觉 AI 是人工智能的一个分支,使机器能够解读和理解图像及视频中的视觉信息。Ultralytics YOLO 模型等计算机视觉模型不只是简单地捕捉影像,还支持目标检测、实例分割、姿势估计和图像分类等视觉任务。

Ultralytics YOLO26 面向计算机视觉的实际运行环境而打造,能够在设备、摄像头、机器人和生产系统上运行。这款先进模型可在真实环境中实现更快的中央处理器 (CPU) 推理、更简单的部署和高效的端到端性能。YOLO26 模型还经过专门设计,可轻松将计算机视觉解决方案从实验阶段迁移到生产环境。

Ultralytics YOLO26 nano 模型的 CPU 推理速度比 YOLO11 最快提升 43%

图 1. YOLO26 nano 模型的 CPU 推理速度比 YOLO11 最快提升 43%。(来源)

模型部署通常需要考虑多项因素,例如选择合适的硬件、选择恰当的导出格式、优化性能,以及在真实环境中验证结果。借助 Ultralytics Python 软件包,部署 YOLO26 时可以轻松处理这些步骤,因为该软件包简化了面向多种部署目标的训练、推理和模型导出流程。

不过,即便工作流程得到简化,做出正确的部署决策仍然至关重要。在本文中,我们将介绍五条实用建议,帮助你在边缘和云环境中高效部署 Ultralytics YOLO26,确保视觉 AI 在生产环境中可靠运行并具备良好的可扩展性。现在开始吧!

什么是计算机视觉中的模型部署?#

在深入探讨 Ultralytics YOLO26 的部署策略之前,我们先退一步,了解模型部署在计算机视觉中的含义。

模型部署是指将训练好的深度学习模型从开发环境迁移到实际应用中的过程,让模型能够持续处理新的图像或视频流并生成预测结果。模型不再只是在静态数据集上运行实验,而是成为实时系统的一部分。

在计算机视觉中,这通常意味着将模型与摄像头、边缘 AI 设备、API 或云基础设施集成。模型必须在硬件限制下运行,满足延迟要求,并在不断变化的真实环境中保持稳定的性能。

理解从实验到生产的这一转变至关重要,因为部署决策会直接影响模型在实验室或实验环境之外的表现。

了解 Ultralytics YOLO26 部署工作流程#

接下来,我们来看看 Ultralytics YOLO26 部署工作流程实际包含哪些内容。简单来说,它是一系列步骤,将图像从拍摄开始,经过分析,最终转化为预测结果。

在典型的设置中,摄像头会拍摄图像或视频帧。随后对数据进行预处理,例如调整大小或设置正确的格式,再将其输入 Ultralytics YOLO26 进行推理。

模型会分析输入内容,并生成边界框、分割掩码或关键点等输出结果。然后可以根据这些结果触发操作,例如发送警报、更新仪表板或引导机器人系统。

这一工作流程的运行位置取决于你的部署策略。例如,在边缘部署中,推理直接在设备上或摄像头附近进行,有助于降低延迟并提高数据隐私。

而在云部署中,图像或视频帧会发送到远程服务器进行处理,从而提高可扩展性并实现集中管理。有些系统采用混合方案,在边缘执行轻量级处理,在云端处理更繁重的任务。

探索 Ultralytics YOLO26 模型变体#

要做出明智的部署决策,还需要了解你可以选择不同的 Ultralytics YOLO26 模型变体。

Ultralytics YOLO 模型开箱即用,提供多种尺寸,让你可以轻松选择适合硬件和性能需求的版本。YOLO26 有五种变体:Nano (n)、Small (s)、Medium (m)、Large (l) 和 Extra Large (x)。

较小的模型(例如 YOLO26n)针对效率进行了优化,非常适合边缘设备、物联网 (IoT) 设备、嵌入式系统和由 CPU 驱动的系统,尤其适用于低延迟和低功耗至关重要的场景。它们在保持资源占用极低的同时,也能提供出色的性能。

较大的模型(例如 YOLO26l 和 YOLO26x)旨在实现更高的准确率并处理更复杂的场景。这些变体通常在配备图形处理器 (GPUs) 的系统或拥有更多计算资源的云环境中表现最佳。

选择合适的模型尺寸取决于你的部署目标。如果你的首要考虑是在受限硬件上实现速度和效率,那么较小的变体可能是理想选择。如果应用需要最高准确率,而且你可以使用更强大的硬件,那么较大的模型可能更适合。

高效部署 Ultralytics YOLO26 的建议#

现在我们对 Ultralytics YOLO26 模型变体和部署工作流程有了更深入的了解,接下来看看一些实用建议,帮助你在边缘和云环境中高效部署 YOLO26。

建议 1:考虑模型部署选项#

部署 Ultralytics YOLO26 时,你首先需要决定的一件事是模型将在何处运行。部署环境会直接影响性能、延迟、隐私和可扩展性。

首先评估你的工作流程。你的应用是否需要低延迟,也就是说,图像拍摄后几乎要立即生成预测结果?

例如,在机器人或安全系统中,即使是很小的延迟也可能影响性能。在这种情况下,边缘部署往往是最佳选择。在设备上或摄像头附近直接运行推理,可以缩短数据处理时间,并避免通过互联网发送图像,也有助于提高隐私保护水平。

另一方面,云部署具有更强的可扩展性和计算能力。云服务器可以处理大量图像、处理多个视频流,并支持更高的吞吐量。

例如,在农业领域,农民可能会采集数千张叶片图像并进行批量分析,以确定作物是否出现病害迹象。在这种情况下,可能不需要即时的实时性能,因此云端处理是一种实用且可扩展的选择。

使用 Ultralytics YOLO26 分析叶片图像的示例

图 2. 使用 Ultralytics YOLO26 分析叶片图像的示例

不过,将数据发送到远程服务器会带来网络延迟,也就是通过互联网传输图像并接收预测结果所造成的延误。对于不需要快速响应的应用,这种权衡或许可以接受。

纯边缘部署和纯云端部署之间还有其他选择。一些公司会使用靠近数据生成位置的本地部署基础设施。另一些公司则会构建混合管道,在边缘执行轻量级过滤,并将筛选后的数据发送到云端进行深入分析。

选择合适的部署方案取决于应用的需求。明确界定你对速度、隐私和可扩展性的要求,就能选出合适的策略,确保 Ultralytics YOLO26 在真实环境中可靠运行。

建议 2:选择与硬件相匹配的导出格式#

确定模型的运行位置后,下一步就是选择合适的导出格式。导出模型是指将模型从训练时使用的格式转换为针对部署进行优化的格式。

Ultralytics YOLO26 模型原生使用 PyTorch 构建和训练,但生产环境通常依赖更适合特定硬件的专用运行时。这些运行时旨在提高推理速度、减少内存使用,并确保与目标设备兼容。

将 YOLO26 转换为合适的格式后,就能让它在训练环境之外高效运行。Ultralytics Python 软件包让这一过程变得简单,并支持多种集成方案,助你构建和部署计算机视觉项目。

如果你想详细了解这些集成方案,可以查看Ultralytics 官方文档。文档提供分步教程、针对特定硬件的指导和实用示例,帮助你自信地将项目从开发阶段推进到生产阶段。

Ultralytics 支持不同的集成方案

图 3. Ultralytics 支持不同的集成方案(来源)

具体来说,Ultralytics Python 软件包支持将 Ultralytics YOLO26 导出为多种格式,以适配不同的硬件平台。例如,ONNX 导出格式支持跨平台兼容;TensorRT 导出格式针对 NVIDIA GPU 和 NVIDIA Jetson 边缘设备进行了优化;OpenVINO 导出格式则专为 Intel 硬件设计。

有些设备支持多种导出格式,但性能可能因所选格式而异。不要默认选用某种格式,而要问问自己:哪种选项对你的设备效率最高?

一种格式可能推理速度更快,另一种则可能更节省内存,或更容易集成到你现有的管道中。因此,务必让导出格式与你的特定硬件和部署环境相匹配。

花时间在目标设备上测试不同的导出选项,可以显著改善实际性能。与硬件匹配良好的导出格式有助于确保 Ultralytics YOLO26 高效、可靠地运行,并达到应用所需的速度。

提示 3:确认你的模型是否需要量化#

选择导出格式后,最好也确定是否应该对模型进行量化。

模型量化会降低模型权重和计算的数值精度,通常是将其从 32 位浮点数转换为 16 位或 8 位等较低精度格式。这有助于减小模型体积、降低内存占用并提升推理速度,尤其适用于边缘设备或由 CPU 驱动的系统。

根据你的硬件、导出格式和运行时依赖,量化可能会显著提升性能。某些运行时针对低精度模型进行了优化,因此能让模型运行得更快、更高效。

不过,如果量化处理不当,可能会对准确率造成轻微影响。执行训练后量化时,请确保传入验证图像。这些图像会在校准过程中使用,帮助模型适应较低精度并保持预测稳定。

提示 4:将数据漂移纳入考量#

即使是训练得最好的模型,也可能随着时间推移因数据漂移而导致性能下降。数据漂移是指模型在生产环境中看到的数据与训练时使用的数据不同。

换句话说,真实世界在变化,但你的模型没有变化。因此,准确率可能会逐渐下降。

例如,你可能使用白天拍摄的图像训练 Ultralytics YOLO26 模型。如果之后在夜间、不同光照条件下使用同一个模型,性能可能会下降。摄像机角度、天气状况、背景或物体外观发生变化时,也可能出现同样的问题。

数据漂移在真实世界的视觉 AI 系统中很常见。环境很少一成不变,细微变化也会影响检测准确率。为减少漂移的影响,你可以确保训练数据集尽可能贴近真实世界的情况。

纳入一天中不同时段、不同光照条件以及各种环境下拍摄的图像。部署后,你可以持续监控性能,并在需要时更新或微调模型。

提示 5:在真实环境中进行基准测试#

在全面部署模型之前,你可以在真实环境中对模型进行基准测试。

对比 Ultralytics YOLO26 与其他模型的基准测试

图 4. YOLO26 与其他模型的基准测试一览(来源)

在受控环境中使用示例图像或小型数据集测试性能很常见。不过,真实世界的系统往往表现不同。硬件限制、网络延迟、多路视频流和持续输入都可能影响性能。

基准测试是指衡量模型在实际运行设备和配置上的表现。这包括检查推理速度、整体延迟、内存使用量和系统稳定性。测试时不仅要检查模型本身,还要检查整个流程,包括预处理和任何后处理步骤。

模型在单张图像测试中可能表现良好,但在持续处理实时视频时却可能难以应对。同样,模型在高性能开发机器上的表现,也未必能反映它在低功耗边缘设备上的运行情况。

在贴近实际的条件下进行基准测试,可以及早发现瓶颈,并在正式上线前进行调整。在 Ultralytics YOLO26 将要运行的相同环境中进行测试,有助于确保模型在生产环境中可靠、稳定且表现一致。

模型部署的其他关键考量#

部署 Ultralytics YOLO26 时,还需要考虑以下因素:

  • 监控和日志记录:设置监控工具,在部署后跟踪延迟、准确率和系统运行状况等指标。
  • 安全与隐私:实施防护措施,保护敏感视觉数据,尤其是在使用云端或远程基础设施时。
  • 优化流程瓶颈:评估整个流程,包括预处理、推理、后处理和数据传输等模块,因为延迟可能出现在模型本身之外。
  • 可扩展性规划:提前做好扩展准备,确保系统能够应对流量增加、摄像头增多或工作负载扩大。

要点#

要高效部署 YOLO26,首先要了解模型的运行环境以及应用的实际需求。选择合适的部署方案,使导出格式与硬件相匹配,并在真实环境中测试性能,就能构建可靠、响应迅速的视觉 AI 系统。通过恰当的配置,Ultralytics YOLO26 可以更轻松地将快速、可用于生产的计算机视觉部署到边缘端和云端。

加入我们的社区,并探索我们的 GitHub 代码仓库。查看我们的解决方案页面,了解农业 AI和医疗保健中的计算机视觉等各种应用。了解我们的许可选项,立即开始使用视觉 AI!

Explore solutions

航空影像计算机视觉

航空影像计算机视觉

借助 Ultralytics YOLO,将无人机和航空影像转化为实时洞察,应用于农业、水产养殖、环境监测、自然保护和地理空间分析。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 应用于航空监测。借助计算机视觉解决方案,赋能无人机、航空航天工作流、环境保护和地理空间行业。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情
航空影像计算机视觉

航空影像计算机视觉

借助 Ultralytics YOLO,将无人机和航空影像转化为实时洞察,应用于农业、水产养殖、环境监测、自然保护和地理空间分析。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 应用于航空监测。借助计算机视觉解决方案,赋能无人机、航空航天工作流、环境保护和地理空间行业。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情
航空影像计算机视觉

航空影像计算机视觉

借助 Ultralytics YOLO,将无人机和航空影像转化为实时洞察,应用于农业、水产养殖、环境监测、自然保护和地理空间分析。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 应用于航空监测。借助计算机视觉解决方案,赋能无人机、航空航天工作流、环境保护和地理空间行业。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来