在 Edge AI 设备上部署计算机视觉应用

得益于计算机视觉和人工智能 (AI) 的最新进展，曾经仅处于研究领域的课题，如今已在各行各业推动着极具影响力的应用。从自动驾驶汽车到医学影像和安防，计算机视觉系统正在大规模解决现实世界中的问题。

许多这类应用涉及实时分析图像和视频，而由于延迟、成本和隐私考量，依赖云计算并不总是切实可行的。边缘AI在这些情况下是一个极佳的解决方案。通过直接在边缘设备上运行视觉AI模型，企业能够以更快速、更经济、更安全的方式处理数据，从而使实时AI变得更加普及。

在YOLO Vision 2024 (YV24)——由Ultralytics举办的年度混合活动中，核心主题之一是通过使部署更加用户友好且高效来实现视觉AI的民主化。NVIDIA的高级解决方案架构师Guy Dahan探讨了NVIDIA的软硬件解决方案（包括边缘计算设备、推理服务器、优化框架和AI部署SDK）如何帮助开发者在边缘侧优化AI。

在本文中，我们将探讨Guy Dahan在YV24主题演讲中的主要收获，以及NVIDIA的最新创新如何使视觉AI的部署变得更快捷、更具可扩展性。

Link to this section什么是边缘AI？#

Guy Dahan在演讲开头表达了他以虚拟方式参加YV24的热情，并谈及了他对Ultralytics Python包和Ultralytics YOLO模型的浓厚兴趣，他说道：“从Ultralytics发布的第一天起，我就一直在使用它。我非常喜欢Ultralytics——甚至在那之前我就在用YOLOv5了，我是这个软件包的忠实拥趸。”

接着，他介绍了边缘AI的概念，解释说它涉及直接在摄像头、无人机或工业机器等设备上运行AI计算，而不是将数据发送到遥远的云服务器进行处理。

边缘AI无需等待图像或视频上传、分析并传回结果，而是使设备能够直接即时分析数据。这使得视觉AI系统速度更快、效率更高，且对互联网连接的依赖更少。边缘AI对于实时决策应用（如自动驾驶汽车、安防摄像头和智能工厂）尤为有用。

Link to this section边缘AI的主要优势#

在介绍完边缘AI后，Guy Dahan强调了其主要优势，重点关注效率、成本节省和数据安全。他解释说，最大的好处之一是低延迟——由于AI模型直接在设备上处理数据，无需将信息发送到云端并等待响应。

边缘AI还有助于降低成本并保护敏感数据。将大量数据（尤其是视频流）发送到云端可能非常昂贵。然而，在本地进行处理可以减少带宽和存储成本。

另一个关键优势是数据隐私，因为信息保留在设备上，而不是传输到外部服务器。这对于医疗、金融和安防应用尤其重要，在这些领域，保持数据的本地化和安全性是重中之重。

图1. Guy Dahan在YV24上远程演示边缘AI的优势。

基于这些优势，Guy Dahan评论了边缘AI日益增长的采用率。他指出，自NVIDIA在2014年推出Jetson以来，使用量增长了十倍。如今，已有超过120万名开发者在使用Jetson设备。

Link to this sectionNVIDIA Jetson概述：一种边缘AI设备#

Guy Dahan随后重点介绍了NVIDIA Jetson设备，这是一个旨在以低功耗提供高性能的AI边缘计算设备系列。Jetson设备是机器人、农业、医疗和工业自动化等领域计算机视觉应用的理想选择。Guy Dahan补充道：“Jetson是专为AI量身定制的边缘AI设备。我甚至可以补充一点，最初它们的设计主要是为了计算机视觉。”

Jetson设备分为三个级别，每个级别都适合不同的需求：

• 入门级：这些设备提供20 - 40 TOPS（每秒万亿次运算）的AI性能，功耗为10 - 15W，是边缘应用的经济实惠之选。
• 主流级：在性能和效率之间取得平衡，提供70 - 200 TOPS，功耗为20 - 40W，适用于中端AI工作负载。
• 高性能级：提供高达275 TOPS，功耗为60 - 75W，专为机器人和自动化等高要求AI应用而设计。

此外，Guy Dahan还分享了今年即将推出的Jetson AGX Thor，并表示它将提供八倍的GPU（图形处理器）性能、两倍的内存容量以及改进的CPU（中央处理器）性能。它专门为人形机器人和高级边缘AI应用而设计。

Link to this section部署计算机视觉模型相关的挑战#

Guy Dahan随后转向探讨边缘AI的软件方面，并解释说，即使拥有强大的硬件，高效部署模型也可能充满挑战。

最大的障碍之一是兼容性，因为AI开发者通常使用不同的AI框架，如PyTorch和TensorFlow。在这些框架之间切换可能很困难，要求开发者重新创建环境以确保一切运行正常。

可扩展性是另一个关键挑战。AI模型需要强大的计算能力，正如Dahan所言，“从来没有哪家AI公司会嫌计算资源多。”将AI应用扩展到多个设备可能会迅速变得昂贵，因此优化至关重要。

此外，AI流水线非常复杂，通常涉及不同类型的数据、实时处理和系统集成。开发者投入了大量精力来确保他们的模型与现有的软件生态系统无缝交互。克服这些挑战是使AI部署更高效、更具可扩展性的关键部分。

图2. 模型部署中的挑战。

Link to this section使用NVIDIA的Triton Inference Server简化部署#

接下来，Guy Dahan将目光转向了NVIDIA的Triton Inference Server。他指出，许多公司和初创企业在开始AI开发时并没有充分优化模型。从零开始重新设计整个AI流水线可能会造成干扰且耗时，从而难以有效地扩展。

与其进行彻底的系统大修，Triton允许开发者逐步改进和优化他们的AI工作流，集成更高效的组件而无需破坏现有的设置。由于支持包括TensorFlow、PyTorch、ONNX和TensorRT在内的多种AI框架，Triton能够实现跨云环境、数据中心和边缘设备的无缝部署，只需极小的调整。

图3. NVIDIA Triton Inference Server概述。

以下是NVIDIA Triton Inference Server的一些主要优势：

• 自动批处理：Triton在处理多个AI请求之前将其分组，从而减少延迟并提高推理速度（即AI模型生成结果所需的时间）。
• Kubernetes集成：Triton是云原生的，这意味着它能与Kubernetes（一种帮助在多台计算机或云服务器上管理和扩展AI应用的系统）无缝协作。
• 开源且可定制：开发者可以修改Triton以满足其特定需求，从而确保了针对广泛AI应用的灵活性。

Link to this section使用NVIDIA TensorRT最大化AI性能#

假设你寻求更高的加速，NVIDIA TensorRT是一个优化AI模型的有趣选择。Guy Dahan详细说明，TensorRT是为NVIDIA GPU构建的高性能深度学习优化器。来自TensorFlow、PyTorch、ONNX和MXNet的模型可以使用TensorRT转换为高效的GPU可执行文件。

TensorRT之所以可靠，是因为它具备硬件特定的优化能力。为Jetson设备优化的模型在其他GPU上的表现可能不会那么高效，因为TensorRT会根据目标硬件微调性能。与未优化的模型相比，经过微调的计算机视觉模型推理速度可提升高达36倍。

Guy Dahan还特别提到了Ultralytics对TensorRT的支持，谈及它如何使AI模型部署更快捷、更高效。Ultralytics YOLO模型可以直接导出为TensorRT格式，让开发者无需进行任何更改即可针对NVIDIA GPU对其进行优化。

Link to this sectionDeepStream 7.0：一种流分析工具包#

在演讲的高潮部分，Guy Dahan展示了DeepStream 7.0——一个专为使用NVIDIA GPU实时处理视频、音频和传感器数据而设计的AI框架。它旨在支持高速计算机视觉应用，能够实现自主系统、安防、工业自动化和智慧城市中的目标检测、追踪和分析。通过直接在边缘设备上运行AI，DeepStream消除了对云端的依赖，减少了延迟并提高了效率。

图4. 在YV24上与Guy Dahan一起探索DeepStream 7.0。

具体而言，DeepStream可以处理从始至终的AI赋能视频处理。它支持端到端的工作流，从视频解码和预处理，到AI推理和后处理。

最近，DeepStream引入了几项更新以增强AI部署，使其更易于访问和扩展。新工具简化了开发，改进了多摄像头追踪，并优化了AI流水线以获得更好的性能。

开发者现在拥有了对Windows环境的扩展支持、用于整合多源数据的增强传感器融合能力，以及对预构建参考应用的访问权限，以加速部署。这些改进使DeepStream成为实时AI应用更灵活、高效的解决方案，帮助开发者轻松扩展智能视频分析。

Link to this section关键要点#

正如Guy Dahan在YV24的主题演讲中所述，边缘AI正在重新定义计算机视觉应用。随着软硬件的进步，实时处理正变得更快捷、更高效且更具成本效益。

随着越来越多的行业采用边缘AI，解决碎片化和部署复杂性等挑战将是发挥其全部潜力的关键。拥抱这些创新将推动更智能、更具响应性的AI应用，从而塑造计算机视觉的未来。

加入我们不断壮大的社区吧！浏览我们的GitHub存储库以了解更多关于AI的信息，并查看我们的许可选项以启动你的视觉AI项目。对医疗领域的AI和制造业中的计算机视觉等创新感到好奇吗？请访问我们的解决方案页面以了解更多信息！