在 Edge AI 设备上部署计算机视觉应用
探索 Edge AI 和 NVIDIA 的创新（如 Jetson、Triton 和 TensorRT）如何简化计算机视觉应用的部署。
多亏了最近在computer vision和人工智能（AI）领域的进展，曾经只属于研究领域的方向现在正在各个行业推动具有影响力的应用。从自动驾驶汽车到医学影像和安防，计算机视觉系统正在大规模解决实际问题。
其中许多应用涉及实时分析图像和视频，由于延迟、成本和隐私顾虑，依赖云计算并不总是切合实际。Edge AI在这些情况下是一个极佳的解决方案。通过直接在边缘设备上运行视觉AI模型，企业可以更快、更经济且更安全地处理数据，从而使实时AI更加触手可及。
在由Ultralytics主办的年度混合活动YOLO Vision 2024 (YV24)期间，核心主题之一是通过让部署更加用户友好和高效来普及vision AI。NVIDIA高级解决方案架构师Guy Dahan讨论了NVIDIA的硬件和软件解决方案（包括边缘计算设备、推理服务器、优化框架和AI部署SDK）如何帮助开发者在边缘优化AI。
在本文中，我们将探讨Guy Dahan在YV24主题演讲中的主要收获，以及NVIDIA的最新创新如何使视觉AI的部署变得更快捷、更具可扩展性。
什么是边缘AI？#
Guy Dahan在演讲开场时表达了自己对虚拟参加YV24的热情，以及对Ultralytics Python包和Ultralytics YOLO models的兴趣，他说道：“我从Ultralytics发布的头一天就开始使用它了。我真的很喜欢Ultralytics——在此之前我甚至就在使用YOLOv5，而且我是这个包的忠实爱好者。”
接着，他介绍了边缘AI的概念，解释说它涉及直接在摄像头、无人机或工业机器等设备上运行AI计算，而不是将数据发送到遥远的云服务器进行处理。
边缘AI无需等待图像或视频上传、分析并传回结果，而是使设备能够直接即时分析数据。这使得视觉AI系统速度更快、效率更高，且对互联网连接的依赖更少。边缘AI对于实时决策应用（如自动驾驶汽车、安防摄像头和智能工厂）尤为有用。
边缘AI的主要优势#
在介绍完边缘AI后，Guy Dahan强调了其主要优势，重点关注效率、成本节省和数据安全。他解释说，最大的好处之一是低延迟——由于AI模型直接在设备上处理数据，无需将信息发送到云端并等待响应。
边缘AI还有助于降低成本并保护敏感数据。将大量数据（尤其是视频流）发送到云端可能非常昂贵。然而，在本地进行处理可以减少带宽和存储成本。
另一个关键优势是data privacy，因为信息保留在设备上，而不是传输到外部服务器。这对于医疗保健、金融和安防应用尤其重要，在这些领域中，保持数据本地化和安全性是首要任务。
图1. Guy Dahan在YV24上远程演示边缘AI的优势。
基于这些优势，Guy Dahan评论了边缘AI日益增长的采用率。他指出，自NVIDIA在2014年推出Jetson以来，使用量增长了十倍。如今，已有超过120万名开发者在使用Jetson设备。
NVIDIA Jetson概述：一种边缘AI设备#
Guy Dahan随后将重点放在NVIDIA Jetson devices上，这是一个专为以低功耗提供高性能而设计的AI边缘计算设备系列。Jetson设备非常适合机器人、农业、医疗保健和工业自动化等领域的计算机视觉应用。“Jetson是专门为AI量身定制的Edge AI设备。我甚至想补充一句，它们最初主要就是为计算机视觉设计的，”Guy Dahan补充道。
Jetson设备分为三个级别，每个级别都适合不同的需求：
- 入门级：这些设备提供20 - 40 TOPS（每秒万亿次运算）的AI性能，功耗为10 - 15W，是边缘应用的经济实惠之选。
- 主流级：在性能和效率之间取得平衡，提供70 - 200 TOPS，功耗为20 - 40W，适用于中端AI工作负载。
- 高性能级：提供高达275 TOPS，功耗为60 - 75W，专为机器人和自动化等高要求AI应用而设计。
此外，Guy Dahan还分享了今年即将推出的Jetson AGX Thor，并表示它将提供八倍的GPU（图形处理器）性能、两倍的内存容量以及改进的CPU（中央处理器）性能。它专门为人形机器人和高级边缘AI应用而设计。
部署计算机视觉模型相关的挑战#
Guy Dahan随后转向探讨边缘AI的软件方面，并解释说，即使拥有强大的硬件，高效部署模型也可能充满挑战。
最大的障碍之一是兼容性，因为AI开发者经常使用不同的AI frameworks，如PyTorch和TensorFlow。在这些框架之间切换可能很困难，需要开发者重建环境以确保一切正常运行。
可扩展性是另一个关键挑战。AI模型需要强大的计算能力，正如Dahan所言，“从来没有哪家AI公司会嫌计算资源多。”将AI应用扩展到多个设备可能会迅速变得昂贵，因此优化至关重要。
此外，AI管道很复杂，通常涉及不同类型的数据、实时处理和系统集成。开发者付出了巨大努力来确保其模型与现有的软件生态系统无缝交互。克服这些挑战是使AI deployments更高效且更具可扩展性的关键部分。
图2. 模型部署中的挑战。
使用NVIDIA的Triton Inference Server简化部署#
接下来，Guy Dahan将注意力转向了NVIDIA的Triton Inference Server。他指出，许多公司和初创公司在开发AI时并没有完全优化其模型。从头重新设计整个AI管道可能会造成干扰且耗时，从而难以进行高效扩展。
与其进行彻底的系统大修，Triton允许开发者逐步改进和优化他们的AI工作流，集成更高效的组件而无需破坏现有的设置。由于支持包括TensorFlow、PyTorch、ONNX和TensorRT在内的多种AI框架，Triton能够实现跨云环境、数据中心和边缘设备的无缝部署，只需极小的调整。
图3. NVIDIA Triton Inference Server概述。
以下是NVIDIA Triton Inference Server的一些主要优势：
- 自动批处理：Triton在处理多个AI请求之前将其分组，从而减少延迟并提高推理速度（即AI模型生成结果所需的时间）。
- Kubernetes集成：Triton是云原生的，这意味着它能与Kubernetes（一种帮助在多台计算机或云服务器上管理和扩展AI应用的系统）无缝协作。
- 开源且可定制：开发者可以修改Triton以满足其特定需求，从而确保了针对广泛AI应用的灵活性。
使用NVIDIA TensorRT最大化AI性能#
假设你在寻找更高的加速效果；NVIDIA TensorRT是优化AI模型的一个有趣选项。Guy Dahan详细阐述道，TensorRT是为NVIDIA GPU构建的高性能深度学习优化器。来自TensorFlow、PyTorch、ONNX和MXNet的模型可以使用TensorRT转换为高效的GPU可执行文件。
TensorRT之所以可靠，是因为它具备硬件特定的优化能力。为Jetson设备优化的模型在其他GPU上的表现可能不会那么高效，因为TensorRT会根据目标硬件微调性能。与未优化的模型相比，经过微调的计算机视觉模型推理速度可提升高达36倍。
Guy Dahan还提到了Ultralytics对TensorRT的支持，并谈到了它是如何使AI模型部署更快、更高效的。Ultralytics YOLO models可以直接exported为TensorRT格式，让开发者无需进行任何更改即可针对NVIDIA GPU对其进行优化。
DeepStream 7.0：一种流分析工具包#
以积极的基调结束演讲时，Guy Dahan展示了DeepStream 7.0——一个专为使用NVIDIA GPU实时处理视频、音频和传感器数据而设计的AI框架。它旨在支持高速计算机视觉应用，在自主系统、安防、工业自动化和智慧城市中实现目标检测、跟踪和分析。通过直接在边缘设备上运行AI，DeepStream消除了对云的依赖，减少了延迟并提高了效率。
图4. 在YV24上与Guy Dahan一起探索DeepStream 7.0。
具体而言，DeepStream可以处理从始至终的AI赋能视频处理。它支持端到端的工作流，从视频解码和预处理，到AI推理和后处理。
最近，DeepStream引入了几项更新以增强AI部署，使其更易于访问和扩展。新工具简化了开发，改进了多摄像头追踪，并优化了AI流水线以获得更好的性能。
开发者现在拥有了对Windows环境的扩展支持、用于整合多源数据的增强传感器融合能力，以及对预构建参考应用的访问权限，以加速部署。这些改进使DeepStream成为实时AI应用更灵活、高效的解决方案，帮助开发者轻松扩展智能视频分析。
关键要点#
正如Guy Dahan在YV24的主题演讲中所述，边缘AI正在重新定义计算机视觉应用。随着软硬件的进步，实时处理正变得更快捷、更高效且更具成本效益。
随着越来越多的行业采用边缘AI，解决碎片化和部署复杂性等挑战将是发挥其全部潜力的关键。拥抱这些创新将推动更智能、更具响应性的AI应用，从而塑造计算机视觉的未来。
成为our growing community的一员！探索our GitHub repository以了解有关AI的更多信息，并查看our licensing options来启动你的vision AI项目。对诸如AI in healthcare和computer vision in manufacturing之类的创新感到好奇吗？访问我们的解决方案页面以了解更多信息！
