在 Edge AI 设备上部署计算机视觉应用
了解 Edge AI 和 NVIDIA 的创新技术（如 Jetson、Triton 和 TensorRT）如何简化计算机视觉应用的部署。
得益于计算机视觉和人工智能（AI）的最新进展，这个曾经只是研究领域的方向，如今正推动着各行各业产生重大影响的应用。从自动驾驶汽车到医学影像和安防，计算机视觉系统正在大规模解决现实问题。
其中许多应用都涉及实时分析图像和视频，而由于延迟、成本和隐私问题，依赖云计算并不总是切实可行。边缘 AI是应对这些情况的理想方案。通过直接在边缘设备上运行视觉 AI 模型，企业可以更快、更经济且更安全地处理数据，让实时 AI 更加普及。
在由 Ultralytics 主办的年度线上线下混合活动 YOLO Vision 2024（YV24）期间，核心主题之一是通过让部署更加易用高效，推动视觉 AI民主化。NVIDIA 高级解决方案架构师 Guy Dahan 介绍了 NVIDIA 的硬件和软件解决方案（包括边缘计算设备、推理服务器、优化框架和 AI 部署 SDK）如何帮助开发者优化边缘 AI。
本文将介绍 Guy Dahan 在 YV24 主题演讲中的主要观点，以及 NVIDIA 的最新创新如何让视觉 AI 部署更快、更具扩展性。
什么是边缘 AI？#
Guy Dahan 在演讲开场表示，很高兴能以线上方式参加 YV24，也对 Ultralytics Python 软件包和 Ultralytics YOLO 模型很感兴趣。他说：“我从 Ultralytics 发布的第一天起就一直在使用它。我真的很喜欢 Ultralytics——在此之前我就一直使用 YOLOv5，而且我非常喜欢这个软件包。”
随后，他介绍了边缘 AI 的概念，解释说边缘 AI 是指直接在摄像头、无人机或工业设备等设备上运行 AI 计算，而不是将数据发送到远程云服务器进行处理。
边缘 AI 无需等待图像或视频上传、分析，再将结果传回，而是可以直接在设备本身即时分析数据。这让视觉 AI 系统更快、更高效，也更少依赖互联网连接。边缘 AI 特别适用于实时决策应用，例如自动驾驶汽车、安防摄像头和智能工厂。
边缘 AI 的主要优势#
介绍边缘 AI 后，Guy Dahan 强调了它在效率、成本节约和数据安全方面的主要优势。他解释说，其中最大的优势之一是低延迟——由于 AI 模型直接在设备上处理数据，因此无需将信息发送到云端并等待响应。
边缘 AI 还有助于降低成本并保护敏感数据。向云端发送大量数据，尤其是视频流，可能成本高昂。而在本地处理数据则可以降低带宽和存储成本。
另一个主要优势是数据隐私，因为信息会留在设备上，而不是传输到外部服务器。这对医疗、金融和安防应用尤其重要，因为让数据保留在本地并确保其安全是首要任务。
图 1. Guy Dahan 在 YV24 远程介绍边缘 AI 的优势。
基于这些优势，Guy Dahan 谈到了边缘 AI 日益广泛的应用。他指出，自 NVIDIA 于 2014 年推出 Jetson 以来，其使用量已增长十倍。如今，已有超过 120 万名开发者在使用 Jetson 设备。
NVIDIA Jetson 概览：边缘 AI 设备#
随后，Guy Dahan 重点介绍了 NVIDIA Jetson 设备。这是一系列专为以低功耗实现高性能而设计的 AI 边缘计算设备。Jetson 设备非常适合机器人、农业、医疗和工业自动化等领域的计算机视觉应用。Guy Dahan 补充道：“Jetson 是专为 AI 量身打造的边缘 AI 设备。我甚至可以说，它们最初主要是为计算机视觉而设计的。”
Jetson 设备分为三个级别，分别适用于不同需求：
- 入门级：这些设备可提供 20 - 40 TOPS 的 AI 性能，功耗为 10 - 15W，是边缘应用中经济实惠的选择。
- 主流级：在性能和效率之间取得平衡，提供 70 - 200 TOPS 的性能，功耗为 20 - 40W，适合中等规模的 AI 工作负载。
- 高性能级：提供最高 275 TOPS 的性能，功耗为 60 - 75W，专为机器人和自动化等高要求 AI 应用而设计。
此外，Guy Dahan 还分享了将于今年推出的 Jetson AGX Thor 的信息，并表示它将提供八倍的 GPU（图形处理器）性能、两倍的内存容量以及更强的 CPU（中央处理器）性能。它专为人形机器人和先进的边缘 AI 应用而设计。
部署计算机视觉模型的相关挑战#
随后，Guy Dahan 将话题转向边缘 AI 的软件层面，并解释说，即使拥有强大的硬件，高效部署模型仍然可能充满挑战。
最大的难题之一是兼容性，因为 AI 开发者经常使用 PyTorch 和 TensorFlow 等不同的 AI 框架。在这些框架之间迁移可能十分困难，开发者需要重新创建环境，以确保所有组件正常运行。
可扩展性是另一个主要挑战。AI 模型需要大量计算能力，正如 Dahan 所说：“从来没有一家 AI 公司希望使用更少的算力。”将 AI 应用扩展到多台设备上可能很快变得成本高昂，因此优化至关重要。
此外，AI 流水线非常复杂，通常涉及不同类型的数据、实时处理和系统集成。开发者需要投入大量精力，确保模型能够与现有软件生态系统无缝交互。克服这些挑战，是让 AI 部署更加高效且具备更强扩展性的关键。
图 2. 模型部署中的挑战。
使用 NVIDIA Triton Inference Server 简化部署#
接下来，Guy Dahan 将注意力转向 NVIDIA 的 Triton Inference Server。他指出，许多公司和初创企业在开始 AI 开发时，并未对模型进行充分优化。彻底从头重新设计整个 AI 流水线可能造成巨大干扰且耗时很长，从而难以高效扩展。
Triton 无需彻底改造整个系统，开发者就可以逐步改进和优化 AI 工作流，在不破坏现有设置的情况下集成更高效的组件。Triton 支持 TensorFlow、PyTorch、ONNX 和 TensorRT 等多种 AI 框架，只需进行极少调整，就能在云环境、数据中心和边缘设备之间实现无缝部署。
图 3. NVIDIA Triton Inference Server 概览。
以下是 NVIDIA Triton Inference Server 的一些主要优势：
- 自动批处理：Triton 会在处理前将多个 AI 请求组合在一起，从而减少延迟并提高推理速度。
- Kubernetes 集成：Triton 原生支持云环境，这意味着它可以与 Kubernetes 无缝协作，帮助在多台计算机或云服务器之间管理和扩展 AI 应用。
- 开源且可定制：开发者可以根据具体需求修改 Triton，从而为各种 AI 应用提供灵活性。
使用 NVIDIA TensorRT 最大化 AI 性能#
假设你希望获得更高的加速效果，NVIDIA TensorRT是优化 AI 模型的一个有趣选择。Guy Dahan 详细介绍说，TensorRT 是一款专为 NVIDIA GPU 打造的高性能深度学习优化器。借助 TensorRT，可以将 TensorFlow、PyTorch、ONNX 和 MXNet 中的模型转换为高效的 GPU 可执行文件。
TensorRT 之所以可靠，得益于其针对特定硬件的优化。针对 Jetson 设备优化的模型，在其他 GPU 上的运行效率不会同样高，因为 TensorRT 会根据目标硬件微调性能。经过精细调优的计算机视觉模型，其推理速度最高可达到未优化模型的 36 倍。
Guy Dahan 还特别提到了 Ultralytics 对 TensorRT 的支持，并介绍了它如何让 AI 模型部署更快、更高效。Ultralytics YOLO 模型可以直接导出为 TensorRT 格式，让开发者无需任何修改即可针对 NVIDIA GPU 进行优化。
DeepStream 7.0：流式分析工具包#
在精彩的演讲尾声，Guy Dahan 展示了 DeepStream 7.0——这是一个利用 NVIDIA GPU 实时处理视频、音频和传感器数据的 AI 框架。它专为支持高速计算机视觉应用而构建，可在自动驾驶系统、安防、工业自动化和智慧城市等领域实现目标检测、跟踪和分析。DeepStream 直接在边缘设备上运行 AI，摆脱了对云端的依赖，从而降低延迟并提高效率。
图 4. 在 YV24 与 Guy Dahan 一起探索 DeepStream 7.0。
具体来说，DeepStream 可以端到端处理 AI 驱动的视频处理任务。它支持完整工作流，涵盖从视频解码和预处理，到 AI 推理和后处理的各个环节。
最近，DeepStream 推出了多项更新，以增强 AI 部署能力，让部署更加易用且具备更强扩展性。新工具简化了开发流程，改进了多摄像头跟踪，并优化了 AI 流水线，以实现更佳性能。
开发者现在可以获得更完善的 Windows 环境支持、更强的传感器融合能力（用于整合来自多个来源的数据），以及预构建参考应用的访问权限，从而加快部署速度。这些改进让 DeepStream 成为实时 AI 应用中更加灵活高效的解决方案，帮助开发者轻松扩展智能视频分析。
要点总结#
正如 Guy Dahan 在 YV24 主题演讲中所展示的那样，边缘 AI 正在重新定义计算机视觉应用。随着硬件和软件不断进步，实时处理正变得更快、更高效且更具成本效益。
随着越来越多的行业采用边缘 AI，解决碎片化和部署复杂性等挑战，将成为释放其全部潜力的关键。拥抱这些创新将推动更智能、响应更迅速的 AI 应用，塑造计算机视觉的未来。
加入我们不断壮大的社区吧！探索我们的 GitHub 代码仓库，进一步了解 AI，并查看我们的许可选项，开启你的视觉 AI 项目。想了解医疗领域的 AI和制造业中的计算机视觉等创新应用吗？访问我们的解决方案页面，了解更多！
