在边缘 AI 设备上部署计算机视觉应用

得益于计算机视觉和人工智能 (AI) 的最新进展，曾经只是一个研究领域的技术如今已在各行各业推动着具有实际影响的应用。从自动驾驶汽车到医学成像和安防，计算机视觉系统正在大规模解决现实问题。

许多此类应用都需要实时分析图像和视频，而受延迟、成本和隐私问题的影响，依赖云计算并不总是切实可行。边缘 AI 是解决这类问题的理想方案。通过直接在边缘设备上运行视觉 AI 模型，企业能够以更快、更经济、更安全的方式处理数据，让实时 AI 更易于使用。

在由 Ultralytics 主办的年度线上线下混合活动 YOLO Vision 2024 (YV24) 上，一个核心主题是通过让部署更易用、更高效来普及视觉 AI。NVIDIA 高级解决方案架构师 Guy Dahan 介绍了 NVIDIA 的软硬件解决方案如何帮助开发者优化边缘 AI，其中包括边缘计算设备、推理服务器、优化框架和 AI 部署 SDK。

本文将介绍 Guy Dahan 在 YV24 主题演讲中的关键要点，以及 NVIDIA 的最新创新如何让视觉 AI 部署更快、更具可扩展性。

什么是边缘 AI？#

Guy Dahan 在演讲开始时表达了以线上方式参加 YV24 的兴奋之情，以及他对 Ultralytics Python 软件包和 Ultralytics YOLO 模型的兴趣。他说：“Ultralytics 一发布我就开始用了。我真的很喜欢 Ultralytics——在那之前我就一直在用 YOLOv5，而且我非常热衷于这个软件包。”

随后，他介绍了边缘 AI 的概念，并解释说，边缘 AI 是指直接在摄像头、无人机或工业机器等设备上运行 AI 计算，而不是将数据发送到遥远的云服务器进行处理。

边缘 AI 无需等待图像或视频上传、分析，再将结果传回，而是可以直接在设备上即时分析数据。这让视觉 AI 系统速度更快、效率更高，也更少依赖互联网连接。边缘 AI 特别适用于实时决策应用，例如自动驾驶汽车、安防摄像头和智能工厂。

边缘 AI 的主要优势#

介绍完边缘 AI 后，Guy Dahan 强调了它的主要优势，重点谈到了效率、节省成本和数据安全。他解释说，边缘 AI 的一大优势是延迟低：由于 AI 模型直接在设备上处理数据，因此无需将信息发送到云端并等待响应。

边缘 AI 还有助于降低成本并保护敏感数据。向云端发送大量数据，尤其是视频流，可能会产生高昂费用。不过，在本地处理数据可以降低带宽和存储成本。

另一项主要优势是数据隐私，因为信息会保留在设备上，而不是传输到外部服务器。这对于医疗保健、金融和安防应用尤为重要，因为在这些领域，确保数据留在本地并得到安全保护是首要任务。

图 1. Guy Dahan 在 YV24 上远程介绍边缘 AI 的优势。

在介绍这些优势后，Guy Dahan 谈到了边缘 AI 日益普及的趋势。他指出，自 NVIDIA 于 2014 年推出 Jetson 以来，其使用量已增长十倍。如今，超过 120 万名开发者正在使用 Jetson 设备。

NVIDIA Jetson 概览：边缘 AI 设备#

随后，Guy Dahan 将重点转向 NVIDIA Jetson 设备。这是一个 AI 边缘计算设备系列，旨在以低功耗实现高性能。Jetson 设备非常适合应用于机器人、农业、医疗保健和工业自动化等领域的计算机视觉应用。Guy Dahan 补充说：“Jetson 是专为 AI 量身打造的边缘 AI 设备。我甚至可以说，它们最初主要是为计算机视觉而设计的。”

Jetson 设备分为三个级别，分别适用于不同需求：

• 入门级：这些设备的 AI 性能为 20–40 万亿次运算每秒（TOPS），功耗为 10–15W，是边缘应用的经济实惠之选。
• 主流级：兼顾性能与能效，提供 70 - 200 TOPS 的算力，功耗为 20 - 40W，适用于中端 AI 工作负载。
• 高性能级：算力最高可达 275 TOPS，功耗为 60 - 75W，专为机器人和自动化等要求严苛的 AI 应用打造。

此外，Guy Dahan 介绍了即将于今年推出的 Jetson AGX Thor，并表示它将带来八倍的 GPU（图形处理器）性能、两倍的内存容量，以及更强的 CPU（中央处理器）性能。它专为人形机器人和先进的 Edge AI 应用而设计。

计算机视觉模型部署面临的挑战#

随后，Guy Dahan 转而讨论 Edge AI 的软件方面，并解释说，即使硬件性能强大，高效部署模型仍然可能充满挑战。

最大的障碍之一是兼容性，因为 AI 开发者通常会使用不同的 AI 框架，例如 PyTorch 和 TensorFlow。在这些框架之间切换可能很困难，开发者需要重新创建环境，才能确保一切正常运行。

可扩展性也是一项关键挑战。AI 模型需要大量计算资源，正如 Dahan 所说：“没有哪家 AI 公司希望减少算力。”在多台设备上扩展 AI 应用可能很快变得成本高昂，因此优化至关重要。

此外，AI 流水线十分复杂，通常涉及不同类型的数据、实时处理和系统集成。开发人员需要投入大量精力，确保模型能够与现有软件生态系统顺畅协作。克服这些挑战，是提高 AI 部署效率和可扩展性的关键。

图 2. 模型部署面临的挑战。

借助 NVIDIA Triton Inference Server 简化部署#

接下来，Guy Dahan 将话题转向 NVIDIA 的 Triton Inference Server。他指出，许多公司和初创企业在开始开发 AI 时，并没有充分优化模型。从头开始重新设计整个 AI 流水线会造成干扰且耗时，因此很难高效扩展。

Triton 不要求彻底改造整个系统，而是让开发人员逐步改进和优化 AI 工作流，并集成更高效的组件，同时不破坏现有配置。Triton 支持多种 AI 框架，包括 TensorFlow、PyTorch、ONNX 和 TensorRT，只需进行少量调整，就能在云环境、数据中心和边缘设备上部署模型。

图 3. NVIDIA Triton Inference Server 概览。

以下是 NVIDIA Triton Inference Server 的一些主要优势：

• 自动批处理：Triton 会在处理前将多个 AI 请求组合在一起，从而提高吞吐量和 GPU 利用率。
• Kubernetes 集成：Triton 是云原生的，这意味着它可以与 Kubernetes 集成。Kubernetes 是一种帮助用户在多台计算机或云服务器上管理和扩展 AI 应用的系统。
• 开源且可定制：开发者可以根据具体需求修改 Triton，确保它能灵活适用于各种 AI 应用。

使用 NVIDIA TensorRT 最大限度提升 AI 性能#

假设你希望获得更高的加速效果，NVIDIA TensorRT 是优化 AI 模型的一个不错选择。Guy Dahan 进一步介绍说，TensorRT 是一款专为 NVIDIA GPU 打造的高性能深度学习优化器。借助 TensorRT，可以将 TensorFlow、PyTorch、ONNX 和 MXNet 模型转换为可在 GPU 上运行的高效文件。

TensorRT 的可靠性源于其针对特定硬件的优化。针对 Jetson 设备优化的模型在其他 GPU 上运行时效率会较低，因为 TensorRT 会根据目标硬件微调性能。据 NVIDIA 称，与仅使用 CPU 的平台相比，TensorRT 可将推理速度提升至 36 倍。

Guy Dahan 还特别提到了 Ultralytics 对 TensorRT 的支持，并介绍了 TensorRT 如何让 AI 模型部署更快、更高效。Ultralytics YOLO 模型可以直接导出为 TensorRT 格式，让开发人员无需进行任何改动，就能针对 NVIDIA GPU 进行优化。

DeepStream 7.0：流式分析工具包#

在精彩的演讲尾声，Guy Dahan 展示了 DeepStream 7.0——这是一个利用 NVIDIA GPU 实时处理视频、音频和传感器数据的 AI 框架。它专为高速计算机视觉应用打造，可在自动驾驶系统、安防、工业自动化和智慧城市等领域实现目标检测、跟踪和分析。DeepStream 直接在边缘设备上运行 AI，无需依赖云端，从而降低延迟并提高效率。

图 4. 在 YV24 上与 Guy Dahan 一起探索 DeepStream 7.0。

具体来说，DeepStream 可以端到端处理 AI 驱动的视频。它支持完整工作流，涵盖从视频解码和预处理，到 AI 推理和后处理的各个环节。

近期，DeepStream 推出了多项更新，以增强 AI 部署能力，让部署更加便捷且可扩展。新工具简化了开发流程，改进了多摄像头跟踪，并优化了 AI 流水线，从而提升性能。

开发者现在可以获得更广泛的 Windows 环境支持、更强大的传感器融合能力（可整合来自多个来源的数据），以及可加速部署的预构建参考应用。这些改进让 DeepStream 成为更加灵活、高效的实时 AI 应用解决方案，帮助开发者轻松扩展智能视频分析。

要点#

正如 Guy Dahan 在 YV24 主题演讲中所展示的那样，Edge AI 正在重新定义计算机视觉应用。随着硬件和软件不断进步，实时处理变得更快、更高效且更具成本效益。

随着越来越多的行业采用 Edge AI，解决碎片化和部署复杂性等问题，将是充分释放其潜力的关键。拥抱这些创新将推动 AI 应用变得更智能、响应更灵敏，并塑造计算机视觉的未来。

加入不断壮大的社区！访问我们的 GitHub 代码库，进一步了解 AI；查看我们的许可选项，开启你的视觉 AI 项目。想了解 AI 在医疗领域的应用和计算机视觉在制造业中的应用等创新吗？访问我们的解决方案页面，了解更多！