探索边缘 AI 和 NVIDIA 的创新技术（如 Jetson、Triton 和 TensorRT）如何简化计算机视觉应用的部署。
Cookie 设置
点击“接受所有 Cookie”，即表示您同意在您的设备上存储 Cookie，以增强网站导航、分析网站使用情况并协助我们的营销工作。更多信息
探索边缘 AI 和 NVIDIA 的创新技术（如 Jetson、Triton 和 TensorRT）如何简化计算机视觉应用的部署。
得益于计算机视觉和人工智能 (AI) 的最新进展，曾经只是研究领域的计算机视觉现在正在推动各个行业中具有影响力的应用。 从自动驾驶汽车到医学成像和安全，计算机视觉系统正在大规模地解决实际问题。
许多此类应用涉及实时分析图像和视频，并且由于延迟、成本和隐私问题，依赖云计算并不总是可行。边缘 AI在这些情况下是一个很好的解决方案。通过直接在边缘设备上运行 Vision AI 模型，企业可以更快、更经济、更安全地处理数据，从而使实时 AI 更易于访问。
在 Ultralytics 主办的年度混合活动 YOLO Vision 2024 (YV24) 期间，中心主题之一是通过使部署更加用户友好和高效来普及 Vision AI。Guy Dahan，NVIDIA 的高级解决方案架构师，讨论了 NVIDIA 的硬件和软件解决方案（包括边缘计算设备、推理服务器、优化框架和 AI 部署 SDK）如何帮助开发人员优化边缘 AI。
在本文中，我们将探讨 Guy Dahan 在 YV24 主题演讲中的主要内容，以及 NVIDIA 的最新创新如何使 Vision AI 部署更快、更具可扩展性。
Guy Dahan 在演讲开始时表达了他对虚拟加入 YV24 的热情，以及他对 Ultralytics Python 包和 Ultralytics YOLO 模型 的兴趣，他说：“我从 Ultralytics 推出之日起就开始使用它。我真的很喜欢 Ultralytics——甚至在此之前我就一直在使用 YOLOv5，我是这个包的真正爱好者。”
然后，他介绍了边缘 AI 的概念，解释说它涉及直接在相机、无人机或工业机器等设备上运行 AI 计算，而不是将数据发送到遥远的云服务器进行处理。
边缘 AI 可以在设备本身上即时分析数据，而无需等待图像或视频上传、分析，然后将结果发回。这使得 Vision AI 系统更快、更高效，并且减少了对互联网连接的依赖。边缘 AI 特别适用于实时决策应用，例如自动驾驶汽车、安全摄像头和智能工厂。
在介绍边缘AI之后，Guy Dahan强调了其主要优势，重点是效率、成本节约和数据安全。他解释说，最大的好处之一是低延迟——由于AI模型直接在设备上处理数据，因此无需将信息发送到云端并等待响应。
边缘 AI 还有助于降低成本并保护敏感数据。将大量数据（尤其是视频流）发送到云端可能非常昂贵。然而，在本地处理数据可以降低带宽和存储成本。
另一个关键优势是数据隐私，因为信息保留在设备上，而不是传输到外部服务器。这对于医疗保健、金融和安全应用尤其重要，在这些应用中，保持数据的本地性和安全性是首要任务。
基于这些优势，Guy Dahan评论了Edge AI日益普及的趋势。他指出，自从NVIDIA在2014年推出Jetson以来，使用量增长了十倍。如今，超过120万开发者正在使用Jetson设备。
Guy Dahan 随后专注于 NVIDIA Jetson 设备，这是一系列 AI 边缘计算设备，旨在以低功耗提供高性能。Jetson 设备非常适合机器人、农业、医疗保健和工业自动化等领域的计算机视觉应用。Guy Dahan 补充说：“Jetsons 是专门为 AI 量身定制的 Edge AI 设备。我甚至可以补充说，最初它们的设计主要用于计算机视觉。”
Jetson设备分为三个层级，每个层级都适用于不同的需求：
此外，Guy Dahan 分享了今年即将推出的 Jetson AGX Thor，并表示它将提供八倍的 GPU（图形处理单元）性能、两倍的内存容量和改进的 CPU（中央处理单元）性能。它专为人形机器人和高级边缘 AI 应用而设计。
Guy Dahan 随后转向讨论 Edge AI 的软件方面，并解释说，即使拥有强大的硬件，高效部署模型也可能具有挑战性。
其中一个主要障碍是兼容性，因为 AI 开发人员经常使用不同的 AI 框架，如 PyTorch 和 TensorFlow。在这些框架之间切换可能很困难，需要开发人员重新创建环境以确保一切正常运行。
可扩展性是另一个关键挑战。AI 模型需要大量的计算能力，正如 Dahan 所说，“从来没有一家 AI 公司希望减少计算量。” 在多个设备上扩展 AI 应用程序可能会迅速变得昂贵，因此优化至关重要。
此外，AI 管道非常复杂，通常涉及不同类型的数据、实时处理和系统集成。开发人员投入大量精力来确保他们的模型与现有软件生态系统无缝交互。克服这些挑战是提高 AI 部署 效率和可扩展性的关键部分。
接下来，Guy Dahan 将注意力转向 NVIDIA 的 Triton 推理服务器。他指出，许多公司和初创公司在没有完全优化其模型的情况下就开始了 AI 开发。从头开始重新设计整个 AI 管道可能会造成破坏且耗时，从而难以有效地扩展。
Triton 允许开发人员逐步改进和优化其 AI 工作流程，集成更高效的组件，而无需彻底改造整个系统，也不会破坏其现有设置。Triton 支持包括 TensorFlow、PyTorch、ONNX 和 TensorRT 在内的多种 AI 框架，只需进行最少的调整即可在云环境、数据中心和边缘设备上实现无缝部署。
以下是 NVIDIA Triton 推理服务器的一些主要优势：
假设您正在寻找更高的加速性能；NVIDIA TensorRT 是一个优化 AI 模型的有趣选择。Guy Dahan 详细阐述说，TensorRT 是一个为 NVIDIA GPU 构建的高性能深度学习优化器。来自 TensorFlow、PyTorch、ONNX 和 MXNet 的模型可以使用 TensorRT 转换为高效的 GPU 可执行文件。
TensorRT 如此可靠的原因在于其硬件特定的优化。针对 Jetson 设备优化的模型在其他 GPU 上的效率会降低，因为 TensorRT 会根据目标硬件微调性能。与未优化的模型相比，经过微调的计算机视觉模型可以使推理速度提高多达 36 倍。
Guy Dahan 还提请注意 Ultralytics 对 TensorRT 的支持，谈到它如何使 AI 模型部署更快、更高效。Ultralytics YOLO 模型可以直接导出为 TensorRT 格式，让开发人员可以优化它们以用于 NVIDIA GPU，而无需进行任何更改。
Guy Dahan 在演讲的最后重点介绍了 DeepStream 7.0——一种 AI 框架，旨在利用 NVIDIA GPU 实时处理视频、音频和传感器数据。它旨在支持高速计算机视觉应用，从而能够在自主系统、安全、工业自动化和智慧城市中实现物体检测、跟踪和分析。通过直接在边缘设备上运行 AI，DeepStream 消除了对云的依赖，从而减少了延迟并提高了效率。
具体来说，DeepStream 可以处理从头到尾的 AI 视频处理。它支持端到端的工作流程，从视频解码和预处理到 AI 推理和后处理。
最近，DeepStream 推出多项更新，旨在增强 AI 部署，使其更易于访问和扩展。 新工具简化了开发流程，改进了多摄像头跟踪，并优化了 AI 管道，从而提高了性能。
现在，开发者可以获得对 Windows 环境的扩展支持，增强的传感器融合能力（用于集成来自多个来源的数据），以及访问预构建的参考应用程序以加速部署。这些改进使 DeepStream 成为一个更灵活、更高效的实时 AI 解决方案，帮助开发者轻松扩展智能视频分析。
正如 Guy Dahan 在 YV24 的主题演讲中所述，边缘 AI 正在重新定义计算机视觉应用。随着硬件和软件的进步，实时处理正变得更快、更高效且更具成本效益。
随着越来越多的行业采用边缘 AI，解决碎片化和部署复杂性等挑战将是释放其全部潜力的关键。 拥抱这些创新将推动更智能、更快速响应的 AI 应用，从而塑造计算机视觉的未来。
加入我们不断壮大的社区！探索我们的 GitHub 仓库以了解更多关于人工智能的信息，并查看我们的许可选项以启动您的视觉人工智能项目。对人工智能在医疗保健领域和计算机视觉在制造业领域等创新感兴趣吗？访问我们的解决方案页面以了解更多信息！
.webp)