探索 Edge AI 和NVIDIA®）的创新技术（如 Jetson、Triton 和TensorRT）如何简化计算机视觉应用的部署。
Cookie 设置
点击“接受所有 Cookie”，即表示您同意在您的设备上存储 Cookie，以增强网站导航、分析网站使用情况并协助我们的营销工作。更多信息
探索 Edge AI 和NVIDIA®）的创新技术（如 Jetson、Triton 和TensorRT）如何简化计算机视觉应用的部署。
得益于计算机视觉和人工智能 (AI) 的最新进展，曾经只是研究领域的计算机视觉现在正在推动各个行业中具有影响力的应用。 从自动驾驶汽车到医学成像和安全，计算机视觉系统正在大规模地解决实际问题。
许多此类应用涉及实时分析图像和视频，并且由于延迟、成本和隐私问题，依赖云计算并不总是可行。边缘 AI在这些情况下是一个很好的解决方案。通过直接在边缘设备上运行 Vision AI 模型，企业可以更快、更经济、更安全地处理数据，从而使实时 AI 更易于访问。
在由Ultralytics主办的年度混合盛会YOLO Vision 2024（YV24）上，核心主题之一是通过提高部署的用户友好性和效率来实现Vision AI的民主化。NVIDIA 高级解决方案架构师Guy Dahan 讨论了NVIDIA的硬件和软件解决方案（包括边缘计算设备、推理服务器、优化框架和 AI 部署 SDK）如何帮助开发人员优化边缘 AI。
在本文中，我们将探讨 Guy Dahan 在 YV24 主题演讲中的主要观点，以及NVIDIA最新的创新技术如何让 Vision AI 部署变得更快、更具可扩展性。
Guy Dahan 在演讲一开始就表达了他对加入 YV24 的热情，以及他对Ultralytics Python 软件包和Ultralytics YOLO 模型的兴趣，他说："我从Ultralytics 问世那天起就一直在使用它。我非常喜欢Ultralytics - 甚至在此之前我就一直在使用YOLOv5 ，我是这个软件包的真正爱好者。
然后，他介绍了边缘 AI 的概念，解释说它涉及直接在相机、无人机或工业机器等设备上运行 AI 计算，而不是将数据发送到遥远的云服务器进行处理。
边缘 AI 可以在设备本身上即时分析数据，而无需等待图像或视频上传、分析，然后将结果发回。这使得 Vision AI 系统更快、更高效，并且减少了对互联网连接的依赖。边缘 AI 特别适用于实时决策应用，例如自动驾驶汽车、安全摄像头和智能工厂。
在介绍边缘AI之后，Guy Dahan强调了其主要优势，重点是效率、成本节约和数据安全。他解释说，最大的好处之一是低延迟——由于AI模型直接在设备上处理数据，因此无需将信息发送到云端并等待响应。
边缘 AI 还有助于降低成本并保护敏感数据。将大量数据（尤其是视频流）发送到云端可能非常昂贵。然而，在本地处理数据可以降低带宽和存储成本。
另一个关键优势是数据隐私，因为信息保留在设备上，而不是传输到外部服务器。这对于医疗保健、金融和安全应用尤其重要，在这些应用中，保持数据的本地性和安全性是首要任务。
基于这些优势，Guy Dahan 谈到了边缘人工智能日益广泛的应用。他指出，自2014NVIDIA 推出Jetson以来，使用率已经增长了10倍。如今，超过120万开发人员正在使用Jetson设备。
随后，Guy Dahan重点介绍了NVIDIA ）Jetson设备，该系列人工智能边缘计算设备旨在以低功耗提供高性能。Jetson设备是机器人、农业、医疗保健和工业自动化等领域计算机视觉应用的理想选择。"Jetsons是专为人工智能量身定制的边缘人工智能设备。我甚至可以补充说，它们最初主要是为计算机视觉而设计的，"Guy Dahan 补充道。
Jetson设备分为三个层级，每个层级都适用于不同的需求：
此外，盖-达汉还分享了即将于今年推出的 Jetson AGX Thor，并表示它将提供八倍的GPU （图形处理器）性能、两倍的内存容量以及更高的CPU （中央处理器）性能。它专为仿人机器人和高级边缘人工智能应用而设计。
Guy Dahan 随后转向讨论 Edge AI 的软件方面，并解释说，即使拥有强大的硬件，高效部署模型也可能具有挑战性。
最大的障碍之一是兼容性，因为人工智能开发人员经常使用PyTorch 和TensorFlow 等不同的人工智能框架。在这些框架之间移动非常困难，开发人员需要重新创建环境，以确保一切运行正常。
可扩展性是另一个关键挑战。AI 模型需要大量的计算能力，正如 Dahan 所说，“从来没有一家 AI 公司希望减少计算量。” 在多个设备上扩展 AI 应用程序可能会迅速变得昂贵，因此优化至关重要。
此外，AI 管道非常复杂，通常涉及不同类型的数据、实时处理和系统集成。开发人员投入大量精力来确保他们的模型与现有软件生态系统无缝交互。克服这些挑战是提高 AI 部署 效率和可扩展性的关键部分。
接下来，Guy Dahan 将目光转向了NVIDIA®）的Triton 推理服务器。他指出，许多公司和初创企业在开始开发人工智能时并没有对模型进行全面优化。从头开始重新设计整个人工智能流水线可能会造成破坏，而且耗费时间，难以有效扩展。
Triton 允许开发人员逐步完善和优化他们的人工智能工作流程，在不破坏现有设置的情况下集成更高效的组件，而不是要求对系统进行全面改造。Triton 支持包括TensorFlow、PyTorch、ONNX 和TensorRT 在内的多种人工智能框架，只需进行最少的调整，即可在云环境、数据中心和边缘设备之间实现无缝部署。
以下是NVIDIA®）Triton 推理服务器的一些主要优势：
比方说，您需要更高的加速度； NVIDIA TensorRT是优化人工智能模型的一个有趣选择。Guy Dahan 解释说，TensorRT 是专为NVIDIA ®）GPU 打造的高性能深度学习优化器。使用TensorRT 可以将TensorFlow、PyTorch、ONNX 和 MXNet 的模型转换为高效的GPU。
TensorRT 之所以如此可靠，是因为它针对特定硬件进行了优化。为 Jetson 设备优化的模型在其他 GPU 上的运行效率并不高，因为TensorRT 会根据目标硬件对性能进行微调。与未优化的模型相比，经过微调的计算机视觉模型可将推理速度提高 36 倍。
Guy Dahan还提到了Ultralytics对TensorRT的支持，谈到了它如何使人工智能模型的部署更快、更高效。Ultralytics YOLO 模型可以直接导出为TensorRT 格式，让开发人员无需做任何改动即可针对NVIDIA ®）GPU 对其进行优化。
在演讲的最后，Guy Dahan展示了DeepStream 7.0--一个专为使用NVIDIA ®）GPU实时处理视频、音频和传感器数据而设计的人工智能框架。该框架专为支持高速计算机视觉应用而设计，能够在自主系统、安全、工业自动化和智能城市中实现物体检测、跟踪和分析。通过直接在边缘设备上运行人工智能，DeepStream 消除了对云的依赖，从而减少了延迟并提高了效率。
具体来说，DeepStream 可以处理从头到尾的 AI 视频处理。它支持端到端的工作流程，从视频解码和预处理到 AI 推理和后处理。
最近，DeepStream 推出多项更新，旨在增强 AI 部署，使其更易于访问和扩展。 新工具简化了开发流程，改进了多摄像头跟踪，并优化了 AI 管道，从而提高了性能。
现在，开发者可以获得对 Windows 环境的扩展支持，增强的传感器融合能力（用于集成来自多个来源的数据），以及访问预构建的参考应用程序以加速部署。这些改进使 DeepStream 成为一个更灵活、更高效的实时 AI 解决方案，帮助开发者轻松扩展智能视频分析。
正如 Guy Dahan 在 YV24 的主题演讲中所述，边缘 AI 正在重新定义计算机视觉应用。随着硬件和软件的进步，实时处理正变得更快、更高效且更具成本效益。
随着越来越多的行业采用边缘 AI，解决碎片化和部署复杂性等挑战将是释放其全部潜力的关键。 拥抱这些创新将推动更智能、更快速响应的 AI 应用，从而塑造计算机视觉的未来。
加入我们不断壮大的社区！探索我们的 GitHub 仓库以了解更多关于人工智能的信息，并查看我们的许可选项以启动您的视觉人工智能项目。对人工智能在医疗保健领域和计算机视觉在制造业领域等创新感兴趣吗？访问我们的解决方案页面以了解更多信息！
