在英伟达 Jetson Orin Nano Super 上运行的 Ultralytics YOLO11:快速高效

阿比拉米-维纳

4 分钟阅读

2025年1月9日

探索在英伟达™(NVIDIA®)Jetson Orin Nano Super 上部署 Ultralytics YOLO11 如何为高级人工智能应用提供令人印象深刻的基准测试和 GPU 加速性能。

英伟达™(NVIDIA®)JetsonOrin Nano超级开发者套件于2024年12月17日发布,是一款体积小巧但功能强大的生成式人工智能超级计算机,旨在为边缘计算带来先进功能。它便于实时处理,无需云计算。英伟达™(NVIDIA®)Jetson Orin Nano Super可让开发人员构建经济实惠的智能系统,在本地环境中高效工作。

Ultralytics YOLO 模型(如Ultralytics YOLO11)搭配使用时,Jetson Orin Nano Super 可以处理各种边缘视觉人工智能应用。特别是,YOLO11 是一种计算机视觉模型,在物体检测、物体跟踪和实例分割等任务中以速度和准确性著称。 

将 YOLO11 的能力与套件强大的GPU(图形处理器)相结合,并支持 PyTorch、ONNX 和 NVIDIA TensorRT 等框架,可实现高性能部署。这种组合为开发人员提供了创建人工智能应用的高效解决方案,从机器人技术中的物体检测到智能空间和零售系统中的实时物体跟踪,无所不包。

在本文中,我们将介绍英伟达 Jetson Orin Nano 超级开发者套件、它如何与 Ultralytics YOLO11 配合实现边缘人工智能、其性能基准、实际应用,以及它如何帮助开发者构建视觉人工智能项目。让我们开始吧!

什么是英伟达 Jetson Orin Nano 超级开发者套件?

英伟达™(NVIDIA®)Jetson Orin Nano 超级开发者套件是一款小巧但功能强大的计算机,为小型边缘设备重新定义了生成式人工智能。它可提供高达 67 TOPS(每秒万亿次运算)的人工智能性能,是开发人员、学生和业余爱好者研究高级人工智能项目的理想之选。

__wf_保留继承

以下是它的一些主要功能:

  • 图形处理器性能:该设备基于英伟达™(NVIDIA®)Ampere 架构 GPU,其中包括 1,024 个 CUDA 内核和 32 个 Tensor 内核。CUDA 内核可同时处理多项任务,加快复杂计算速度,而 Tensor Cores 则专门用于深度学习等人工智能任务。
  • 强大的 CPU:它采用 6 核 Arm Cortex-A78AE 处理器,旨在兼顾速度和效率。该设备可以流畅地处理多项任务,同时保持较低的能耗。这对于在本地运行而无法使用大型电源的系统来说非常重要。
  • 高效内存:该套件配备 8GB LPDDR5(低功耗双倍数据速率 5)内存。LPDDR5 是一种针对速度和能效进行了优化的 RAM(随机存取存储器),可让设备在处理大型数据集和实时处理时不消耗过多电能。
  • 连接选项:它包括用于快速数据传输的 USB 3.2 端口、用于强大网络连接的千兆位以太网端口以及用于集成传感器或摄像头的摄像头接口。
  • 人工智能开发工具:Jetson Orin Nano Super 可与英伟达™(NVIDIA®)JetPack SDK 配合使用,JetPack SDK 可提供用于加快计算速度的 CUDA 和用于优化人工智能模型的TensorRT等工具。这些工具使开发人员更容易快速高效地构建和部署人工智能应用。

性能基准:Jetson Orin Nano Super VS Orin NX 16GB

如果您熟悉英伟达™(NVIDIA®)的产品,您可能会想知道这款新产品与现有的英伟达™(NVIDIA®)Jetson Orin NX 16GB(不含超级模式)相比有何不同。虽然 Jetson Orin NX 具有更高的整体性能,但 Jetson Orin Nano 超级开发者套件却能以极低的成本提供令人印象深刻的性能。

 

__wf_保留继承
图 2.英伟达™(NVIDIA®)Jetson Orin 生态系统一览。

下面是简要概述:

  • 人工智能性能:Jetson Orin Nano Super 可提供高达 67 TOPS 的性能,非常适合大多数边缘 AI 任务,而 Jetson Orin NX 可为要求更高的应用提供高达 100 TOPS 的性能。
  • 内存:Jetson Orin Nano Super 包括 8GB LPDDR5,足以执行实时任务,而 Orin NX 则将其翻倍至 16GB,以应对更大的工作负载。
  • 电源效率:与 Jetson Orin NX 的高功率需求相比,Jetson Orin Nano Super 更节能,可在 7W 至 25W 之间配置。
  • 图形处理器两者均采用英伟达™(NVIDIA®)Ampere 架构,拥有 1,024 个 CUDA 内核和 32 个张量内核,可提供强大的 GPU 性能。

YOLO11 与 Jetson Orin Nano Super:将视觉 AI 带到边缘

现在,我们对 Jetson Orin Nano Super 有了更深入的了解,让我们来看看 YOLO11 如何介入,将 Vision AI 功能带到边缘。包括 YOLO11 在内的 Ultralytics YOLO 模型具有训练、预测和输出等多种模式,可以适应各种人工智能工作流程。 

例如,在训练模式下,Ultralytics YOLO 模型可以针对特定应用在定制数据集上进行微调和训练,如检测独特的物体或针对特定环境进行优化。同样, 预测模式专为推理而设计,可用于实时计算机视觉任务。最后,导出模式可用于将模型转换为优化部署的格式。

__wf_保留继承
图 3.Ultralytics YOLO 模型支持各种功能和模式。

导出模式下的 YOLO11 支持一系列模型部署选项,其中包括

  • NVIDIA TensorRT:该格式针对 NVIDIA GPU 进行了优化,可在 Jetson Orin Nano Super 上提供高性能和低延迟推理。
  • ONNX(开放神经网络交换)
  • 火炬脚本:
  • TFLite (TensorFlow Lite):专为轻量级人工智能部署而设计的格式,非常适合移动和嵌入式系统。

利用这些部署格式,开发人员可以充分利用 Jetson Orin Nano Super 的硬件优势,在智能空间、机器人和零售自动化等实时应用中运行 YOLO11。 

在英伟达 Jetson Orin Nano Super 上对 YOLO11 进行基准测试

接下来,为了更好地了解 YOLO11 在英伟达 Jetson Orin Nano Super 上的运行速度,让我们使用 GPU 加速的导出格式(如 PyTorch、ONNX 和 TensorRT)来探索其令人印象深刻的性能和基准。这些测试表明,Jetson Orin Nano Super 使用 YOLO11 模型实现的推理时间可与现有的 Jetson Orin NX 16GB(无超级模式)相媲美,有时甚至超过。

__wf_保留继承
图 4.在英伟达 Jetson Orin Nano Super 上对 YOLO11 进行基准测试。

更难能可贵的是,Jetson Orin Nano Super 的经济实惠。它以不到 Jetson Orin NX 16GB 一半的价格提供如此卓越的性能,为开发人员构建高性能 YOLO11 应用程序提供了非凡的价值。成本与性能的完美结合使 Jetson Orin Nano Super 成为边缘实时视觉 AI 任务的绝佳选择。

__wf_保留继承
图 5.在 Jetson Orin NX 16GB 上对 YOLO11 进行基准测试。

亲身体验 YOLO11 和英伟达 Jetson Orin Nano 超级版

如果您对开始在 Jetson Orin Nano Super 上部署 YOLO11 感到兴奋,那么好消息来了--这是一个简单直接的过程。使用英伟达 JetPack SDK 更新设备后,您可以使用预置的 Docker 镜像进行快速安装,也可以手动安装必要的软件包。 

对于那些寻求更快、更无缝集成的人来说,更新后的 JetPack 6 Docker 容器是理想的解决方案。Docker 容器是一种轻量级的便携式环境,包含运行特定软件所需的所有工具和依赖项。 

Ultralytics 容器针对 JetPack 6.1 进行了优化,预装了 CUDA 12.6、TensorRT 10.3 以及 PyTorch 和 TorchVision 等基本工具,所有这些都是为 Jetson 的 ARM64 架构量身定制的。通过使用该容器,开发人员可以节省设置时间,专注于使用 YOLO11 构建和优化他们的Vision AI 应用程序

YOLO11 在英伟达 Jetson Orin Nano Super 上的应用

对于那些正在为下一个人工智能项目寻找灵感的人来说,基于边缘的计算机视觉应用潜力就在我们身边。 

在日常生活中,边缘人工智能正在重新定义智能空间,使系统能够实时检测和跟踪物体,而无需依赖云处理。无论是监控繁华都市的交通,还是识别公共场所的异常活动,边缘视觉人工智能都在提高安全性和效率。

零售商也在利用边缘人工智能和计算机视觉。从自动库存检查到防盗,像 YOLO11 这样的模型使企业直接在商店部署实时解决方案成为可能。 

同样,就医疗保健领域的人工智能而言,基于边缘的监控可确保患者安全、检测异常并保持合规性,而这一切都不会因依赖云计算而造成延误。借助 Jetson Orin Nano Super 和 YOLO11 等工具,视觉人工智能的未来将在最需要的边缘展开。

主要收获

在英伟达™(NVIDIA®)Jetson Orin Nano 超级开发者套件上部署 Ultralytics YOLO 模型(如 YOLO11)可为边缘人工智能应用提供可靠、高效的解决方案。凭借强大的 GPU 性能、对 PyTorch、ONNX 和 TensorRT 的无缝支持以及令人印象深刻的基准测试,它非常适合对象检测和跟踪等实时计算机视觉任务。 

视觉人工智能(Vision AI)和硬件加速等前沿技术的创新与合作正在改变我们的工作方式,使开发人员能够在边缘构建可扩展的高性能解决方案。随着人工智能的发展,YOLO11 和 Jetson Orin Nano Super 等工具使智能实时解决方案比以往任何时候都更容易实现。

对人工智能感到好奇?访问我们的GitHub 存储库,了解我们的贡献并与我们的社区互动。了解我们如何利用人工智能对农业和医疗保健等行业产生影响。

让我们共同打造人工智能的未来

开始您的未来机器学习之旅

免费开始
链接复制到剪贴板