NVIDIA Jetson Orin Nano Super 上的 Ultralytics YOLO11：快速高效
探索在 NVIDIA Jetson Orin Nano Super 上部署 Ultralytics YOLO11，如何为高级 AI 应用带来出色的基准测试结果和 GPU 加速性能。
于 2024 年 12 月 17 日发布的 NVIDIA Jetson Orin Nano Super 开发者套件，是一款小巧但功能强大的生成式 AI 超级计算机，旨在将先进能力带到边缘计算中。它支持实时处理，无需依赖云计算。NVIDIA Jetson Orin Nano Super 让开发者能够构建价格实惠的智能系统，并在本地环境中高效运行。
与 Ultralytics YOLO 模型（例如 Ultralytics YOLO11）结合使用时，Jetson Orin Nano Super 可在边缘端处理各种视觉 AI 应用。尤其是 YOLO11，这是一款以速度和准确性著称的计算机视觉模型，可用于目标检测、目标跟踪和实例分割等任务。
将 Ultralytics YOLO11 的能力与该套件强大的 GPU（图形处理单元）以及对 PyTorch、ONNX 和 NVIDIA TensorRT 等框架的支持相结合，即可实现高性能部署。这种组合为开发者创建 AI 应用提供了高效方案，应用场景包括机器人目标检测，以及智能空间和零售系统中的实时目标跟踪。
本文将介绍 NVIDIA Jetson Orin Nano Super 开发者套件、它如何与 Ultralytics YOLO11 配合实现边缘 AI、其性能基准测试和实际应用，以及它如何帮助开发者构建视觉 AI 项目。现在就开始吧！
什么是 NVIDIA Jetson Orin Nano Super 开发者套件？#
NVIDIA Jetson Orin Nano Super 开发者套件是一款小巧但功能强大的计算机，为小型边缘设备重新定义了生成式 AI。它可提供高达 67 TOPS（每秒万亿次运算）的 AI 性能，非常适合从事高级 AI 项目的开发者、学生和爱好者。
以下是它的一些主要特性：
- GPU 性能：该设备采用基于 NVIDIA Ampere 架构的 GPU，包含 1,024 个 CUDA 核心和 32 个 Tensor Cores。CUDA 核心可同时处理大量任务，加速复杂计算；Tensor Cores 则专门用于深度学习等 AI 任务。
- 强大的 CPU：该设备配备 6 核 Arm Cortex-A78AE 处理器，旨在平衡速度与效率。它能够流畅处理多个任务，同时保持较低的能耗。这对于无法接入大型电源、需要在本地运行的系统十分重要。
- 高效内存：该套件配备 8GB LPDDR5（低功耗双倍数据速率 5）内存。LPDDR5 是一种针对速度和能效进行优化的 RAM（随机存取存储器），使设备能够处理大型数据集和实时任务，同时避免消耗过多电力。
- 连接选项：该设备配备 USB 3.2 接口，可实现快速数据传输；配备 Gigabit Ethernet 接口，可提供稳定的网络连接；还配备摄像头接口，便于集成传感器或摄像头。
- AI 开发工具：Jetson Orin Nano Super 支持 NVIDIA JetPack SDK，其中提供 CUDA 等加速计算工具，以及用于优化 AI 模型的 TensorRT。这些工具让开发者能够更快速、高效地构建和部署 AI 应用。
性能基准测试：Jetson Orin Nano Super 对比 Orin NX 16GB#
如果你熟悉 NVIDIA 的产品，可能会想知道这款新品与现有的 NVIDIA Jetson Orin NX 16GB（不含超级模式）相比表现如何。虽然 Jetson Orin NX 的整体能力更强，但 Jetson Orin Nano Super 开发者套件只需其一小部分成本，就能提供令人印象深刻的性能。
图 2. NVIDIA Jetson Orin 生态系统概览。
下面快速了解一下：
- AI 性能：Jetson Orin Nano Super 可提供高达 67 TOPS，足以应对大多数边缘 AI 任务；Jetson Orin NX 则可提供高达 100 TOPS，适合要求更高的应用。
- 内存：Jetson Orin Nano Super 配备 8GB LPDDR5，足以应对实时任务；Orin NX 将内存增加一倍至 16GB，可处理更大的工作负载。
- 能效：Jetson Orin Nano Super 的能效更高，可在 7W 至 25W 之间进行配置，而 Jetson Orin NX 的功耗需求更高。
- GPU：两者均采用 NVIDIA Ampere 架构，配备 1,024 个 CUDA 核心和 32 个 Tensor Cores，可提供强大的 GPU 性能。
Ultralytics YOLO11 搭配 Jetson Orin Nano Super：将视觉 AI 带到边缘端#
现在我们已经对 Jetson Orin Nano Super 有了更好的了解，接下来看看 YOLO11 如何将视觉 AI 能力带到边缘端。Ultralytics YOLO 模型（包括 YOLO11）提供 train、predict 和 export 等多种模式，能够适应各种 AI 工作流。
例如，在训练模式下，Ultralytics YOLO 模型可以针对特定应用在自定义数据集上进行微调和训练，例如检测独特目标或针对特定环境进行优化。同样，预测模式专为推理而设计，可实现实时计算机视觉任务。最后，导出模式可用于将模型转换为适合部署的格式。
图 3. Ultralytics YOLO 模型支持各种功能和模式。
Ultralytics YOLO11 的导出模式支持多种模型部署选项，包括但不限于：
- NVIDIA TensorRT：该格式针对 NVIDIA GPU 进行了优化，可在 Jetson Orin Nano Super 上实现高性能、低延迟推理。
- ONNX（开放神经网络交换）：它确保了不同平台之间的兼容性，能够适应各种硬件和软件生态系统。
- TorchScript：该格式非常适合基于 PyTorch 的应用，有助于无缝集成到 PyTorch 工作流中。
- TFLite（TensorFlow Lite）：这是一种专为轻量级 AI 部署设计的格式，非常适合移动设备和嵌入式系统。
借助这些部署格式，开发者可以充分利用 Jetson Orin Nano Super 的硬件，运行 Ultralytics YOLO11，以支持智能空间、机器人和零售自动化等实时应用。
在 NVIDIA Jetson Orin Nano Super 上对 Ultralytics YOLO11 进行基准测试#
接下来，为了更好地了解 Ultralytics YOLO11 在 NVIDIA Jetson Orin Nano Super 上的运行速度，我们将使用 PyTorch、ONNX 和 TensorRT 等 GPU 加速导出格式，探索其出色的性能和基准测试结果。这些测试表明，Jetson Orin Nano Super 使用 YOLO11 模型时的推理时间与现有 Jetson Orin NX 16GB（不含超级模式）相当，有时甚至更短。
图 4. 在 NVIDIA Jetson Orin Nano Super 上对 Ultralytics YOLO11 进行基准测试。
更令人瞩目的是 Jetson Orin Nano Super 的高性价比。它的价格不到 Jetson Orin NX 16GB 的一半，却能提供这样的性能，为构建高性能 Ultralytics YOLO11 应用的开发者带来了卓越价值。这种成本与性能的结合，使 Jetson Orin Nano Super 成为边缘端实时视觉 AI 任务的出色选择。
图 5. 在 Jetson Orin NX 16GB 上对 Ultralytics YOLO11 进行基准测试。
亲自体验 Ultralytics YOLO11 和 NVIDIA Jetson Orin Nano Super#
如果你已经迫不及待想在 Jetson Orin Nano Super 上部署 Ultralytics YOLO11，开始使用的过程非常简单。使用 NVIDIA JetPack SDK 为设备刷写系统后，你可以使用预构建的 Docker 镜像快速设置，也可以手动安装所需的软件包。
对于希望更快速、更顺畅地完成集成的用户，更新后的 JetPack 6 Docker 容器是理想选择。Docker 容器是一种轻量、可移植的环境，其中包含运行特定软件所需的全部工具和依赖项。
针对 JetPack 6.1 优化的 Ultralytics 容器预装了 CUDA 12.6、TensorRT 10.3 以及 PyTorch 和 TorchVision 等必要工具，并针对 Jetson 的 ARM64 架构进行了适配。借助该容器，开发者可以节省设置时间，专注于使用 YOLO11 构建和优化视觉 AI 应用。
Ultralytics YOLO11 在 NVIDIA Jetson Orin Nano Super 上的应用#
如果你正在为下一个 AI 项目寻找灵感，边缘计算机视觉应用的潜力其实就在我们身边。
在日常生活中，边缘 AI 通过让系统实时检测和跟踪目标，重新定义了智能空间，而且无需依赖云端处理。无论是监控繁忙城市中的交通，还是识别公共场所的异常活动，边缘视觉 AI 都在提升安全性和效率。
零售商也在积极采用边缘 AI 和计算机视觉。从自动化库存检查到防盗，Ultralytics YOLO11 等模型让企业能够直接在门店内部署实时解决方案。
同样，在医疗领域的 AI应用中，基于边缘的监控可以确保患者安全、检测异常并维持合规性，同时避免云端依赖造成的延迟。借助 Jetson Orin Nano Super 和 Ultralytics YOLO11 等工具，视觉 AI 的未来正在边缘端展开，而这正是最需要它的地方。
要点总结#
在 NVIDIA Jetson Orin Nano Super 开发者套件上部署 YOLO11 等 Ultralytics YOLO 模型，可为边缘 AI 应用提供可靠、高效的解决方案。凭借强大的 GPU 性能、对 PyTorch、ONNX 和 TensorRT 的无缝支持，以及出色的基准测试表现，它非常适合目标检测和跟踪等实时计算机视觉任务。
视觉 AI 和硬件加速等尖端技术领域的创新与合作，正在改变我们的工作方式，并赋能开发者在边缘端构建可扩展的高性能解决方案。随着 AI 不断发展，Ultralytics YOLO11 和 Jetson Orin Nano Super 等工具让将智能实时解决方案变为现实变得前所未有地简单。
对 AI 感兴趣？访问我们的 GitHub 代码仓库，了解我们的贡献，并加入我们的社区交流。看看我们如何利用 AI 为农业、医疗等行业带来影响。
