NVIDIA Jetson Orin Nano Super 上的 Ultralytics YOLO11：快速高效

NVIDIA Jetson Orin Nano Super Developer Kit 于 2024 年 12 月 17 日发布，是一款小巧而强大的生成式 AI 超级计算机，旨在为边缘计算带来先进能力。它支持实时处理，并减少对云计算的需求。NVIDIA Jetson Orin Nano Super 可帮助开发者构建价格实惠、能在本地环境中高效运行的智能系统。

搭配 Ultralytics YOLO 模型，例如 Ultralytics YOLO11，Jetson Orin Nano Super 可以在边缘端处理大量视觉 AI 应用。具体来说，YOLO11 是一款计算机视觉模型，以速度快、准确率高而闻名，可用于目标检测、目标跟踪和实例分割等任务。

将 Ultralytics YOLO11 的能力与套件强大的 GPU（图形处理器）以及对 PyTorch、ONNX 和 NVIDIA TensorRT 等框架的支持相结合，即可实现高性能部署。这一组合为开发者提供了高效的 AI 应用构建方案，涵盖机器人目标检测、智能空间和零售系统中的实时目标跟踪等场景。

本文将介绍 NVIDIA Jetson Orin Nano Super Developer Kit、它如何与 Ultralytics YOLO11 配合用于边缘 AI、其性能基准测试和实际应用，以及它如何帮助开发者构建视觉 AI 项目。

什么是 NVIDIA Jetson Orin Nano Super Developer Kit？#

NVIDIA Jetson Orin Nano Super Developer Kit 是一款小巧而强大的计算机，能将生成式 AI 带到小型边缘设备上。它的 AI 性能最高可达 67 TOPS（每秒万亿次运算），非常适合从事高级 AI 项目的开发者、学生和爱好者。

以下是它的一些主要特性：

• GPU 性能：该设备基于 NVIDIA Ampere 架构 GPU，包含 1,024 个 CUDA 核心和 32 个 Tensor Core。CUDA 核心可同时处理多项任务，从而加快复杂计算；Tensor Core 则专为深度学习等 AI 任务而设计。
• 强大的 CPU：它配备 6 核 Arm Cortex-A78AE 处理器，旨在兼顾速度和效率。该设备能够流畅处理多项任务，同时降低能耗。这对于无法接入大型电源、需要在本地运行的系统十分重要。
• 高效内存：该套件配备 8GB LPDDR5（低功耗双倍数据速率 5）内存。LPDDR5 是一种经过优化、兼顾速度和能效的 RAM（随机存取存储器），让设备能够处理大型数据集并进行实时处理，同时避免消耗过多电力。
• 连接选项：它配备 USB 3.2 端口，可快速传输数据；千兆以太网端口，可提供稳定的网络连接；以及摄像头接口，便于集成传感器或摄像头。
• AI 开发工具：Jetson Orin Nano Super 可搭配 NVIDIA JetPack SDK 使用，其中提供 CUDA 等加速计算工具，以及用于优化 AI 模型的 TensorRT。这些工具让开发者能够更轻松地快速、高效地构建和部署 AI 应用。

性能基准：Jetson Orin Nano Super 与 Orin NX 16GB 对比#

如果你熟悉 NVIDIA 的产品，可能会想知道这款新品与现有的 NVIDIA Jetson Orin NX 16GB（不使用 Super 模式）相比表现如何。Jetson Orin NX 的整体能力更强，而 Jetson Orin Nano Super Developer Kit 只需花费其一小部分成本，就能提供出色的性能。

图 2. NVIDIA Jetson Orin 生态系统一览。

下面快速了解一下：

• AI 性能：Jetson Orin Nano Super 可提供高达 67 TOPS 的性能，足以应对大多数边缘 AI 任务；Jetson Orin NX 则可提供高达 100 TOPS 的性能，适用于要求更高的应用。
• 内存：Jetson Orin Nano Super 配备 8GB LPDDR5，足以应对实时任务；Orin NX 的内存翻倍至 16GB，可处理更大的工作负载。
• 能效：Jetson Orin Nano Super 能效更高，功耗可在 7W 至 25W 之间配置；Jetson Orin NX 的功耗需求则更高。
• GPU：两者均采用 NVIDIA Ampere 架构，配备 1,024 个 CUDA 核心和 32 个 Tensor Core，可提供强劲的 GPU 性能。

Ultralytics YOLO11 搭配 Jetson Orin Nano Super：将视觉 AI 带到边缘端#

现在我们对 Jetson Orin Nano Super 有了更深入的了解，接下来看看 YOLO11 如何将视觉 AI 能力带到边缘端。包括 YOLO11 在内的 Ultralytics YOLO 模型提供训练、预测和导出等多种模式，能够适应各种 AI 工作流程。

例如，在训练模式下，你可以微调 Ultralytics YOLO 模型，并使用自定义数据集进行训练，以适用于特定应用，例如检测独特物体或针对特定环境进行优化。同样，预测模式专为推理设计，可支持实时计算机视觉任务。最后，导出模式可用于将模型转换为针对部署优化的格式。

图 3. Ultralytics YOLO 模型支持多种功能和模式。

Ultralytics YOLO11 在导出模式下支持多种模型部署选项，包括：

• NVIDIA TensorRT：此格式针对 NVIDIA GPU 进行了优化，可在 Jetson Orin Nano Super 上提供高性能、低延迟推理。
• ONNX（开放神经网络交换）：它兼容多个平台，可灵活适配不同的硬件和软件生态系统。
• TorchScript：此格式非常适合基于 PyTorch 的应用，可轻松集成到 PyTorch 工作流中。
• TFLite（TensorFlow Lite）：这是一种专为轻量级 AI 部署设计的格式，非常适合移动设备和嵌入式系统。

借助这些部署格式，开发者可以充分利用 Jetson Orin Nano Super 的硬件，让 Ultralytics YOLO11 运行于智能空间、机器人和零售自动化等实时应用中。

在 NVIDIA Jetson Orin Nano Super 上对 Ultralytics YOLO11 进行基准测试#

接下来，为了更好地了解 Ultralytics YOLO11 在 NVIDIA Jetson Orin Nano Super 上的运行速度，我们来看看它在 PyTorch、ONNX 和 TensorRT 等 GPU 加速格式下的基准测试。这些测试表明，Jetson Orin Nano Super 运行 YOLO11 模型时的推理耗时与现有的 Jetson Orin NX 16GB（未启用 super 模式）相当，有时甚至更快。

图 4. 在 NVIDIA Jetson Orin Nano Super 上对 Ultralytics YOLO11 进行基准测试。

更令人瞩目的是 Jetson Orin Nano Super 的价格实惠。它的价格不到 Jetson Orin NX 16GB 的一半，却能提供这样的性能，为构建高性能 Ultralytics YOLO11 应用的开发者带来了出色的性价比。成本与性能兼具，使 Jetson Orin Nano Super 成为边缘端实时视觉 AI 任务的理想选择。

图 5. 在 Jetson Orin NX 16GB 上对 Ultralytics YOLO11 进行基准测试。

动手体验 Ultralytics YOLO11 和 NVIDIA Jetson Orin Nano Super#

如果你迫不及待想开始在 Jetson Orin Nano Super 上部署 Ultralytics YOLO11，那么整个过程非常简单。使用 NVIDIA JetPack SDK 为设备刷写系统后，你可以使用预构建的 Docker 镜像快速设置，也可以手动安装所需的软件包。

若要尽快完成设置，更新后的 JetPack 6 Docker 容器是最简单的选择。Docker 容器是一种轻量、可移植的环境，其中包含运行特定软件所需的全部工具和依赖项。

针对 JetPack 6.1 优化的 Ultralytics 容器预装了 CUDA 12.6、TensorRT 10.3，以及 PyTorch 和 TorchVision 等必要工具，并针对 Jetson 的 ARM64 架构进行了适配。使用该容器，开发者可以节省设置时间，专注于使用 YOLO11 构建和优化自己的视觉 AI 应用。

Ultralytics YOLO11 在 NVIDIA Jetson Orin Nano Super 上的应用#

如果你正在为下一个 AI 项目寻找灵感，边缘计算机视觉应用的潜力其实就在我们身边。

在日常生活中，边缘 AI 正通过支持系统实时检测和跟踪物体来改变智能空间，而且整个过程无需依赖云端处理。无论是监控繁忙城市的交通，还是识别公共场所的异常活动，边缘视觉 AI 都在提升安全性和效率。

零售商也在利用边缘 AI 和计算机视觉。从自动化库存检查到防盗，Ultralytics YOLO11 等模型让企业能够直接在门店内部署实时解决方案。

同样，在医疗保健领域应用 AI时，基于边缘端的监控有助于保障患者安全、检测异常并支持合规工作，而且不会因依赖云端而产生延迟。借助 Jetson Orin Nano Super 和 Ultralytics YOLO11 等工具，视觉 AI 的未来正在边缘端展开，而这正是它最需要发挥作用的地方。

要点#

在 NVIDIA Jetson Orin Nano Super Developer Kit 上部署 Ultralytics YOLO 模型（如 YOLO11），可为边缘 AI 应用提供可靠、高效的解决方案。它具备强大的 GPU 性能、对 PyTorch、ONNX 和 TensorRT 的原生支持，以及出色的基准测试表现，非常适合目标检测和跟踪等实时计算机视觉任务。

视觉 AI 和硬件加速方面的进步正在改变我们的工作方式，帮助开发者在边缘端构建可扩展的高性能解决方案。随着 AI 不断进步，Ultralytics YOLO11 和 Jetson Orin Nano Super 等工具让你比以往更轻松地打造智能实时解决方案。

对 AI 感兴趣吗？访问我们的 GitHub 代码仓库，了解我们的贡献并参与社区交流。看看我们如何利用 AI 为农业和医疗保健等行业带来积极影响。