Ultralytics YOLO11 在 NVIDIA Jetson Orin Nano Super 上：快速且高效

NVIDIA Jetson Orin Nano Super 开发者套件于 2024 年 12 月 17 日发布，是一款小巧但功能强大的生成式 AI 超级计算机，旨在为边缘计算带来先进的功能。它能够促进实时处理并消除了对云计算的需求。NVIDIA Jetson Orin Nano Super 让开发者能够构建价格实惠且能在本地环境中高效运行的智能系统。

当与诸如 Ultralytics YOLO11 等 Ultralytics YOLO 模型搭配使用时，Jetson Orin Nano Super 可以处理边缘端的各种视觉 AI 应用。特别是 YOLO11，它是一个计算机 vision 模型，以在目标检测、目标跟踪和实例分割等任务中的速度和准确性而闻名。

将 Ultralytics YOLO11 的能力与该套件强大的 GPU (Graphics Processing Unit) 以及对 PyTorch、ONNX 和 NVIDIA TensorRT 等框架的支持相结合，能够实现高性能部署。这种组合为开发者提供了一种高效的解决方案，用于创建各种 AI 应用，从机器人中的目标检测到智能空间和零售系统中的实时目标跟踪。

在本文中，我们将探讨 NVIDIA Jetson Orin Nano Super 开发者套件、它如何与 Ultralytics YOLO11 配合用于边缘 AI、其性能基准测试、实际应用，以及它如何帮助开发者构建视觉 AI 项目。让我们开始吧！

什么是 NVIDIA Jetson Orin Nano Super 开发套件？#

NVIDIA Jetson Orin Nano Super 开发套件是一款小巧但功能强大的计算机，它重新定义了小型边缘设备的生成式 AI。它提供高达 67 TOPS（每秒万亿次运算）的 AI 性能，非常适合从事先进 AI 项目的开发者、学生和爱好者。

以下是其部分关键特性：

• GPU 性能：该设备基于 NVIDIA Ampere 架构 GPU，包含 1,024 个 CUDA 核心和 32 个 Tensor 核心。CUDA 核心可同时处理多项任务，加速复杂计算，而 Tensor 核心则专用于深度学习等 AI 任务。
• 强大的 CPU：它搭载 6 核 Arm Cortex-A78AE 处理器，旨在平衡速度和效率。该设备可以在保持低能耗的同时流畅处理多项任务。对于在没有大型电源支持的本地环境中运行的系统来说，这一点非常重要。
• 高效内存：该套件配备了 8GB 的 LPDDR5（低功耗双倍数据速率 5）内存。LPDDR5 是一种针对速度和能效优化的 RAM（随机存取内存）类型，允许设备在不消耗过多电力的情况下处理大型数据集和实时处理。
• 连接选项：它包括用于快速传输数据的 USB 3.2 端口、用于强大网络连接的千兆以太网端口，以及用于集成传感器或相机的相机接口。
• AI 开发工具：Jetson Orin Nano Super 与 NVIDIA JetPack SDK 兼容，后者提供了诸如用于更快计算的 CUDA 以及用于优化 AI 模型地 TensorRT 等工具。这些工具使开发者能够更轻松、快速且高效地构建和部署 AI 应用。

性能基准：Jetson Orin Nano Super 与 Orin NX 16GB 对比#

如果你熟悉 NVIDIA 的产品，你可能想知道这款新产品与现有的 NVIDIA Jetson Orin NX 16GB（非超级模式）相比如何。虽然 Jetson Orin NX 拥有更高的整体能力，但 Jetson Orin Nano Super 开发套件以极具竞争力的价格提供了令人印象深刻的性能。

图 2. NVIDIA Jetson Orin 生态系统一览。

这里有一个快速对比：

• AI 性能：Jetson Orin Nano Super 提供高达 67 TOPS，非常适合大多数边缘 AI 任务，而 Jetson Orin NX 提供高达 100 TOPS，适用于更严苛的应用。
• 内存：Jetson Orin Nano Super 包含 8GB LPDDR5，足以处理实时任务，而 Orin NX 则将其翻倍至 16GB，以支持更大的工作负载。
• 能效：Jetson Orin Nano Super 更节能，可在 7W 到 25W 之间配置，相比之下，Jetson Orin NX 的功率需求更高。
• GPU：两者均基于 NVIDIA Ampere 架构，包含 1,024 个 CUDA 核心和 32 个 Tensor 核心，以提供强大的 GPU 性能。

Ultralytics YOLO11 与 Jetson Orin Nano Super：将视觉 AI 带到边缘端#

现在我们对 Jetson Orin Nano Super 有了更好的了解，让我们看看 YOLO11 如何将视觉 AI 能力带到边缘。Ultralytics YOLO 模型（包括 YOLO11）提供训练、预测和导出等多种模式，使其能够适应各种 AI 工作流。

例如，在训练模式下，Ultralytics YOLO 模型可以在自定义数据集上进行微调和训练，以用于特定应用，例如检测独特目标或针对特定环境进行优化。同样，预测模式专为推理而设计，可实现实时的计算机视觉任务。最后，导出模式可用于将模型转换为针对部署优化的格式。

图 3. Ultralytics YOLO 模型支持各种功能和模式。

Ultralytics YOLO11 的导出模式支持多种模型部署选项，其中包括：

• NVIDIA TensorRT：此格式专为 NVIDIA GPU 优化，可在 Jetson Orin Nano Super 上提供高性能和低延迟的推理。
• ONNX（开放神经网络交换）：它确保了跨不同平台的兼容性，使其能够灵活适应各种硬件和软件生态系统。
• TorchScript：此格式非常适合基于 PyTorch 的应用，有助于无缝集成到 PyTorch 工作流中。
• TFLite (TensorFlow Lite)：一种专为轻量级 AI 部署设计的格式，使其非常适合移动设备和嵌入式系统。

通过使用这些部署格式，开发者可以充分利用 Jetson Orin Nano Super 的硬件优势，运行 Ultralytics YOLO11 来支持智能空间、机器人和零售自动化等实时应用。

在 NVIDIA Jetson Orin Nano Super 上对 Ultralytics YOLO11 进行基准测试#

接下来，为了更好地了解 Ultralytics YOLO11 在 NVIDIA Jetson Orin Nano Super 上的运行速度，让我们通过 PyTorch、ONNX 和 TensorRT 等 GPU 加速导出格式来探索其令人印象深刻的性能和基准测试。这些测试表明，Jetson Orin Nano Super 使用 YOLO11 模型实现的推理时间与现有的 Jetson Orin Nano 16GB（无超级模式）相当，甚至有时会超越后者。

Fig 4. 在 NVIDIA Jetson Orin Nano Super 上对 Ultralytics YOLO11 进行基准测试。

更令人瞩目的是 Jetson Orin Nano Super 的高性价比。它以不到 Jetson Orin NX 16GB 一半的价格提供了这样的性能，为构建高性能 Ultralytics YOLO11 应用的开发者带来了非凡的价值。这种成本与性能的结合使 Jetson Orin Nano Super 成为边缘端实时视觉 AI 任务的绝佳选择。

Fig 5. 在 Jetson Orin NX 16GB 上对 Ultralytics YOLO11 进行基准测试。

动手实践 Ultralytics YOLO11 与 NVIDIA Jetson Orin Nano Super#

如果你对开始在 Jetson Orin Nano Super 上部署 Ultralytics YOLO11 充满期待，那有个好消息——这是一个非常简单的过程。在用 NVIDIA JetPack SDK 刷机后，你可以使用预构建的 Docker 镜像进行快速设置，也可以手动安装必要的软件包。

对于寻求更快速、更无缝集成的开发者，更新后的 JetPack 6 Docker 容器是理想的解决方案。Docker 容器是一个轻量级、可移植的环境，包含了运行特定软件所需的所有工具和依赖项。

Ultralytics 容器针对 JetPack 6.1 进行了优化，预装了 CUDA 12.6、TensorRT 10.3 以及 PyTorch 和 TorchVision 等核心工具，所有这些都专为 Jetson 的 ARM64 架构量身定制。通过使用此容器，开发者可以节省设置时间，专注于使用 YOLO11 构建和优化其视觉 AI 应用。

Ultralytics YOLO11 在 NVIDIA Jetson Orin Nano Super 上的应用#

如果你正在为下一个 AI 项目寻找灵感，你会发现我们身边到处都是基于边缘的计算机视觉应用潜力。

在日常生活中，边缘 AI 正通过实现实时检测和追踪物体的系统来重新定义智能空间，且无需依赖云端处理。无论是监测繁华城市的交通，还是识别公共场所的异常活动，边缘视觉 AI 都在提高安全性和效率。

零售商也在积极拥抱边缘 AI 和计算机 vision。从自动库存检查到防盗，Ultralytics YOLO11 等模型使企业能够直接在门店部署实时解决方案。

同样，在医疗健康领域的 AI 方面，基于边缘的监控可确保患者安全、检测异常并保持合规性——所有这些都不会受到云端依赖带来的延迟影响。借助 Jetson Orin Nano Super 和 Ultralytics YOLO11 等工具，视觉 AI 的未来正在最需要的边缘端展开。

关键要点#

在 NVIDIA Jetson Orin Nano Super 开发套件上部署 Ultralytics YOLO 模型（如 YOLO11）为边缘 AI 应用提供了一种可靠且高效的解决方案。凭借强大的 GPU 性能、对 PyTorch、ONNX 和 TensorRT 的无缝支持以及出色的基准测试表现，它非常适合目标检测和追踪等实时计算机视觉任务。

视觉 AI 和硬件加速等尖端技术的创新与协作正在改变我们的工作方式，赋能开发者在边缘端构建可扩展的高性能解决方案。随着 AI 的发展，Ultralytics YOLO11 和 Jetson Orin Nano Super 等工具让将智能实时解决方案变为现实变得前所未有地简单。

对 AI 感兴趣？访问我们的GitHub 仓库以探索我们的贡献并与我们的社区互动。了解我们如何利用 AI 在农业和医疗等行业产生影响。