Ultralytics YOLO11 在 NVIDIA Jetson Orin Nano Super 上：快速且高效
探索在 NVIDIA Jetson Orin Nano Super 上部署 Ultralytics YOLO11 如何为先进的 AI 应用提供出色的基准测试和 GPU 加速性能。
NVIDIA Jetson Orin Nano Super 开发套件于 2024 年 12 月 17 日发布，是一款小巧而强大的生成式 AI 超级计算机，旨在为边缘计算带来先进能力。它能够促进实时处理，无需依赖云计算。NVIDIA Jetson Orin Nano Super 让开发者能够构建经济高效的智能系统，并在本地环境中高效运行。
当配合 Ultralytics YOLO 模型（如 Ultralytics YOLO11）使用时，Jetson Orin Nano Super 可以在边缘处理多种视觉 AI 应用。特别是 YOLO11，这是一款以其在目标检测、目标追踪和实例分割等任务中的速度和准确性而闻名的计算机视觉模型。
将 YOLO11 的能力与该套件强大的 GPU（图形处理器）以及对 PyTorch、ONNX 和 NVIDIA TensorRT 等框架的支持相结合，可以实现高性能部署。这种组合为开发者提供了一种高效的解决方案，用于创建各种 AI 应用，从机器人中的目标检测到智能空间和零售系统中的实时目标追踪。
在本文中，我们将深入了解 NVIDIA Jetson Orin Nano Super 开发套件，探讨它如何与 Ultralytics YOLO11 协作实现边缘 AI，以及它的性能基准、实际应用场景，并了解它如何帮助开发者构建视觉 AI 项目。让我们开始吧！
Link to this section什么是 NVIDIA Jetson Orin Nano Super 开发套件？#
NVIDIA Jetson Orin Nano Super 开发套件是一款小巧但功能强大的计算机，它重新定义了小型边缘设备的生成式 AI。它提供高达 67 TOPS（每秒万亿次运算）的 AI 性能，非常适合从事先进 AI 项目的开发者、学生和爱好者。
以下是其部分关键特性：
- GPU 性能：该设备基于 NVIDIA Ampere 架构 GPU，包含 1,024 个 CUDA 核心和 32 个 Tensor 核心。CUDA 核心可同时处理多项任务，加速复杂计算，而 Tensor 核心则专用于深度学习等 AI 任务。
- 强大的 CPU：它搭载 6 核 Arm Cortex-A78AE 处理器，旨在平衡速度和效率。该设备可以在保持低能耗的同时流畅处理多项任务。对于在没有大型电源支持的本地环境中运行的系统来说，这一点非常重要。
- 高效内存：该套件配备 8GB LPDDR5（低功耗双倍数据速率 5）内存。LPDDR5 是一种针对速度和能效优化的 RAM（随机存取存储器），使设备能够处理大型数据集和实时处理，且不会消耗过多的电力。
- 连接选项：它包括用于快速数据传输的 USB 3.2 端口、用于稳定网络连接的千兆以太网端口，以及用于集成传感器或摄像头的摄像头接口。
- AI 开发工具：Jetson Orin Nano Super 可与 NVIDIA JetPack SDK 配合使用，该 SDK 提供了诸如用于快速计算的 CUDA 和用于优化 AI 模型的 TensorRT 等工具。这些工具使开发者能够更轻松、更快速、更高效地构建和部署 AI 应用。
Link to this section性能基准：Jetson Orin Nano Super 与 Orin NX 16GB 对比#
如果你熟悉 NVIDIA 的产品，你可能想知道这款新产品与现有的 NVIDIA Jetson Orin NX 16GB（非超级模式）相比如何。虽然 Jetson Orin NX 拥有更高的整体能力，但 Jetson Orin Nano Super 开发套件以极具竞争力的价格提供了令人印象深刻的性能。
图 2. NVIDIA Jetson Orin 生态系统概览。
这里有一个快速对比：
- AI 性能：Jetson Orin Nano Super 提供高达 67 TOPS，非常适合大多数边缘 AI 任务，而 Jetson Orin NX 提供高达 100 TOPS，适用于更严苛的应用。
- 内存：Jetson Orin Nano Super 包含 8GB LPDDR5，足以处理实时任务，而 Orin NX 则将其翻倍至 16GB，以支持更大的工作负载。
- 能效：Jetson Orin Nano Super 更节能，可在 7W 到 25W 之间配置，相比之下，Jetson Orin NX 的功率需求更高。
- GPU：两者均基于 NVIDIA Ampere 架构，包含 1,024 个 CUDA 核心和 32 个 Tensor 核心，以提供强大的 GPU 性能。
Link to this sectionYOLO11 与 Jetson Orin Nano Super：将视觉 AI 带到边缘#
现在我们对 Jetson Orin Nano Super 有了更好的了解，让我们看看 YOLO11 如何将视觉 AI 能力带到边缘。Ultralytics YOLO 模型（包括 YOLO11）提供训练、预测和导出等多种模式，使其能够适应各种 AI 工作流。
例如，在训练模式下，Ultralytics YOLO 模型可以在自定义数据集上进行微调和训练，以满足特定应用需求，如检测特定物体或针对特定环境进行优化。同样，预测模式专为推理而设计，可实现实时的计算机视觉任务。最后，导出模式可用于将模型转换为针对部署优化的格式。
图 3. Ultralytics YOLO 模型支持多种功能和模式。
YOLO11 在导出模式下支持多种模型部署选项，其中包括：
- NVIDIA TensorRT：此格式专为 NVIDIA GPU 优化，可在 Jetson Orin Nano Super 上提供高性能和低延迟的推理。
- ONNX（开放神经网络交换）：它确保了跨不同平台的兼容性，使其能够灵活适应各种硬件和软件生态系统。
- TorchScript：此格式是基于 PyTorch 的应用的理想选择，有助于无缝集成到 PyTorch 工作流中。
- TFLite（TensorFlow Lite）：一种为轻量级 AI 部署设计的格式，非常适合移动和嵌入式系统。
通过使用这些部署格式，开发者可以充分利用 Jetson Orin Nano Super 的硬件性能，运行 YOLO11 以实现智能空间、机器人和零售自动化等实时应用。
Link to this section在 NVIDIA Jetson Orin Nano Super 上评估 YOLO11#
接下来，为了更好地了解 YOLO11 在 NVIDIA Jetson Orin Nano Super 上的运行速度，让我们使用 PyTorch、ONNX 和 TensorRT 等 GPU 加速导出格式，深入了解其卓越的性能和基准测试。测试结果显示，Jetson Orin Nano Super 在 YOLO11 模型上的推理时间与现有的 Jetson Orin NX 16GB（非超级模式）相当，甚至在某些情况下表现更优。
图 4. 在 NVIDIA Jetson Orin Nano Super 上评估 YOLO11。
更令人惊叹的是 Jetson Orin Nano Super 的高性价比。它以不到 Jetson Orin NX 16GB 一半的价格提供了如此出色的性能，为开发者构建高性能 YOLO11 应用提供了卓越的价值。这种成本与性能的平衡使 Jetson Orin Nano Super 成为边缘实时视觉 AI 任务的绝佳选择。
图 5. 在 Jetson Orin NX 16GB 上评估 YOLO11。
Link to this section上手使用 YOLO11 和 NVIDIA Jetson Orin Nano Super#
如果你对在 Jetson Orin Nano Super 上部署 YOLO11 并开始使用感到兴奋，好消息是——整个过程非常简单。在使用 NVIDIA JetPack SDK 对设备进行镜像烧录后，你可以使用预构建的 Docker 镜像进行快速设置，或者手动安装必要的软件包。
对于寻求更快速、更无缝集成的开发者，更新后的 JetPack 6 Docker 容器是理想的解决方案。Docker 容器是一个轻量级、可移植的环境，包含了运行特定软件所需的所有工具和依赖项。
Ultralytics 容器针对 JetPack 6.1 进行了优化，预装了 CUDA 12.6、TensorRT 10.3 以及 PyTorch 和 TorchVision 等必备工具，所有这些都专为 Jetson 的 ARM64 架构量身定制。通过使用此容器，开发者可以节省设置时间，专注于使用 YOLO11 构建和优化他们的视觉 AI 应用。
Link to this sectionYOLO11 在 NVIDIA Jetson Orin Nano Super 上的应用#
如果你正在为下一个 AI 项目寻找灵感，你会发现我们身边到处都是基于边缘的计算机视觉应用潜力。
在日常生活中，边缘 AI 正通过实现实时检测和追踪物体的系统来重新定义智能空间，且无需依赖云端处理。无论是监测繁华城市的交通，还是识别公共场所的异常活动，边缘视觉 AI 都在提高安全性和效率。
零售商也在利用边缘 AI 和计算机视觉。从自动库存检查到防盗防损，像 YOLO11 这样的模型使企业能够直接在门店部署实时解决方案。
同样，在医疗保健 AI 领域，基于边缘的监测可确保患者安全、检测异常并保持合规性——所有这些都不会因依赖云端而产生延迟。借助 Jetson Orin Nano Super 和 YOLO11 等工具，视觉 AI 的未来正在边缘处展开，而那里正是最需要它的地方。
Link to this section关键要点#
在 NVIDIA Jetson Orin Nano Super 开发套件上部署 Ultralytics YOLO 模型（如 YOLO11）为边缘 AI 应用提供了一种可靠且高效的解决方案。凭借强大的 GPU 性能、对 PyTorch、ONNX 和 TensorRT 的无缝支持以及出色的基准测试表现，它非常适合目标检测和追踪等实时计算机视觉任务。
视觉 AI 和硬件加速等前沿技术的创新与协作正在改变我们的工作方式，赋能开发者在边缘构建可扩展的高性能解决方案。随着 AI 的进步，像 YOLO11 和 Jetson Orin Nano Super 这样的工具让实现智能、实时的解决方案变得前所未有的简单。
对 AI 感兴趣吗？请访问我们的 GitHub 仓库探索我们的贡献，并加入我们的社区。看看我们如何利用 AI 在农业和医疗保健等行业产生影响。
