NVIDIA Jetson Orin Nano Super 上的 Ultralytics YOLO11：快速高效

2024年12月17日推出的NVIDIA Jetson Orin Nano超级开发者套件是一款紧凑但功能强大的生成式人工智能超级计算机，旨在为边缘计算带来先进的功能。它有助于实时处理，无需云计算。NVIDIA Jetson Orin Nano Super使开发人员能够构建经济实惠的智能系统，在本地环境中高效工作。

当与像 Ultralytics YOLO11 这样的 Ultralytics YOLO模型 搭配使用时，Jetson Orin Nano Super可以在边缘处理各种视觉AI应用。特别是，YOLO11是一种计算机视觉模型，以其在 目标检测、目标跟踪和实例分割等任务中的速度和准确性而闻名。 

将 YOLO11 的能力与该套件强大的 GPU（图形处理单元） 以及对 PyTorch、ONNX 和 NVIDIA TensorRT 等 框架 的支持相结合，可实现高性能部署。这种组合为开发人员提供了一种高效的解决方案，用于创建人工智能应用程序，从机器人技术中的对象检测到智能空间和零售系统中的实时对象跟踪。

在本文中，我们将了解 NVIDIA Jetson Orin Nano 超级开发者套件，以及它如何与 Ultralytics YOLO11 协同工作以实现 边缘 AI，包括其性能基准、实际应用以及它如何帮助开发者构建视觉 AI 项目。让我们开始吧！

什么是 NVIDIA Jetson Orin Nano 超级开发者套件？

NVIDIA Jetson Orin Nano Super Developer Kit 是一款紧凑而强大的计算机，它重新定义了小型边缘设备的生成式人工智能。它提供高达 67 TOPS（每秒万亿次运算）的 AI 性能，非常适合从事高级 AI 项目的开发人员、学生和爱好者。

​

以下是它的一些主要特性：

• GPU性能：该设备基于 NVIDIA Ampere 架构 GPU，包括 1,024 个 CUDA 核心和 32 个 Tensor 核心。CUDA 核心可同时处理多个任务，从而加快复杂计算的速度，而 Tensor 核心则专门用于 AI 任务，如深度学习。
  ‍
• 强大的 CPU: 它具有 6 核 Arm Cortex-A78AE 处理器，旨在平衡速度和效率。该设备可以流畅地处理多个任务，同时保持较低的能耗。这对于在本地运行而无法访问大型电源的系统非常重要。
  ‍
• 高效内存: 该套件配备 8GB LPDDR5（低功耗双倍数据速率 5）内存。LPDDR5 是一种针对速度和能源效率优化的 RAM（随机存取存储器）类型，使设备能够处理大型 数据集 和实时处理，而不会消耗过多的功率。
  ‍
• 连接选项: 它包括用于快速数据传输的USB 3.2端口、用于强大网络连接的千兆以太网端口，以及用于集成传感器或相机的相机接口。
  ‍
• AI 开发工具：Jetson Orin Nano Super 与 NVIDIA JetPack SDK 配合使用，后者提供 CUDA（用于加速计算）和 TensorRT（用于优化 AI 模型）等工具。这些工具使开发人员能够更轻松、更高效地构建和部署 AI 应用程序。

性能基准：Jetson Orin Nano Super 对比 Orin NX 16GB

如果您熟悉 NVIDIA 的工作，您可能想知道这个新版本与现有的 NVIDIA Jetson Orin NX 16GB（没有超级模式）相比如何。虽然 Jetson Orin NX 提供了更高的整体功能，但 Jetson Orin Nano Super Developer Kit 以一小部分成本提供了令人印象深刻的性能。

​

以下是一个快速概述：

• AI 性能：Jetson Orin Nano Super 提供高达 67 TOPS 的算力，这对于大多数边缘 AI 任务来说非常出色，而 Jetson Orin NX 则提供高达 100 TOPS 的算力，以满足要求更高的应用。
  ‍
• 内存：Jetson Orin Nano Super 包含 8GB LPDDR5，足以满足实时任务的需求，而 Orin NX 将其翻倍至 16GB，以满足更大的工作负载。
  ‍
• 电源效率: 与 Jetson Orin NX 较高的功耗需求相比，Jetson Orin Nano Super 更节能，并且可在 7W 到 25W 之间配置。
  ‍
• GPU：两者都共享 NVIDIA Ampere 架构，具有 1,024 个 CUDA 核心和 32 个 Tensor 核心，可实现强大的 GPU 性能。

YOLO11 with Jetson Orin Nano Super：将视觉 AI 带到边缘

既然我们对 Jetson Orin Nano Super 有了更好的了解，那么让我们来看看 YOLO11 如何介入，将视觉 AI 功能引入边缘。Ultralytics YOLO 模型（包括 YOLO11）具有多种通用模式，如 train（训练）、predict（预测）和 export（导出），使其能够适应各种 AI 工作流程。 

例如，在训练模式下，Ultralytics YOLO 模型可以在自定义数据集上进行微调和训练，以用于特定应用，例如检测独特对象或针对特定环境进行优化。同样，预测模式专为推理而设计，可以实现实时的计算机视觉任务。最后，导出模式可用于将模型转换为针对部署优化的格式。

​

YOLO11 在 导出模式下支持一系列模型部署选项，其中包括：

• NVIDIA TensorRT：此格式针对 NVIDIA GPU 进行了优化，可在 Jetson Orin Nano Super 上提供高性能和低延迟的推理。
  ‍
• ONNX (开放神经网络交换): 它确保了跨各种平台的兼容性，使其适用于不同的硬件和软件生态系统。
  ‍
• TorchScript：此格式非常适合基于 PyTorch 的应用程序，有助于无缝集成到 PyTorch 工作流程中。
  ‍
• TFLite (TensorFlow Lite)：一种专为轻量级 AI 部署设计的格式，非常适合移动和嵌入式系统。

通过使用这些部署格式，开发人员可以充分利用 Jetson Orin Nano Super 的硬件来运行 YOLO11，以实现智能空间、机器人和零售自动化等实时应用。 

在 NVIDIA Jetson Orin Nano Super 上对 YOLO11 进行基准测试

接下来，为了更好地了解 YOLO11 在 NVIDIA Jetson Orin Nano Super 上的运行速度，让我们使用 GPU 加速导出格式（如 PyTorch、ONNX 和 TensorRT）来探索其令人印象深刻的性能和基准。这些测试表明，Jetson Orin Nano Super 使用 YOLO11 模型实现的推理时间与现有的 Jetson Orin NX 16GB（没有超级模式）相当，有时甚至超过了它。

​

更值得注意的是 Jetson Orin Nano Super 的经济性。它以不到 Jetson Orin NX 16GB 一半的价格提供如此强大的性能，为构建高性能 YOLO11 应用程序的开发人员提供了卓越的价值。成本和性能的结合使 Jetson Orin Nano Super 成为边缘实时视觉 AI 任务的绝佳选择。

​

亲身体验 YOLO11 和 NVIDIA Jetson Orin Nano Super

如果您对在 Jetson Orin Nano Super 上开始部署 YOLO11 感到兴奋，那么有个好消息 - 这是一个简单的过程。在使用 NVIDIA JetPack SDK 刷写您的设备后，您可以使用预构建的 Docker 镜像进行快速设置，也可以手动安装必要的软件包。 

对于那些寻求更快、更无缝集成的人来说，更新后的 JetPack 6 Docker 容器是理想的解决方案。Docker 容器是一个轻量级的、可移植的环境，其中包含运行特定软件所需的所有工具和依赖项。 

针对 JetPack 6.1 优化的 Ultralytics 容器预装了 CUDA 12.6、TensorRT 10.3 以及 PyTorch 和 TorchVision 等基本工具，所有这些工具都是为 Jetson 的 ARM64 架构量身定制的。通过使用此容器，开发人员可以节省设置时间，并专注于使用 YOLO11 构建和优化他们的 视觉 AI 应用程序。

YOLO11 在 NVIDIA Jetson Orin Nano Super 上的应用

对于那些为您的下一个 AI 项目寻找灵感的人来说，我们周围到处都存在基于边缘的计算机视觉应用的潜力。 

在日常生活中，边缘 AI 正在重新定义智能空间，使系统能够实时检测和跟踪物体，而无需依赖云处理。无论是监控繁华城市的交通，还是识别公共场所的异常活动，边缘视觉 AI 都在提高安全性和效率。

零售商也在利用边缘 AI 和计算机视觉。从自动库存检查到防盗，像 YOLO11 这样的模型使企业可以直接在商店中部署实时解决方案。 

同样，在医疗保健领域的人工智能应用中，基于边缘的监控可以确保患者安全，检测异常情况，并保持合规性，所有这些都不会因依赖云而产生延迟。借助 Jetson Orin Nano Super 和 YOLO11 等工具，Vision AI 的未来正在边缘端展开，而这正是最需要它的地方。

主要要点

在 NVIDIA Jetson Orin Nano Super Developer Kit 上部署 Ultralytics YOLO 模型（如 YOLO11）为边缘 AI 应用提供了一个可靠而高效的解决方案。凭借强大的 GPU 性能、对 PyTorch、ONNX 和 TensorRT 的无缝支持以及令人印象深刻的基准测试，它非常适合实时计算机视觉任务，如目标检测和跟踪。 

视觉 AI 和硬件加速等尖端技术的创新与协作正在改变我们的工作方式，使开发人员能够在边缘构建可扩展的高性能解决方案。随着 AI 的发展，YOLO11 和 Jetson Orin Nano Super 等工具比以往任何时候都更容易将智能、实时解决方案变为现实。

对 AI 感兴趣吗？访问我们的 GitHub 仓库 以探索我们的贡献并与 我们的社区 互动。了解我们如何使用 AI 来影响农业和医疗保健等行业。