Ultralytics YOLO11 no NVIDIA Jetson Orin Nano Super: rápido e eficiente

O NVIDIA Jetson Orin Nano Super Developer Kit, lançado em 17 de dezembro de 2024, é um supercomputador de IA generativa compacto, mas potente, projetado para trazer capacidades avançadas para a edge computing. Ele facilita o processamento em tempo real e elimina a necessidade de computação em nuvem. O NVIDIA Jetson Orin Nano Super permite que os desenvolvedores criem sistemas inteligentes acessíveis que funcionam eficientemente em ambientes locais.

Quando combinado com Ultralytics YOLO models como o Ultralytics YOLO11, o Jetson Orin Nano Super pode lidar com uma vasta gama de aplicações de IA de visão na edge. Em particular, o YOLO11 é um modelo de visão computacional conhecido pela sua velocidade e precisão em tarefas como object detection, rastreamento de objetos e segmentação de instâncias.

A combinação das capacidades do Ultralytics YOLO11 com a robusta GPU (Graphics Processing Unit) do kit e o suporte a frameworks como PyTorch, ONNX e NVIDIA TensorRT permite implantações de alto desempenho. Essa combinação oferece aos desenvolvedores uma solução eficiente para criar aplicações de IA, desde detecção de objetos em robótica até rastreamento de objetos em tempo real em espaços inteligentes e sistemas de varejo.

Neste artigo, vamos analisar o NVIDIA Jetson Orin Nano Super Developer Kit, como ele funciona com o Ultralytics YOLO11 para edge AI, seus benchmarks de desempenho, aplicações no mundo real e como ele pode ajudar os desenvolvedores a criar projetos de IA de visão. Vamos começar!

O que é o NVIDIA Jetson Orin Nano Super Developer Kit?#

O NVIDIA Jetson Orin Nano Super Developer Kit é um computador compacto, porém potente, que redefine a IA generativa para pequenos dispositivos de borda. Ele oferece até 67 TOPS (trilhões de operações por segundo) de desempenho de IA, tornando-o ideal para desenvolvedores, estudantes e entusiastas que trabalham em projetos avançados de IA.

Aqui estão alguns de seus principais recursos:

• Desempenho da GPU: O dispositivo é construído com a arquitetura de GPU NVIDIA Ampere, que inclui 1.024 núcleos CUDA e 32 núcleos Tensor. Os núcleos CUDA processam muitas tarefas simultaneamente, acelerando computações complexas, enquanto os núcleos Tensor são especializados em tarefas de IA, como aprendizado profundo.
• CPU potente: Ele possui um processador Arm Cortex-A78AE de 6 núcleos, projetado para equilibrar velocidade e eficiência. O dispositivo pode lidar com múltiplas tarefas sem problemas, mantendo o consumo de energia baixo. Isso é importante para sistemas que operam localmente sem acesso a grandes fontes de energia.
• Efficient memory: O kit vem com 8GB de memória LPDDR5 (Low Power Double Data Rate 5). O LPDDR5 é um tipo de RAM (Random Access Memory) otimizado para velocidade e eficiência energética, permitindo que o dispositivo lide com grandes datasets e processamento em tempo real sem consumir energia excessiva.
• Connectivity options: Ele inclui portas USB 3.2 para transferências rápidas de dados, uma porta Gigabit Ethernet para conexões de rede fortes e interfaces de câmera para integrar sensores ou cameras.
• AI development tools: O Jetson Orin Nano Super funciona com o NVIDIA JetPack SDK, que fornece ferramentas como CUDA para computação mais rápida e TensorRT para otimizar modelos de IA. Estas ferramentas tornam mais fácil para os desenvolvedores criar e implantar aplicações de IA de forma rápida e eficiente.

Benchmarks de desempenho: Jetson Orin Nano Super Vs. Orin NX 16GB#

Se você está familiarizado com o trabalho da NVIDIA, pode estar se perguntando como este novo lançamento se compara ao existente NVIDIA Jetson Orin NX 16GB (sem o modo super). Embora o Jetson Orin NX ofereça capacidades gerais superiores, o Jetson Orin Nano Super Developer Kit oferece um desempenho impressionante por uma fração do custo.

Fig 2. Uma olhada no ecossistema NVIDIA Jetson Orin.

Aqui está uma visão geral rápida:

• Desempenho de IA: O Jetson Orin Nano Super entrega até 67 TOPS, o que é ótimo para a maioria das tarefas de IA de borda, enquanto o Jetson Orin NX oferece até 100 TOPS para aplicações mais exigentes.
• Memória: O Jetson Orin Nano Super inclui 8GB LPDDR5, o suficiente para tarefas em tempo real, enquanto o Orin NX dobra isso para 16GB para cargas de trabalho maiores.
• Eficiência energética: O Jetson Orin Nano Super é mais eficiente em termos de energia e configurável entre 7W e 25W, em comparação com as maiores demandas de energia do Jetson Orin NX.
• GPU: Ambos compartilham a arquitetura NVIDIA Ampere com 1.024 núcleos CUDA e 32 núcleos Tensor para um desempenho robusto da GPU.

Ultralytics YOLO11 com Jetson Orin Nano Super: Trazendo IA de visão para a borda#

Agora que entendemos melhor o Jetson Orin Nano Super, vamos ver como o YOLO11 pode ajudar a trazer recursos de visão computacional para a borda. Os modelos Ultralytics YOLO, incluindo o YOLO11, vêm com modos versáteis como treino, previsão e exportação, tornando-os adaptáveis a uma variedade de fluxos de trabalho de IA.

Por exemplo, no modo de treinamento, os Ultralytics YOLO models podem ser ajustados e treinados em conjuntos de dados personalizados para aplicações específicas, como detectar objetos únicos ou otimizar para ambientes específicos. Da mesma forma, o modo de previsão é projetado para inferência, permitindo computer vision tasks em tempo real. Finalmente, o modo de exportação pode ser usado para converter modelos em formatos otimizados para implantação.

Fig 3. Os Ultralytics YOLO models suportam vários recursos e modos.

O Ultralytics YOLO11 no modo export oferece suporte a uma variedade de opções de implantação de modelos, incluindo, entre outras:

• NVIDIA TensorRT: Este formato é otimizado para GPUs NVIDIA, oferecendo alto desempenho e inferência de baixa latência no Jetson Orin Nano Super.
• ONNX (Open Neural Network Exchange): Garante compatibilidade entre várias plataformas, tornando-o versátil para diferentes ecossistemas de hardware e software.
• TorchScript: Este formato é ideal para aplicações baseadas em PyTorch, ajudando na integração perfeita em fluxos de trabalho do PyTorch.
• TFLite (TensorFlow Lite): Um formato projetado para implantações de IA leves, tornando-o perfeito para sistemas móveis e embarcados.

Usando esses formatos de implantação, os desenvolvedores podem aproveitar ao máximo o hardware do Jetson Orin Nano Super para executar o Ultralytics YOLO11 em aplicações em tempo real, como espaços inteligentes, robótica e automação de varejo.

Realizando benchmark do Ultralytics YOLO11 no NVIDIA Jetson Orin Nano Super#

A seguir, para ter uma ideia melhor de quão rápido o Ultralytics YOLO11 pode rodar no NVIDIA Jetson Orin Nano Super, vamos explorar seu desempenho impressionante e benchmarks usando formatos de exportação acelerados por GPU, como PyTorch, ONNX e TensorRT. Esses testes revelam que o Jetson Orin Nano Super alcança tempos de inferência com os modelos YOLO11 que são comparáveis — e ocasionalmente superam — ao atual Jetson Orin NX 16GB (sem o modo super).

Fig 4. Realizando benchmark do Ultralytics YOLO11 no NVIDIA Jetson Orin Nano Super.

O que torna isso ainda mais notável é a acessibilidade do Jetson Orin Nano Super. Oferecendo tal desempenho por menos da metade do preço do Jetson Orin NX 16GB, ele proporciona um valor excepcional para desenvolvedores que criam aplicações de alto desempenho com o Ultralytics YOLO11. Essa combinação de custo e desempenho torna o Jetson Orin Nano Super uma excelente escolha para tarefas de visão computacional em IA em tempo real na borda.

Fig 5. Realizando benchmark do Ultralytics YOLO11 no Jetson Orin NX 16GB.

Coloca a mão na massa com o Ultralytics YOLO11 e o NVIDIA Jetson Orin Nano Super#

Se estás entusiasmado com o início da implantação do Ultralytics YOLO11 no Jetson Orin Nano Super, há boas notícias: é um processo simples. Depois de atualizar o teu dispositivo com o NVIDIA JetPack SDK, podes usar uma imagem Docker pré-construída para uma configuração rápida ou instalar manualmente os pacotes necessários.

Para aqueles que procuram uma integração mais rápida e perfeita, o container Docker atualizado do JetPack 6 é a solução ideal. Um container Docker é um ambiente leve e portátil que inclui todas as ferramentas e dependências necessárias para executar um software específico.

O container da Ultralytics, otimizado para o JetPack 6.1, vem pré-carregado com CUDA 12.6, TensorRT 10.3 e ferramentas essenciais como PyTorch e TorchVision, todas adaptadas para a arquitetura ARM64 do Jetson. Ao usar este container, os desenvolvedores podem poupar tempo na configuração e concentrar-se na construção e otimização das suas vision AI applications com o YOLO11.

Aplicações do Ultralytics YOLO11 no NVIDIA Jetson Orin Nano Super#

Para aqueles que procuram inspiração para seu próximo projeto de IA, existe potencial para aplicações de visão computacional baseadas na borda ao nosso redor.

No dia a dia, a IA de borda está redefinindo espaços inteligentes ao permitir que sistemas detectem e rastreiem objetos em tempo real, tudo sem depender do processamento em nuvem. Seja monitorando o tráfego em uma cidade movimentada ou identificando atividades incomuns em espaços públicos, a IA de visão de borda está aumentando a segurança e a eficiência.

Os retalhistas também estão a explorar a IA na borda e a visão computacional. Desde verificações de inventário automatizadas até à prevenção de roubo, modelos como o Ultralytics YOLO11 tornam possível que as empresas implementem soluções em tempo real diretamente nas lojas.

Da mesma forma, quando se trata de IA em saúde, a monitorização baseada na borda garante a segurança do paciente, deteta anomalias e mantém a conformidade - tudo sem atrasos causados pela dependência da nuvem. Com ferramentas como o Jetson Orin Nano Super e o Ultralytics YOLO11, o futuro da visão em IA está a desenrolar-se bem na borda, onde é mais necessário.

Principais pontos#

Implantar modelos Ultralytics YOLO como o YOLO11 no NVIDIA Jetson Orin Nano Super Developer Kit oferece uma solução confiável e eficiente para aplicações de IA de borda. Com um desempenho robusto de GPU, suporte perfeito para PyTorch, ONNX e TensorRT, além de benchmarks impressionantes, é muito adequado para tarefas de visão computacional em tempo real, como detecção e rastreamento de objetos.

Inovações e colaborações em tecnologias de ponta, como visão em IA e aceleração de hardware, estão a transformar a forma como trabalhamos, capacitando os desenvolvedores a construir soluções escaláveis e de alto desempenho na borda. À medida que a IA avança, ferramentas como o Ultralytics YOLO11 e o Jetson Orin Nano Super estão a tornar mais fácil do que nunca dar vida a soluções inteligentes em tempo real.

Curioso sobre IA? Visita o nosso GitHub repository para explorar as nossas contribuições e envolver-te com our community. Vê como estamos a usar a IA para causar impacto em indústrias como a agricultura e os cuidados de saúde.