Ultralytics YOLO11 no NVIDIA Jetson Orin Nano Super: rápido e eficiente

O NVIDIA Jetson Orin Nano Super Developer Kit, lançado em 17 de dezembro de 2024, é um supercomputador de IA generativa compacto, porém potente, projetado para levar recursos avançados para a computação de borda. Ele facilita o processamento em tempo real e elimina a necessidade de computação em nuvem. O NVIDIA Jetson Orin Nano Super permite que desenvolvedores criem sistemas inteligentes acessíveis que funcionam de forma eficiente em ambientes locais.

Quando combinado com modelos Ultralytics YOLO como o Ultralytics YOLO11, o Jetson Orin Nano Super pode lidar com uma vasta gama de aplicações de visão computacional na borda. Especificamente, o YOLO11 é um modelo de visão computacional conhecido por sua velocidade e precisão em tarefas como detecção de objetos, rastreamento de objetos e segmentação de instâncias.

Combinar as habilidades do YOLO11 com a robusta GPU (Graphics Processing Unit) do kit e o suporte para frameworks como PyTorch, ONNX e NVIDIA TensorRT permite implementações de alto desempenho. Essa combinação oferece aos desenvolvedores uma solução eficiente para a criação de aplicações de IA, desde a detecção de objetos na robótica até o rastreamento de objetos em tempo real em espaços inteligentes e sistemas de varejo.

Neste artigo, vamos analisar o NVIDIA Jetson Orin Nano Super Developer Kit, como ele funciona com o Ultralytics YOLO11 para IA de borda, seus benchmarks de desempenho, aplicações no mundo real e como ele pode ajudar desenvolvedores a construir projetos de visão computacional. Vamos começar!

Link to this sectionO que é o NVIDIA Jetson Orin Nano Super Developer Kit?#

O NVIDIA Jetson Orin Nano Super Developer Kit é um computador compacto, porém potente, que redefine a IA generativa para pequenos dispositivos de borda. Ele oferece até 67 TOPS (trilhões de operações por segundo) de desempenho de IA, tornando-o ideal para desenvolvedores, estudantes e entusiastas que trabalham em projetos avançados de IA.

Aqui estão alguns de seus principais recursos:

• Desempenho da GPU: O dispositivo é construído com a arquitetura de GPU NVIDIA Ampere, que inclui 1.024 núcleos CUDA e 32 núcleos Tensor. Os núcleos CUDA processam muitas tarefas simultaneamente, acelerando computações complexas, enquanto os núcleos Tensor são especializados em tarefas de IA, como aprendizado profundo.
• CPU potente: Ele possui um processador Arm Cortex-A78AE de 6 núcleos, projetado para equilibrar velocidade e eficiência. O dispositivo pode lidar com múltiplas tarefas sem problemas, mantendo o consumo de energia baixo. Isso é importante para sistemas que operam localmente sem acesso a grandes fontes de energia.
• Memória eficiente: O kit vem com 8GB de memória LPDDR5 (Low Power Double Data Rate 5). A LPDDR5 é um tipo de RAM (Random Access Memory) otimizada para velocidade e eficiência energética, permitindo que o dispositivo lide com grandes datasets e processamento em tempo real sem consumir energia excessiva.
• Opções de conectividade: Inclui portas USB 3.2 para transferências rápidas de dados, uma porta Gigabit Ethernet para conexões de rede robustas e interfaces de câmera para integrar sensores ou câmeras.
• Ferramentas de desenvolvimento de IA: O Jetson Orin Nano Super funciona com o NVIDIA JetPack SDK, que fornece ferramentas como CUDA para computação mais rápida e TensorRT para otimização de modelos de IA. Essas ferramentas facilitam a criação e a implantação de aplicações de IA de forma rápida e eficiente pelos desenvolvedores.

Link to this sectionBenchmarks de desempenho: Jetson Orin Nano Super Vs. Orin NX 16GB#

Se você está familiarizado com o trabalho da NVIDIA, pode estar se perguntando como este novo lançamento se compara ao existente NVIDIA Jetson Orin NX 16GB (sem o modo super). Embora o Jetson Orin NX ofereça capacidades gerais superiores, o Jetson Orin Nano Super Developer Kit oferece um desempenho impressionante por uma fração do custo.

Fig 2. Uma visão do ecossistema NVIDIA Jetson Orin.

Aqui está uma visão geral rápida:

• Desempenho de IA: O Jetson Orin Nano Super entrega até 67 TOPS, o que é ótimo para a maioria das tarefas de IA de borda, enquanto o Jetson Orin NX oferece até 100 TOPS para aplicações mais exigentes.
• Memória: O Jetson Orin Nano Super inclui 8GB LPDDR5, o suficiente para tarefas em tempo real, enquanto o Orin NX dobra isso para 16GB para cargas de trabalho maiores.
• Eficiência energética: O Jetson Orin Nano Super é mais eficiente em termos de energia e configurável entre 7W e 25W, em comparação com as maiores demandas de energia do Jetson Orin NX.
• GPU: Ambos compartilham a arquitetura NVIDIA Ampere com 1.024 núcleos CUDA e 32 núcleos Tensor para um desempenho robusto da GPU.

Link to this sectionYOLO11 com Jetson Orin Nano Super: Trazendo a visão computacional para a borda#

Agora que entendemos melhor o Jetson Orin Nano Super, vamos ver como o YOLO11 pode ajudar a trazer recursos de visão computacional para a borda. Os modelos Ultralytics YOLO, incluindo o YOLO11, vêm com modos versáteis como treino, previsão e exportação, tornando-os adaptáveis a uma variedade de fluxos de trabalho de IA.

Por exemplo, no modo de treinamento, os modelos Ultralytics YOLO podem ser ajustados e treinados em datasets personalizados para aplicações específicas, como a detecção de objetos exclusivos ou a otimização para ambientes específicos. Da mesma forma, o modo de previsão foi projetado para inferência, permitindo tarefas de visão computacional em tempo real. Finalmente, o modo de exportação pode ser usado para converter modelos em formatos otimizados para implantação.

Fig 3. Os modelos Ultralytics YOLO suportam vários recursos e modos.

O YOLO11 no modo export suporta diversas opções de implantação de modelos, incluindo, entre outras:

• NVIDIA TensorRT: Este formato é otimizado para GPUs NVIDIA, oferecendo alto desempenho e inferência de baixa latência no Jetson Orin Nano Super.
• ONNX (Open Neural Network Exchange): Garante compatibilidade entre várias plataformas, tornando-o versátil para diferentes ecossistemas de hardware e software.
• TorchScript: Este formato é ideal para aplicações baseadas em PyTorch, ajudando na integração perfeita com fluxos de trabalho do PyTorch.
• TFLite (TensorFlow Lite): Um formato projetado para implantações de IA leves, tornando-o perfeito para dispositivos móveis e sistemas embarcados.

Usando esses formatos de implantação, os desenvolvedores podem aproveitar ao máximo o hardware do Jetson Orin Nano Super para executar o YOLO11 para aplicações em tempo real, como espaços inteligentes, robótica e automação de varejo.

Link to this sectionBenchmarking do YOLO11 no NVIDIA Jetson Orin Nano Super#

A seguir, para ter uma ideia melhor da velocidade com que o YOLO11 pode rodar no NVIDIA Jetson Orin Nano Super, vamos explorar seu impressionante desempenho e benchmarks usando formatos de exportação acelerados por GPU, como PyTorch, ONNX e TensorRT. Esses testes revelam que o Jetson Orin Nano Super alcança tempos de inferência com os modelos YOLO11 que são comparáveis - e, ocasionalmente, superam - o existente Jetson Orin NX 16GB (sem o modo super).

Fig 4. Benchmarking do YOLO11 no NVIDIA Jetson Orin Nano Super.

O que torna isso ainda mais notável é a acessibilidade do Jetson Orin Nano Super. Oferecendo tal desempenho por menos da metade do preço do Jetson Orin NX 16GB, ele proporciona um valor excepcional para desenvolvedores que constroem aplicações YOLO11 de alto desempenho. Essa combinação de custo e desempenho torna o Jetson Orin Nano Super uma excelente escolha para tarefas de visão computacional em tempo real na borda.

Fig 5. Benchmarking do YOLO11 no Jetson Orin NX 16GB.

Link to this sectionColoque a mão na massa com o YOLO11 e o NVIDIA Jetson Orin Nano Super#

Se você está empolgado para começar a implantar o YOLO11 no Jetson Orin Nano Super, tenho boas notícias - é um processo simples. Após configurar seu dispositivo com o NVIDIA JetPack SDK, você pode usar uma imagem Docker pré-construída para uma configuração rápida ou instalar manualmente os pacotes necessários.

Para aqueles que procuram uma integração mais rápida e perfeita, o container Docker atualizado do JetPack 6 é a solução ideal. Um container Docker é um ambiente leve e portátil que inclui todas as ferramentas e dependências necessárias para executar um software específico.

O container Ultralytics, otimizado para JetPack 6.1, vem pré-carregado com CUDA 12.6, TensorRT 10.3 e ferramentas essenciais como PyTorch e TorchVision, tudo adaptado para a arquitetura ARM64 do Jetson. Ao usar este container, os desenvolvedores podem economizar tempo na configuração e focar na construção e otimização de suas aplicações de visão computacional com o YOLO11.

Link to this sectionAplicações do YOLO11 no NVIDIA Jetson Orin Nano Super#

Para aqueles que procuram inspiração para seu próximo projeto de IA, existe potencial para aplicações de visão computacional baseadas na borda ao nosso redor.

No dia a dia, a IA de borda está redefinindo espaços inteligentes ao permitir que sistemas detectem e rastreiem objetos em tempo real, tudo sem depender do processamento em nuvem. Seja monitorando o tráfego em uma cidade movimentada ou identificando atividades incomuns em espaços públicos, a IA de visão de borda está aumentando a segurança e a eficiência.

Os varejistas também estão aproveitando a IA de borda e a visão computacional. Desde verificações automatizadas de inventário até a prevenção de roubos, modelos como o YOLO11 permitem que as empresas implantem soluções em tempo real diretamente nas lojas.

Da mesma forma, quando se trata de IA na saúde, o monitoramento baseado na borda garante a segurança do paciente, detecta anomalias e mantém a conformidade - tudo sem atrasos causados pela dependência da nuvem. Com ferramentas como o Jetson Orin Nano Super e o YOLO11, o futuro da visão computacional está se desenrolando exatamente na borda, onde é mais necessário.

Link to this sectionPrincipais pontos#

Implantar modelos Ultralytics YOLO como o YOLO11 no NVIDIA Jetson Orin Nano Super Developer Kit oferece uma solução confiável e eficiente para aplicações de IA de borda. Com um desempenho robusto de GPU, suporte perfeito para PyTorch, ONNX e TensorRT, além de benchmarks impressionantes, é muito adequado para tarefas de visão computacional em tempo real, como detecção e rastreamento de objetos.

Inovações e colaborações em tecnologias de ponta, como visão computacional e aceleração de hardware, estão transformando a forma como trabalhamos, capacitando os desenvolvedores a construir soluções escaláveis e de alto desempenho na borda. À medida que a IA avança, ferramentas como o YOLO11 e o Jetson Orin Nano Super estão tornando mais fácil do que nunca dar vida a soluções inteligentes em tempo real.

Curioso sobre IA? Visite nosso repositório no GitHub para explorar nossas contribuições e interagir com nossa comunidade. Veja como estamos usando a IA para causar um impacto em setores como agricultura e saúde.