Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super: veloce ed efficiente

Abirami Vina

4 minuti di lettura

9 gennaio 2025

Scoprite come l'implementazione di Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super offre benchmark impressionanti e prestazioni accelerate dalle GPU per le applicazioni AI avanzate.

NVIDIA Jetson Orin Nano Super Developer Kit, lanciato il 17 dicembre 2024, è un supercomputer AI generativo compatto ma potente, progettato per portare capacità avanzate all'edge computing. Facilita l'elaborazione in tempo reale ed elimina la necessità di ricorrere al cloud computing. NVIDIA Jetson Orin Nano Super consente agli sviluppatori di creare sistemi intelligenti a prezzi accessibili che funzionano in modo efficiente negli ambienti locali.

Se abbinato ai modelli Ultralytics YOLO, come Ultralytics YOLO11, Jetson Orin Nano Super è in grado di gestire una vasta gamma di applicazioni Vision AI on the edge. In particolare, YOLO11 è un modello di visione computerizzata noto per la sua velocità e precisione in compiti come il rilevamento di oggetti, il tracciamento di oggetti e la segmentazione di istanze. 

La combinazione delle capacità di YOLO11 con la robusta GPU (Graphics Processing Unit) del kit e il supporto di framework come PyTorch, ONNX e NVIDIA TensorRT consente di realizzare implementazioni ad alte prestazioni. Questa combinazione offre agli sviluppatori una soluzione efficiente per la creazione di applicazioni di intelligenza artificiale, dal rilevamento di oggetti nella robotica al tracciamento di oggetti in tempo reale in spazi intelligenti e sistemi di vendita al dettaglio.

In questo articolo analizzeremo il Super Developer Kit NVIDIA Jetson Orin Nano, come funziona con Ultralytics YOLO11 per l'edge AI, i suoi benchmark di prestazione, le applicazioni reali e come può aiutare gli sviluppatori a realizzare progetti di Vision AI. Iniziamo!

Che cos'è l'NVIDIA Jetson Orin Nano Super Developer Kit?

NVIDIA Jetson Orin Nano Super Developer Kit è un computer compatto ma potente che ridefinisce l'IA generativa per i piccoli dispositivi edge. Offre fino a 67 TOPS (trilioni di operazioni al secondo) di prestazioni di IA, il che lo rende ideale per sviluppatori, studenti e hobbisti che lavorano a progetti di IA avanzati.

__wf_reserved_inherit

Ecco alcune delle sue caratteristiche principali:

  • Prestazioni della GPU: Il dispositivo è costruito sulla GPU con architettura NVIDIA Ampere, che comprende 1.024 core CUDA e 32 core Tensor. I core CUDA elaborano molte attività simultaneamente, accelerando le computazioni complesse, mentre i Tensor Core sono specializzati per le attività di intelligenza artificiale come il deep learning.
  • CPU potente: È dotato di un processore Arm Cortex-A78AE a 6 core, progettato per bilanciare velocità ed efficienza. Il dispositivo è in grado di gestire agevolmente più attività mantenendo basso il consumo energetico. Questo è importante per i sistemi che funzionano localmente senza accesso a grandi fonti di energia.
  • Memoria efficiente: Il kit è dotato di 8 GB di memoria LPDDR5 (Low Power Double Data Rate 5). LPDDR5 è un tipo di memoria RAM (Random Access Memory) ottimizzata per la velocità e l'efficienza energetica, che consente al dispositivo di gestire grandi insiemi di dati e l'elaborazione in tempo reale senza consumare eccessiva energia.
  • Opzioni di connettività: Include porte USB 3.2 per trasferimenti rapidi di dati, una porta Gigabit Ethernet per connessioni di rete robuste e interfacce per l'integrazione di sensori o telecamere.
  • Strumenti di sviluppo dell'intelligenza artificiale: Jetson Orin Nano Super funziona con l'SDK NVIDIA JetPack, che offre strumenti come CUDA per un calcolo più rapido e TensorRT per l'ottimizzazione dei modelli di IA. Questi strumenti facilitano agli sviluppatori la creazione e la distribuzione di applicazioni AI in modo rapido ed efficiente.

Parametri di prestazione: Jetson Orin Nano Super vs. Orin NX 16GB

Se avete familiarità con il lavoro di NVIDIA, potreste chiedervi come questa nuova release si confronta con l'attuale NVIDIA Jetson Orin NX 16GB (senza super mode). Mentre Jetson Orin NX offre capacità complessive superiori, Jetson Orin Nano Super Developer Kit offre prestazioni impressionanti a una frazione del costo.

 

__wf_reserved_inherit
Figura 2. Uno sguardo all'ecosistema NVIDIA Jetson Orin.

Ecco una rapida panoramica:

  • Prestazioni AI: Jetson Orin Nano Super offre fino a 67 TOPS, che è ottimo per la maggior parte delle attività di intelligenza artificiale, mentre Jetson Orin NX offre fino a 100 TOPS per le applicazioni più impegnative.
  • Memoria: Jetson Orin Nano Super include 8 GB di LPDDR5, sufficienti per le attività in tempo reale, mentre Orin NX li raddoppia a 16 GB per carichi di lavoro maggiori.
  • Efficienza energetica: Jetson Orin Nano Super è più efficiente dal punto di vista energetico ed è configurabile tra 7W e 25W, rispetto ai requisiti di potenza più elevati di Jetson Orin NX.
  • GPU: Entrambi condividono l'architettura NVIDIA Ampere con 1.024 core CUDA e 32 core Tensor per prestazioni GPU elevate.

YOLO11 con Jetson Orin Nano Super: portare l'intelligenza artificiale ai margini della visione

Ora che abbiamo una migliore comprensione di Jetson Orin Nano Super, diamo un'occhiata a come YOLO11 può intervenire per portare le capacità di Vision AI al limite. I modelli YOLO di Ultralytics, compreso YOLO11, sono dotati di modalità versatili come addestramento, previsione ed esportazione, che li rendono adattabili a una varietà di flussi di lavoro AI. 

Ad esempio, nella modalità di addestramento, i modelli Ultralytics YOLO possono essere perfezionati e addestrati su set di dati personalizzati per applicazioni specifiche, come il rilevamento di oggetti unici o l'ottimizzazione per ambienti specifici. Allo stesso modo, la modalità di previsione è progettata per l'inferenza, consentendo di svolgere attività di computer vision in tempo reale. Infine, la modalità di esportazione può essere utilizzata per convertire i modelli in formati ottimizzati per la distribuzione.

__wf_reserved_inherit
Figura 3. I modelli Ultralytics YOLO supportano diverse caratteristiche e modalità.

YOLO11 in modalità di esportazione supporta una serie di opzioni di distribuzione dei modelli, tra cui:

  • NVIDIA TensorRT: questo formato è ottimizzato per le GPU NVIDIA e offre inferenze ad alte prestazioni e a bassa latenza su Jetson Orin Nano Super.
  • ONNX (Open Neural Network Exchange): Garantisce la compatibilità tra varie piattaforme, rendendolo versatile per diversi ecosistemi hardware e software.
  • TorciaScript: Questo formato è ideale per le applicazioni basate su PyTorch, favorendo la perfetta integrazione nei flussi di lavoro di PyTorch.
  • TFLite (TensorFlow Lite): Un formato progettato per implementazioni leggere dell'intelligenza artificiale, che lo rende perfetto per i sistemi mobili ed embedded.

Utilizzando questi formati di distribuzione, gli sviluppatori possono sfruttare appieno l'hardware di Jetson Orin Nano Super per eseguire YOLO11 per applicazioni in tempo reale come spazi intelligenti, robotica e automazione della vendita al dettaglio. 

Benchmarking di YOLO11 su NVIDIA Jetson Orin Nano Super

Per avere un'idea più precisa della velocità con cui YOLO11 può essere eseguito su NVIDIA Jetson Orin Nano Super, esploriamo le sue impressionanti prestazioni e i benchmark utilizzando formati di esportazione accelerati dalle GPU come PyTorch, ONNX e TensorRT. Questi test rivelano che Jetson Orin Nano Super raggiunge tempi di inferenza con i modelli YOLO11 paragonabili - e talvolta superiori - a quelli dell'attuale Jetson Orin NX 16GB (senza modalità super).

__wf_reserved_inherit
Figura 4. Benchmarking di YOLO11 su NVIDIA Jetson Orin Nano Super.

Ciò che rende questo risultato ancora più notevole è l'accessibilità economica di Jetson Orin Nano Super. Offrendo tali prestazioni a meno della metà del prezzo di Jetson Orin NX 16GB, rappresenta un valore eccezionale per gli sviluppatori che realizzano applicazioni YOLO11 ad alte prestazioni. Questa combinazione di costo e prestazioni rende Jetson Orin Nano Super una scelta eccellente per le attività di Vision AI in tempo reale.

__wf_reserved_inherit
Figura 5. Benchmarking di YOLO11 su Jetson Orin NX 16GB.

Scoprite da vicino YOLO11 e NVIDIA Jetson Orin Nano Super

Se non vedete l'ora di iniziare a distribuire YOLO11 su Jetson Orin Nano Super, c'è una buona notizia: si tratta di un processo semplice. Dopo aver eseguito il flashing del dispositivo con l'SDK NVIDIA JetPack, è possibile utilizzare un'immagine Docker precostituita per una rapida configurazione oppure installare manualmente i pacchetti necessari. 

Per chi è alla ricerca di un'integrazione più rapida e senza interruzioni, il contenitore Docker JetPack 6 aggiornato è la soluzione ideale. Un contenitore Docker è un ambiente leggero e portatile che include tutti gli strumenti e le dipendenze necessarie per eseguire un software specifico. 

Il container Ultralytics, ottimizzato per JetPack 6.1, è precaricato con CUDA 12.6, TensorRT 10.3 e strumenti essenziali come PyTorch e TorchVision, tutti adattati all'architettura ARM64 di Jetson. Utilizzando questo contenitore, gli sviluppatori possono risparmiare tempo nella configurazione e concentrarsi sulla creazione e sull'ottimizzazione delle applicazioni Vision AI con YOLO11.

Applicazioni di YOLO11 su NVIDIA Jetson Orin Nano Super

Per chi è in cerca di ispirazione per il suo prossimo progetto di intelligenza artificiale, il potenziale delle applicazioni di visione artificiale basate sui bordi è tutto intorno a noi. 

Nella vita di tutti i giorni, l'edge AI sta ridefinendo gli spazi intelligenti, consentendo ai sistemi di rilevare e tracciare gli oggetti in tempo reale, senza dover ricorrere all'elaborazione su cloud. Che si tratti di monitorare il traffico in una città trafficata o di identificare attività insolite in spazi pubblici, l'edge Vision AI sta aumentando la sicurezza e l'efficienza.

Anche i rivenditori stanno sfruttando l'intelligenza artificiale e la computer vision. Dai controlli automatizzati dell'inventario alla prevenzione dei furti, modelli come YOLO11 consentono alle aziende di implementare soluzioni in tempo reale direttamente nei negozi. 

Allo stesso modo, quando si parla di IA nel settore sanitario, il monitoraggio edge-based garantisce la sicurezza dei pazienti, rileva le anomalie e mantiene la conformità, il tutto senza ritardi causati dalla dipendenza dal cloud. Con strumenti come Jetson Orin Nano Super e YOLO11, il futuro dell'IA di visione si sta sviluppando proprio ai margini, dove è più necessario.

Punti di forza

L'implementazione di modelli Ultralytics YOLO come YOLO11 su NVIDIA Jetson Orin Nano Super Developer Kit offre una soluzione affidabile ed efficiente per le applicazioni di intelligenza artificiale. Grazie alle solide prestazioni delle GPU, al supporto continuo di PyTorch, ONNX e TensorRT e a benchmark impressionanti, è particolarmente adatto a compiti di computer vision in tempo reale come il rilevamento e il tracciamento di oggetti. 

Le innovazioni e le collaborazioni in tecnologie all'avanguardia come Vision AI e l'accelerazione hardware stanno trasformando il nostro modo di lavorare, consentendo agli sviluppatori di creare soluzioni scalabili e ad alte prestazioni ai margini. Con il progredire dell'intelligenza artificiale, strumenti come YOLO11 e Jetson Orin Nano Super rendono più facile che mai la realizzazione di soluzioni intelligenti e in tempo reale.

Siete curiosi di conoscere l'intelligenza artificiale? Visitate il nostro repository su GitHub per esplorare i nostri contributi e per impegnarvi con la nostra comunità. Scoprite come stiamo usando l'IA per avere un impatto in settori come l'agricoltura e la sanità.

Costruiamo insieme il futuro
dell'IA!

Iniziate il vostro viaggio nel futuro dell'apprendimento automatico

Iniziare gratuitamente
Link copiato negli appunti