Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super: veloce ed efficiente

Il kit per sviluppatori NVIDIA Jetson Orin Nano Super, lanciato il 17 dicembre 2024, è un supercomputer di intelligenza artificiale generativa compatto ma potente, progettato per portare funzionalità avanzate nell'edge computing. Facilita l'elaborazione in tempo reale ed elimina la necessità del cloud computing. NVIDIA Jetson Orin Nano Super permette agli sviluppatori di creare sistemi intelligenti ed economici che funzionano in modo efficiente in ambienti locali.

Se abbinato ai modelli Ultralytics YOLO come Ultralytics YOLO11, Jetson Orin Nano Super è in grado di gestire una vasta gamma di applicazioni di visione artificiale sull'edge. In particolare, YOLO11 è un modello di visione artificiale noto per la sua velocità e precisione in attività come il rilevamento di oggetti, il tracciamento di oggetti e la segmentazione di istanze.

Combinare le capacità di Ultralytics YOLO11 con la robusta GPU (Graphics Processing Unit) del kit e il supporto per framework come PyTorch, ONNX e NVIDIA TensorRT consente distribuzioni ad alte prestazioni. Questa combinazione offre agli sviluppatori una soluzione efficiente per creare applicazioni di IA, dal rilevamento di oggetti nella robotica al tracciamento di oggetti in tempo reale in spazi intelligenti e sistemi di vendita al dettaglio.

In questo articolo analizzeremo il kit per sviluppatori NVIDIA Jetson Orin Nano Super, come funziona con Ultralytics YOLO11 per l'edge AI, i suoi benchmark di performance, le applicazioni del mondo reale e come può aiutare gli sviluppatori a realizzare progetti di visione artificiale. Cominciamo!

Che cos'è il NVIDIA Jetson Orin Nano Super Developer Kit?#

Il NVIDIA Jetson Orin Nano Super Developer Kit è un computer compatto ma potente che ridefinisce l'AI generativa per piccoli dispositivi edge. Offre fino a 67 TOPS (trilioni di operazioni al secondo) di prestazioni AI, rendendolo ideale per sviluppatori, studenti e hobbisti che lavorano su progetti AI avanzati.

Ecco alcune delle sue caratteristiche principali:

• Prestazioni della GPU: Il dispositivo è basato sulla GPU con architettura NVIDIA Ampere, che include 1.024 CUDA cores e 32 Tensor Cores. I CUDA cores elaborano molti compiti simultaneamente, accelerando calcoli complessi, mentre i Tensor Cores sono specializzati per compiti AI come il deep learning.
• CPU potente: Presenta un processore Arm Cortex-A78AE a 6 core, progettato per bilanciare velocità ed efficienza. Il dispositivo può gestire più attività senza problemi mantenendo basso il consumo energetico. Questo è importante per i sistemi che vengono eseguiti localmente senza accesso a grandi fonti di alimentazione.
• Memoria efficiente: il kit include 8 GB di memoria LPDDR5 (Low Power Double Data Rate 5). LPDDR5 è un tipo di RAM (Random Access Memory) ottimizzata per la velocità e l'efficienza energetica, che consente al dispositivo di gestire grandi dataset e l'elaborazione in tempo reale senza consumare energia eccessiva.
• Opzioni di connettività: include porte USB 3.2 per trasferimenti dati rapidi, una porta Gigabit Ethernet per connessioni di rete stabili e interfacce per telecamere per l'integrazione di sensori o telecamere.
• Strumenti di sviluppo IA: Jetson Orin Nano Super funziona con NVIDIA JetPack SDK, che fornisce strumenti come CUDA per un calcolo più rapido e TensorRT per l'ottimizzazione dei modelli di intelligenza artificiale. Questi strumenti semplificano la creazione e il rilascio rapidi ed efficienti di applicazioni di intelligenza artificiale da parte degli sviluppatori.

Benchmark delle prestazioni: Jetson Orin Nano Super Vs. Orin NX 16GB#

Se conosci il lavoro di NVIDIA, potresti chiederti come questa nuova uscita si confronti con l'esistente NVIDIA Jetson Orin NX 16GB (senza super mode). Mentre il Jetson Orin NX offre capacità complessive superiori, il Jetson Orin Nano Super Developer Kit fornisce prestazioni impressionanti a una frazione del costo.

Fig. 2 Uno sguardo all'ecosistema NVIDIA Jetson Orin.

Ecco una rapida panoramica:

• Prestazioni AI: Jetson Orin Nano Super offre fino a 67 TOPS, ottimo per la maggior parte delle attività di edge AI, mentre il Jetson Orin NX offre fino a 100 TOPS per applicazioni più impegnative.
• Memoria: Jetson Orin Nano Super include 8GB LPDDR5, sufficienti per attività in tempo reale, mentre l'Orin NX li raddoppia a 16GB per carichi di lavoro maggiori.
• Efficienza energetica: Jetson Orin Nano Super è più efficiente dal punto di vista energetico e configurabile tra 7W e 25W, rispetto alle maggiori richieste energetiche del Jetson Orin NX.
• GPU: Entrambi condividono l'architettura NVIDIA Ampere con 1.024 CUDA cores e 32 Tensor Cores per prestazioni GPU robuste.

Ultralytics YOLO11 con Jetson Orin Nano Super: Portare la vision AI sull'edge#

Ora che abbiamo una comprensione migliore del Jetson Orin Nano Super, diamo un'occhiata a come YOLO11 può intervenire per portare le capacità di visione artificiale all'edge. I modelli Ultralytics YOLO, incluso YOLO11, sono dotati di modalità versatili come train, predict ed export, rendendoli adattabili a una varietà di flussi di lavoro AI.

Ad esempio, nella modalità di addestramento, i modelli Ultralytics YOLO possono essere messi a punto e addestrati su dataset personalizzati per applicazioni specifiche, come il rilevamento di oggetti unici o l'ottimizzazione per ambienti particolari. Allo stesso modo, la modalità di predizione è progettata per l'inferenza, consentendo attività di visione artificiale in tempo reale. Infine, la modalità di esportazione può essere utilizzata per convertire i modelli in formati ottimizzati per il rilascio.

Fig. 3 I modelli Ultralytics YOLO supportano varie funzionalità e modalità.

Ultralytics YOLO11 in modalità export supporta una gamma di opzioni di distribuzione dei modelli, tra cui, a titolo esemplificativo:

• NVIDIA TensorRT: Questo formato è ottimizzato per le GPU NVIDIA, offrendo inferenza ad alte prestazioni e bassa latenza sul Jetson Orin Nano Super.
• ONNX (Open Neural Network Exchange): Garantisce la compatibilità tra varie piattaforme, rendendolo versatile per diversi ecosistemi hardware e software.
• TorchScript: questo formato è ideale per le applicazioni basate su PyTorch e favorisce un'integrazione perfetta nei flussi di lavoro PyTorch.
• TFLite (TensorFlow Lite): un formato progettato per rilasci di intelligenza artificiale leggeri, che lo rende perfetto per sistemi mobili ed embedded.

Utilizzando questi formati di distribuzione, gli sviluppatori possono sfruttare appieno l'hardware del Jetson Orin Nano Super per eseguire Ultralytics YOLO11 per applicazioni in tempo reale come spazi intelligenti, robotica e automazione della vendita al dettaglio.

Benchmark di Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super#

Successivamente, per avere un'idea migliore di quanto velocemente Ultralytics YOLO11 possa essere eseguito su NVIDIA Jetson Orin Nano Super, esploriamo le sue prestazioni impressionanti e i benchmark utilizzando formati di esportazione accelerati da GPU come PyTorch, ONNX e TensorRT. Questi test rivelano che Jetson Orin Nano Super ottiene tempi di inferenza con i modelli YOLO11 che sono comparabili, e occasionalmente superiori, al precedente Jetson Orin NX 16GB (senza super mode).

Fig 4. Benchmark di Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super.

Ciò che rende tutto ciò ancora più straordinario è l'accessibilità economica del Jetson Orin Nano Super. Offrendo tali prestazioni a meno della metà del prezzo del Jetson Orin NX 16GB, garantisce un valore eccezionale agli sviluppatori che realizzano applicazioni ad alte prestazioni con Ultralytics YOLO11. Questa combinazione di costo e prestazioni rende il Jetson Orin Nano Super una scelta eccellente per attività di IA visiva in tempo reale all'edge.

Fig 5. Benchmark di Ultralytics YOLO11 su Jetson Orin NX 16GB.

Mettiti all'opera con Ultralytics YOLO11 e il NVIDIA Jetson Orin Nano Super#

Se non vedi l'ora di iniziare a distribuire Ultralytics YOLO11 sul Jetson Orin Nano Super, ci sono ottime notizie: è un processo semplice. Dopo aver eseguito il flash del dispositivo con il NVIDIA JetPack SDK, puoi utilizzare un'immagine Docker predefinita per una configurazione rapida oppure installare manualmente i pacchetti necessari.

Per chi cerca un'integrazione più veloce e fluida, il container Docker aggiornato di JetPack 6 è la soluzione ideale. Un container Docker è un ambiente leggero e portatile che include tutti gli strumenti e le dipendenze necessari per eseguire software specifici.

Il container Ultralytics, ottimizzato per JetPack 6.1, include preinstallati CUDA 12.6, TensorRT 10.3 e strumenti essenziali come PyTorch e TorchVision, tutti adattati all'architettura ARM64 di Jetson. Utilizzando questo container, gli sviluppatori possono risparmiare tempo sulla configurazione e concentrarsi sulla creazione e sull'ottimizzazione delle proprie applicazioni di visione artificiale con YOLO11.

Applicazioni di Ultralytics YOLO11 sul NVIDIA Jetson Orin Nano Super#

Per chi cerca ispirazione per il prossimo progetto AI, c'è potenziale per applicazioni di computer vision basate sull'edge ovunque intorno a noi.

Nella vita quotidiana, l'edge AI sta ridefinendo gli spazi intelligenti consentendo ai sistemi di rilevare e tracciare oggetti in tempo reale, il tutto senza fare affidamento sull'elaborazione cloud. Che si tratti di monitorare il traffico in una città frenetica o di identificare attività insolite in spazi pubblici, l'edge vision AI sta aumentando la sicurezza e l'efficienza.

Anche i rivenditori stanno sfruttando l'IA edge e la computer vision. Dai controlli automatizzati dell'inventario alla prevenzione dei furti, modelli come Ultralytics YOLO11 consentono alle aziende di implementare soluzioni in tempo reale direttamente nei negozi.

Analogamente, quando si parla di IA in ambito sanitario, il monitoraggio basato sull'edge garantisce la sicurezza dei pazienti, rileva anomalie e mantiene la conformità, il tutto senza i ritardi causati dalla dipendenza dal cloud. Con strumenti come il Jetson Orin Nano Super e Ultralytics YOLO11, il futuro della visione artificiale si sta delineando proprio all'edge, dove è più necessario.

Punti chiave#

Distribuire modelli Ultralytics YOLO come YOLO11 sul NVIDIA Jetson Orin Nano Super Developer Kit offre una soluzione affidabile ed efficiente per applicazioni edge AI. Con prestazioni GPU robuste, supporto fluido per PyTorch, ONNX e TensorRT e benchmark impressionanti, è ben adatto per attività di computer vision in tempo reale come il rilevamento e il tracciamento di oggetti.

Innovazioni e collaborazioni in tecnologie all'avanguardia come la computer vision e l'accelerazione hardware stanno trasformando il nostro modo di lavorare, consentendo agli sviluppatori di creare soluzioni scalabili e ad alte prestazioni all'edge. Con il progredire dell'IA, strumenti come Ultralytics YOLO11 e il Jetson Orin Nano Super rendono più facile che mai dare vita a soluzioni intelligenti in tempo reale.

Curioso riguardo all'intelligenza artificiale? Visita il nostro repository GitHub per esplorare i nostri contributi e interagire con la nostra community. Scopri come utilizziamo l'intelligenza artificiale per avere un impatto in settori come l'agricoltura e la sanità.