Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super: veloce ed efficiente

Il NVIDIA Jetson Orin Nano Super Developer Kit, lanciato il 17 dicembre 2024, è un supercomputer compatto ma potente per l’AI generativa, progettato per portare funzionalità avanzate all’edge computing. Consente l’elaborazione in tempo reale e riduce la necessità di ricorrere al cloud computing. NVIDIA Jetson Orin Nano Super permette agli sviluppatori di creare sistemi intelligenti e convenienti che funzionano in modo efficiente negli ambienti locali.

In combinazione con i modelli Ultralytics YOLO, come Ultralytics YOLO11, Jetson Orin Nano Super può gestire un'ampia gamma di applicazioni di IA per la visione direttamente sull'edge. In particolare, YOLO11 è un modello di visione artificiale noto per la velocità e la precisione in attività come il rilevamento degli oggetti, il tracciamento degli oggetti e la segmentazione delle istanze.

Combinare le capacità di Ultralytics YOLO11 con la potente GPU (unità di elaborazione grafica) del kit e il supporto per framework come PyTorch, ONNX e NVIDIA TensorRT permette distribuzioni ad alte prestazioni. Questa combinazione offre agli sviluppatori una soluzione efficiente per creare applicazioni di IA, dal rilevamento degli oggetti nella robotica al tracciamento degli oggetti in tempo reale negli spazi intelligenti e nei sistemi per il commercio al dettaglio.

In questo articolo esamineremo NVIDIA Jetson Orin Nano Super Developer Kit, il suo funzionamento con Ultralytics YOLO11 per l’AI edge, i benchmark delle sue prestazioni, le applicazioni reali e il modo in cui può aiutare gli sviluppatori a realizzare progetti di Vision AI.

Che cos'è il kit per sviluppatori NVIDIA Jetson Orin Nano Super?#

NVIDIA Jetson Orin Nano Super Developer Kit è un computer compatto ma potente che porta l’AI generativa sui piccoli dispositivi edge. Offre prestazioni di AI fino a 67 TOPS (trilioni di operazioni al secondo), risultando particolarmente adatto a sviluppatori, studenti e appassionati che lavorano a progetti avanzati di AI.

Ecco alcune delle sue caratteristiche principali:

• Prestazioni GPU: il dispositivo si basa su una GPU con architettura NVIDIA Ampere, che include 1,024 core CUDA e 32 Tensor Core. I core CUDA elaborano molte attività contemporaneamente, accelerando i calcoli complessi, mentre i Tensor Core sono specializzati in attività di IA come il deep learning.
• CPU potente: integra un processore Arm Cortex-A78AE a 6 core, progettato per bilanciare velocità ed efficienza. Il dispositivo gestisce più attività senza problemi mantenendo bassi i consumi energetici. Questo è importante per i sistemi che funzionano localmente senza accesso a fonti di alimentazione elevate.
• Memoria efficiente: il kit dispone di 8 GB di memoria LPDDR5 (memoria a doppia velocità di trasferimento dati a basso consumo, generazione 5). LPDDR5 è un tipo di RAM (memoria ad accesso casuale) ottimizzata per velocità ed efficienza energetica, che consente al dispositivo di gestire dataset di grandi dimensioni ed elaborazioni in tempo reale senza consumare energia in eccesso.
• Opzioni di connettività: include porte USB 3.2 per trasferimenti rapidi dei dati, una porta Gigabit Ethernet per connessioni di rete affidabili e interfacce per integrare sensori o fotocamere.
• Strumenti per lo sviluppo dell'IA: Jetson Orin Nano Super è compatibile con NVIDIA JetPack SDK, che mette a disposizione strumenti come CUDA per accelerare i calcoli e TensorRT per ottimizzare i modelli di IA. Questi strumenti aiutano gli sviluppatori a creare e distribuire applicazioni di IA in modo rapido ed efficiente.

Benchmark delle prestazioni: Jetson Orin Nano Super vs Orin NX 16GB#

Se conosci le soluzioni NVIDIA, potresti chiederti come si confronta questa nuova versione con l'attuale NVIDIA Jetson Orin NX 16GB (senza modalità Super). Sebbene Jetson Orin NX offra capacità complessive superiori, il kit per sviluppatori Jetson Orin Nano Super garantisce prestazioni notevoli a una frazione del costo.

Fig. 2. Uno sguardo all'ecosistema NVIDIA Jetson Orin.

Ecco una rapida panoramica:

• Prestazioni IA: Jetson Orin Nano Super offre fino a 67 TOPS, ottimi per la maggior parte delle attività di IA all'edge, mentre Jetson Orin NX raggiunge fino a 100 TOPS per le applicazioni più impegnative.
• Memoria: Jetson Orin Nano Super include 8 GB di LPDDR5, sufficienti per le attività in tempo reale, mentre Orin NX raddoppia la capacità a 16 GB per carichi di lavoro più pesanti.
• Efficienza energetica: Jetson Orin Nano Super è più efficiente dal punto di vista energetico e configurabile tra 7 W e 25 W, rispetto ai consumi più elevati di Jetson Orin NX.
• GPU: entrambi condividono l'architettura NVIDIA Ampere, con 1,024 core CUDA e 32 Tensor Core per prestazioni GPU solide.

Ultralytics YOLO11 con Jetson Orin Nano Super: portare l'IA per la visione all'edge#

Ora che conosciamo meglio Jetson Orin Nano Super, vediamo come YOLO11 può portare le funzionalità di IA per la visione all'edge. I modelli Ultralytics YOLO, incluso YOLO11, offrono modalità versatili come train, predict ed export, che li rendono adatti a diversi flussi di lavoro di IA.

Per esempio, nella modalità di addestramento, i modelli Ultralytics YOLO possono essere perfezionati e addestrati su dataset personalizzati per applicazioni specifiche, come il rilevamento di oggetti particolari o l’ottimizzazione per ambienti specifici. Analogamente, la modalità di predizione è progettata per l’inferenza e consente attività di visione artificiale in tempo reale. Infine, la modalità di esportazione può essere usata per convertire i modelli in formati ottimizzati per la distribuzione.

Fig. 3. I modelli Ultralytics YOLO supportano diverse funzionalità e modalità.

Ultralytics YOLO11 in modalità export supporta diverse opzioni di distribuzione dei modelli, tra cui:

• NVIDIA TensorRT: questo formato è ottimizzato per le GPU NVIDIA e offre inferenza ad alte prestazioni e bassa latenza su Jetson Orin Nano Super.
• ONNX (scambio aperto di reti neurali): offre compatibilità tra diverse piattaforme, rendendolo versatile per ecosistemi hardware e software differenti.
• TorchScript: questo formato è ideale per le applicazioni basate su PyTorch e semplifica l’integrazione nei flussi di lavoro PyTorch.
• TFLite (TensorFlow Lite): un formato progettato per distribuzioni di AI leggere, particolarmente adatto ai sistemi mobili ed embedded.

Con questi formati di distribuzione, gli sviluppatori possono sfruttare appieno l'hardware di Jetson Orin Nano Super per eseguire Ultralytics YOLO11 in applicazioni in tempo reale come spazi intelligenti, robotica e automazione del commercio al dettaglio.

Benchmark di Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super#

Per capire meglio la velocità di esecuzione di Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super, esaminiamo i benchmark con formati accelerati dalla GPU come PyTorch, ONNX e TensorRT. Questi test mostrano che Jetson Orin Nano Super raggiunge tempi di inferenza con i modelli YOLO11 paragonabili e, in alcuni casi, più veloci di quelli dell’attuale Jetson Orin NX 16GB (senza modalità Super).

Fig. 4. Benchmark di Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super.

Ciò che rende il risultato ancora più notevole è il prezzo accessibile di Jetson Orin Nano Super. Offre prestazioni di questo livello a meno della metà del prezzo di Jetson Orin NX 16GB, garantendo un ottimo rapporto qualità-prezzo agli sviluppatori che realizzano applicazioni Ultralytics YOLO11 ad alte prestazioni. Questa combinazione di costo e prestazioni rende Jetson Orin Nano Super un’ottima scelta per le attività di Vision AI in tempo reale all’edge.

Fig. 5. Benchmark di Ultralytics YOLO11 su Jetson Orin NX 16GB.

Prova Ultralytics YOLO11 e NVIDIA Jetson Orin Nano Super#

Se non vedi l’ora di iniziare a distribuire Ultralytics YOLO11 su Jetson Orin Nano Super, la procedura è semplice. Dopo aver installato il firmware sul dispositivo con NVIDIA JetPack SDK, puoi usare un’immagine Docker precompilata per una configurazione rapida oppure installare manualmente i pacchetti necessari.

Per configurare tutto nel modo più rapido, l’opzione più semplice è il container Docker aggiornato di JetPack 6. Un container Docker è un ambiente leggero e portabile che include tutti gli strumenti e le dipendenze necessari per eseguire software specifico.

Il container Ultralytics, ottimizzato per JetPack 6.1, include già CUDA 12.6, TensorRT 10.3 e strumenti essenziali come PyTorch e TorchVision, il tutto adattato all'architettura ARM64 di Jetson. Usando questo container, gli sviluppatori possono risparmiare tempo nella configurazione e concentrarsi sulla creazione e sull'ottimizzazione delle proprie applicazioni di IA per la visione con YOLO11.

Applicazioni di Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super#

Se cerchi ispirazione per il tuo prossimo progetto di IA, le applicazioni di visione artificiale all'edge sono ovunque intorno a noi.

Nella vita quotidiana, l’AI edge sta trasformando gli ambienti smart, consentendo ai sistemi di rilevare e tracciare oggetti in tempo reale senza fare affidamento sull’elaborazione nel cloud. Che si tratti di monitorare il traffico in una città affollata o di identificare attività insolite negli spazi pubblici, la Vision AI edge rafforza la sicurezza e l’efficienza.

Anche i rivenditori stanno adottando l'IA all'edge e la visione artificiale. Dai controlli automatizzati delle scorte alla prevenzione dei furti, modelli come Ultralytics YOLO11 consentono alle aziende di distribuire soluzioni in tempo reale direttamente nei negozi.

Analogamente, per quanto riguarda l’AI in ambito sanitario, il monitoraggio basato sull’edge contribuisce a proteggere la sicurezza dei pazienti, rileva anomalie e favorisce la conformità, il tutto senza i ritardi causati dalla dipendenza dal cloud. Con strumenti come Jetson Orin Nano Super e Ultralytics YOLO11, il futuro della Vision AI si sta realizzando direttamente all’edge, dove serve di più.

Punti chiave#

La distribuzione di modelli Ultralytics YOLO come YOLO11 su NVIDIA Jetson Orin Nano Super Developer Kit offre una soluzione affidabile ed efficiente per le applicazioni di AI edge. Grazie alle solide prestazioni della GPU, al supporto nativo per PyTorch, ONNX e TensorRT e agli ottimi risultati dei benchmark, è particolarmente adatto alle attività di visione artificiale in tempo reale, come il rilevamento e il tracciamento di oggetti.

I progressi nella Vision AI e nell’accelerazione hardware stanno trasformando il nostro modo di lavorare e aiutano gli sviluppatori a realizzare soluzioni scalabili e ad alte prestazioni all’edge. Con l’evoluzione dell’AI, strumenti come Ultralytics YOLO11 e Jetson Orin Nano Super rendono più facile che mai creare soluzioni intelligenti e in tempo reale.

Ti interessa l'IA? Visita il nostro repository GitHub per scoprire i nostri contributi e partecipare alla nostra community. Scopri come usiamo l'IA per avere un impatto in settori come l'agricoltura e la sanità.