Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super: rapido ed efficiente
Scopri come la distribuzione di Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super offre benchmark impressionanti e prestazioni accelerate dalla GPU per applicazioni AI avanzate.
Il Developer Kit NVIDIA Jetson Orin Nano Super, lanciato il 17 dicembre 2024, è un supercomputer compatto ma potente per l'IA generativa, progettato per portare funzionalità avanzate all'edge computing. Facilita l'elaborazione in tempo reale ed elimina la necessità del cloud computing. NVIDIA Jetson Orin Nano Super consente agli sviluppatori di creare sistemi intelligenti convenienti, che funzionano in modo efficiente negli ambienti locali.
Se abbinato a modelli Ultralytics YOLO come Ultralytics YOLO11, Jetson Orin Nano Super è in grado di gestire un'ampia gamma di applicazioni di IA per la visione all'edge. In particolare, YOLO11 è un modello di computer vision noto per la velocità e la precisione in attività come il rilevamento degli oggetti, il tracking degli oggetti e la segmentazione delle istanze.
La combinazione delle funzionalità di Ultralytics YOLO11 con la solida GPU (unità di elaborazione grafica) del kit e il supporto per framework come PyTorch, ONNX e NVIDIA TensorRT consente deployment ad alte prestazioni. Questa combinazione offre agli sviluppatori una soluzione efficiente per creare applicazioni di IA, dal rilevamento degli oggetti nella robotica al tracking degli oggetti in tempo reale negli spazi intelligenti e nei sistemi per la vendita al dettaglio.
In questo articolo esamineremo il Developer Kit NVIDIA Jetson Orin Nano Super, il suo funzionamento con Ultralytics YOLO11 per l'IA all'edge, i suoi benchmark delle prestazioni, le applicazioni nel mondo reale e il modo in cui può aiutare gli sviluppatori a realizzare progetti di IA per la visione. Iniziamo!
Che cos'è il Developer Kit NVIDIA Jetson Orin Nano Super?#
Il Developer Kit NVIDIA Jetson Orin Nano Super è un computer compatto ma potente, che ridefinisce l'IA generativa per i piccoli dispositivi edge. Offre fino a 67 TOPS (migliaia di miliardi di operazioni al secondo) di prestazioni IA, rendendolo ideale per sviluppatori, studenti e appassionati che lavorano a progetti di IA avanzati.
Ecco alcune delle sue caratteristiche principali:
- Prestazioni della GPU: il dispositivo è basato su una GPU con architettura NVIDIA Ampere, che include 1.024 core CUDA e 32 Tensor Core. I core CUDA elaborano molte attività simultaneamente, accelerando i calcoli complessi, mentre i Tensor Core sono specializzati in attività di IA come il deep learning.
- CPU potente: integra un processore Arm Cortex-A78AE a 6 core, progettato per bilanciare velocità ed efficienza. Il dispositivo è in grado di gestire più attività senza problemi, mantenendo basso il consumo energetico. Questo è importante per i sistemi che funzionano localmente senza accesso a grandi fonti di alimentazione.
- Memoria efficiente: il kit dispone di 8 GB di memoria LPDDR5 (Double Data Rate 5 a basso consumo). LPDDR5 è un tipo di RAM (memoria ad accesso casuale) ottimizzato per velocità ed efficienza energetica, che consente al dispositivo di gestire grandi dataset ed elaborazioni in tempo reale senza consumare una quantità eccessiva di energia.
- Opzioni di connettività: include porte USB 3.2 per trasferimenti rapidi dei dati, una porta Gigabit Ethernet per connessioni di rete affidabili e interfacce per fotocamere per integrare sensori o fotocamere.
- Strumenti per lo sviluppo dell'IA: Jetson Orin Nano Super funziona con NVIDIA JetPack SDK, che fornisce strumenti come CUDA per calcoli più veloci e TensorRT per ottimizzare i modelli di IA. Questi strumenti semplificano per gli sviluppatori la creazione e il deployment rapido ed efficiente di applicazioni di IA.
Benchmark delle prestazioni: Jetson Orin Nano Super vs. Orin NX 16GB#
Se conosci il lavoro di NVIDIA, potresti chiederti come questa nuova versione si confronti con l'attuale NVIDIA Jetson Orin NX 16GB (senza modalità super). Sebbene Jetson Orin NX offra capacità complessive superiori, il Developer Kit Jetson Orin Nano Super garantisce prestazioni impressionanti a una frazione del costo.
Fig. 2 Uno sguardo all'ecosistema NVIDIA Jetson Orin.
Ecco una rapida panoramica:
- Prestazioni IA: Jetson Orin Nano Super offre fino a 67 TOPS, una capacità ottima per la maggior parte delle attività di IA all'edge, mentre Jetson Orin NX offre fino a 100 TOPS per le applicazioni più impegnative.
- Memoria: Jetson Orin Nano Super include 8 GB di LPDDR5, sufficienti per le attività in tempo reale, mentre Orin NX raddoppia la capacità a 16 GB per carichi di lavoro più grandi.
- Efficienza energetica: Jetson Orin Nano Super è più efficiente dal punto di vista energetico e può essere configurato tra 7 W e 25 W, rispetto al maggiore fabbisogno energetico di Jetson Orin NX.
- GPU: entrambi condividono l'architettura NVIDIA Ampere con 1.024 core CUDA e 32 Tensor Core per solide prestazioni della GPU.
Ultralytics YOLO11 con Jetson Orin Nano Super: portare l'IA per la visione all'edge#
Ora che abbiamo acquisito una migliore comprensione di Jetson Orin Nano Super, vediamo come YOLO11 può contribuire a portare le funzionalità di IA per la visione all'edge. I modelli Ultralytics YOLO, incluso YOLO11, offrono modalità versatili come train, predict ed export, che li rendono adattabili a una varietà di workflow di IA.
Ad esempio, in modalità train, i modelli Ultralytics YOLO possono essere sottoposti a fine-tuning e addestrati su dataset personalizzati per applicazioni specifiche, come il rilevamento di oggetti unici o l'ottimizzazione per ambienti specifici. Analogamente, la modalità predict è progettata per l'inferenza e consente attività di computer vision in tempo reale. Infine, la modalità export può essere utilizzata per convertire i modelli in formati ottimizzati per il deployment.
Fig. 3 I modelli Ultralytics YOLO supportano varie funzionalità e modalità.
La modalità export di Ultralytics YOLO11 supporta una vasta gamma di opzioni per il deployment dei modelli, tra cui:
- NVIDIA TensorRT: questo formato è ottimizzato per le GPU NVIDIA e offre inferenza ad alte prestazioni e bassa latenza su Jetson Orin Nano Super.
- ONNX (scambio di reti neurali aperte): garantisce la compatibilità tra diverse piattaforme, rendendolo versatile per vari ecosistemi hardware e software.
- TorchScript: questo formato è ideale per le applicazioni basate su PyTorch e favorisce un'integrazione fluida nei workflow PyTorch.
- TFLite (TensorFlow Lite): un formato progettato per deployment di IA leggeri, perfetto per sistemi mobili ed embedded.
Utilizzando questi formati di deployment, gli sviluppatori possono sfruttare appieno l'hardware di Jetson Orin Nano Super per eseguire Ultralytics YOLO11 in applicazioni in tempo reale come spazi intelligenti, robotica e automazione della vendita al dettaglio.
Benchmark di Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super#
Per comprendere meglio la velocità di esecuzione di Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super, analizziamo le sue prestazioni e i benchmark impressionanti utilizzando formati di export con accelerazione GPU come PyTorch, ONNX e TensorRT. Questi test mostrano che Jetson Orin Nano Super raggiunge tempi di inferenza con i modelli YOLO11 paragonabili a quelli dell'attuale Jetson Orin NX 16GB (senza modalità super) e che occasionalmente li supera.
Fig. 4 Benchmark di Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super.
Ciò che rende il risultato ancora più notevole è il prezzo accessibile di Jetson Orin Nano Super. Offrendo prestazioni di questo livello a meno della metà del prezzo di Jetson Orin NX 16GB, garantisce un valore eccezionale agli sviluppatori che realizzano applicazioni Ultralytics YOLO11 ad alte prestazioni. Questa combinazione di costo e prestazioni rende Jetson Orin Nano Super una scelta eccellente per le attività di IA per la visione in tempo reale all'edge.
Fig. 5 Benchmark di Ultralytics YOLO11 su Jetson Orin NX 16GB.
Metti alla prova Ultralytics YOLO11 e NVIDIA Jetson Orin Nano Super#
Se non vedi l'ora di iniziare a implementare Ultralytics YOLO11 su Jetson Orin Nano Super, ci sono buone notizie: il processo è semplice. Dopo aver eseguito il flashing del dispositivo con NVIDIA JetPack SDK, puoi utilizzare un'immagine Docker preconfigurata per una configurazione rapida oppure installare manualmente i pacchetti necessari.
Per chi cerca un'integrazione più rapida e fluida, il container Docker aggiornato di JetPack 6 è la soluzione ideale. Un container Docker è un ambiente leggero e portatile che include tutti gli strumenti e le dipendenze necessari per eseguire software specifici.
Il container Ultralytics, ottimizzato per JetPack 6.1, viene fornito con CUDA 12.6, TensorRT 10.3 e strumenti essenziali come PyTorch e TorchVision già preinstallati, tutti adattati all'architettura ARM64 di Jetson. Utilizzando questo container, gli sviluppatori possono risparmiare tempo nella configurazione e concentrarsi sulla creazione e sull'ottimizzazione delle proprie applicazioni di IA per la visione con YOLO11.
Applicazioni di Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super#
Per chi cerca ispirazione per il prossimo progetto di IA, le applicazioni di computer vision basate sull'edge sono presenti ovunque intorno a noi.
Nella vita quotidiana, l'IA all'edge sta ridefinendo gli spazi intelligenti, consentendo ai sistemi di rilevare e tracciare gli oggetti in tempo reale, senza dipendere dall'elaborazione nel cloud. Che si tratti di monitorare il traffico in una città affollata o di identificare attività insolite negli spazi pubblici, l'IA per la visione all'edge sta aumentando sicurezza ed efficienza.
Anche i rivenditori stanno adottando l'IA all'edge e la computer vision. Dai controlli automatizzati dell'inventario alla prevenzione dei furti, modelli come Ultralytics YOLO11 consentono alle aziende di implementare soluzioni in tempo reale direttamente nei punti vendita.
Analogamente, per quanto riguarda l'IA nel settore sanitario, il monitoraggio basato sull'edge garantisce la sicurezza dei pazienti, rileva le anomalie e mantiene la conformità, senza i ritardi causati dalla dipendenza dal cloud. Con strumenti come Jetson Orin Nano Super e Ultralytics YOLO11, il futuro dell'IA per la visione si sta sviluppando proprio all'edge, dove è più necessario.
Punti chiave#
Implementare modelli Ultralytics YOLO come YOLO11 sul Developer Kit NVIDIA Jetson Orin Nano Super offre una soluzione affidabile ed efficiente per le applicazioni di IA all'edge. Grazie alle solide prestazioni della GPU, al supporto fluido per PyTorch, ONNX e TensorRT e a benchmark impressionanti, è particolarmente adatto ad attività di computer vision in tempo reale come il rilevamento e il tracking degli oggetti.
Le innovazioni e le collaborazioni nelle tecnologie all'avanguardia, come l'IA per la visione e l'accelerazione hardware, stanno trasformando il nostro modo di lavorare e consentono agli sviluppatori di creare soluzioni scalabili e ad alte prestazioni all'edge. Con il progredire dell'IA, strumenti come Ultralytics YOLO11 e Jetson Orin Nano Super rendono più facile che mai portare alla realtà soluzioni intelligenti in tempo reale.
Sei curioso di conoscere l'IA? Visita il nostro repository GitHub per esplorare i nostri contributi e partecipare alla nostra community. Scopri come utilizziamo l'IA per avere un impatto in settori come l'agricoltura e la sanità.
