Yolo Vision Shenzhen
Shenzhen
Iscriviti ora

Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super: veloce ed efficiente

Abirami Vina

4 minuti di lettura

9 gennaio 2025

Scopri come l'implementazione di Ultralytics YOLO11 su NVIDIA Jetson Orin Nano Super offre benchmark impressionanti e prestazioni accelerate tramite GPU per applicazioni di IA avanzate.

L'NVIDIA Jetson Orin Nano Super Developer Kit, lanciato il 17 dicembre 2024, è un supercomputer di AI generativa compatto ma potente, progettato per portare funzionalità avanzate all'edge computing. Facilita l'elaborazione in tempo reale ed elimina la necessità di cloud computing. NVIDIA Jetson Orin Nano Super consente agli sviluppatori di creare sistemi intelligenti ed economici che funzionano in modo efficiente in ambienti locali.

Se abbinato a modelli Ultralytics YOLO come Ultralytics YOLO11, Jetson Orin Nano Super può gestire una vasta gamma di applicazioni Vision AI sull'edge. In particolare, YOLO11 è un modello di computer vision noto per la sua velocità e precisione in attività come object detection, object tracking e segmentazione delle istanze. 

La combinazione delle capacità di YOLO11 con la robusta GPU (Graphics Processing Unit) del kit e il supporto per framework come PyTorch, ONNX e NVIDIA TensorRT consente implementazioni ad alte prestazioni. Questa combinazione offre agli sviluppatori una soluzione efficiente per la creazione di applicazioni di IA, dal rilevamento di oggetti nella robotica al tracciamento di oggetti in tempo reale in spazi intelligenti e sistemi di vendita al dettaglio.

In questo articolo, esamineremo l'NVIDIA Jetson Orin Nano Super Developer Kit, come funziona con Ultralytics YOLO11 per l'edge AI, i suoi benchmark di prestazioni, le applicazioni nel mondo reale e come può aiutare gli sviluppatori a creare progetti di Vision AI. Iniziamo!

Cos'è l'NVIDIA Jetson Orin Nano Super Developer Kit?

NVIDIA Jetson Orin Nano Super Developer Kit è un computer compatto, ma potente, che ridefinisce l'AI generativa per piccoli dispositivi edge. Offre fino a 67 TOPS (trilioni di operazioni al secondo) di prestazioni AI, rendendolo ideale per sviluppatori, studenti e hobbisti che lavorano su progetti AI avanzati.

__wf_reserved_inherit

Ecco alcune delle sue caratteristiche principali:

  • Prestazioni della GPU: Il dispositivo è costruito sull'architettura GPU NVIDIA Ampere, che include 1.024 core CUDA e 32 Tensor Core. I core CUDA elaborano molte attività contemporaneamente, accelerando i calcoli complessi, mentre i Tensor Core sono specializzati per attività di intelligenza artificiale come il deep learning. 
  • Potente CPU: È dotato di un processore Arm Cortex-A78AE a 6 core, progettato per bilanciare velocità ed efficienza. Il dispositivo è in grado di gestire più attività senza problemi, mantenendo basso il consumo energetico. Questo è importante per i sistemi che funzionano localmente senza accesso a grandi fonti di alimentazione.
  • Memoria efficiente: Il kit viene fornito con 8 GB di memoria LPDDR5 (Low Power Double Data Rate 5). LPDDR5 è un tipo di RAM (Random Access Memory) ottimizzata per la velocità e l'efficienza energetica, che consente al dispositivo di gestire grandi dataset ed elaborazioni in tempo reale senza consumare energia eccessiva.
  • Opzioni di connettività: Include porte USB 3.2 per trasferimenti rapidi di dati, una porta Gigabit Ethernet per connessioni di rete stabili e interfacce per telecamere per l'integrazione di sensori o telecamere
  • Strumenti di sviluppo AI: Jetson Orin Nano Super funziona con l'NVIDIA JetPack SDK, che fornisce strumenti come CUDA per un calcolo più veloce e TensorRT per l'ottimizzazione dei modelli AI. Questi strumenti semplificano la creazione e la distribuzione rapida ed efficiente di applicazioni AI per gli sviluppatori.

Benchmark delle prestazioni: Jetson Orin Nano Super Vs. Orin NX 16GB

Se hai familiarità con il lavoro di NVIDIA, potresti chiederti come si confronta questa nuova versione con l'esistente NVIDIA Jetson Orin NX 16GB (senza super mode). Mentre Jetson Orin NX offre capacità complessive superiori, il Jetson Orin Nano Super Developer Kit offre prestazioni impressionanti a una frazione del costo.

 

__wf_reserved_inherit
Fig. 2. Uno sguardo all'ecosistema NVIDIA Jetson Orin.

Ecco una rapida panoramica:

  • Prestazioni AI: Jetson Orin Nano Super offre fino a 67 TOPS, il che è ottimo per la maggior parte delle attività di edge AI, mentre Jetson Orin NX offre fino a 100 TOPS per applicazioni più impegnative.
  • Memoria: Jetson Orin Nano Super include 8 GB di LPDDR5, sufficienti per attività in tempo reale, mentre Orin NX lo raddoppia a 16 GB per carichi di lavoro più grandi.
  • Efficienza energetica: Jetson Orin Nano Super è più efficiente dal punto di vista energetico e configurabile tra 7W e 25W, rispetto alle maggiori richieste di potenza di Jetson Orin NX.
  • GPU: Entrambi condividono l'architettura NVIDIA Ampere con 1.024 core CUDA e 32 Tensor Core per prestazioni GPU robuste.

YOLO11 con Jetson Orin Nano Super: portare la vision AI all'edge

Ora che abbiamo una migliore comprensione di Jetson Orin Nano Super, diamo un'occhiata a come YOLO11 può intervenire per portare le capacità di Vision AI all'edge. I modelli Ultralytics YOLO, incluso YOLO11, sono dotati di modalità versatili come train, predict ed export, che li rendono adattabili a una varietà di flussi di lavoro AI. 

Ad esempio, nella modalità di training, i modelli Ultralytics YOLO possono essere ottimizzati e addestrati su dataset personalizzati per applicazioni specifiche, come il rilevamento di oggetti unici o l'ottimizzazione per ambienti specifici. Allo stesso modo, la modalità predizione è progettata per l'inferenza, consentendo attività di computer vision in tempo reale. Infine, la modalità export può essere utilizzata per convertire i modelli in formati ottimizzati per il deployment.

__wf_reserved_inherit
Fig. 3. I modelli YOLO di Ultralytics supportano varie funzionalità e modalità.

YOLO11 in modalità di esportazione supporta una vasta gamma di opzioni di implementazione del modello, tra cui, tra le altre:

  • NVIDIA TensorRT: Questo formato è ottimizzato per le GPU NVIDIA, offrendo inferenza ad alte prestazioni e bassa latenza sul Jetson Orin Nano Super.
  • ONNX (Open Neural Network Exchange): Garantisce la compatibilità tra varie piattaforme, rendendolo versatile per diversi ecosistemi hardware e software.
  • TorchScript: Questo formato è ideale per applicazioni basate su PyTorch, aiutando con una perfetta integrazione nei flussi di lavoro PyTorch.
  • TFLite (TensorFlow Lite): Un formato progettato per distribuzioni AI leggere, che lo rende perfetto per sistemi mobili ed embedded.

Utilizzando questi formati di implementazione, gli sviluppatori possono sfruttare appieno l'hardware del Jetson Orin Nano Super per eseguire YOLO11 per applicazioni in tempo reale come spazi intelligenti, robotica e automazione della vendita al dettaglio. 

Benchmarking di YOLO11 sulla NVIDIA Jetson Orin Nano Super

Successivamente, per avere un'idea più precisa di quanto velocemente YOLO11 possa essere eseguito su NVIDIA Jetson Orin Nano Super, esploriamo le sue impressionanti prestazioni e i benchmark utilizzando formati di esportazione accelerati tramite GPU come PyTorch, ONNX e TensorRT. Questi test rivelano che Jetson Orin Nano Super raggiunge tempi di inferenza con i modelli YOLO11 paragonabili a - e occasionalmente superiori a - quelli dell'attuale Jetson Orin NX 16GB (senza super mode).

__wf_reserved_inherit
Fig. 4. Benchmarking di YOLO11 su NVIDIA Jetson Orin Nano Super.

Ciò che rende tutto questo ancora più notevole è l'accessibilità economica del Jetson Orin Nano Super. Offrendo tali prestazioni a meno della metà del prezzo del Jetson Orin NX 16GB, offre un valore eccezionale per gli sviluppatori che creano applicazioni YOLO11 ad alte prestazioni. Questa combinazione di costo e prestazioni rende il Jetson Orin Nano Super una scelta eccellente per le attività di Vision AI in tempo reale all'edge.

__wf_reserved_inherit
Fig 5. Benchmarking di YOLO11 su Jetson Orin NX 16GB.

Sperimenta YOLO11 e NVIDIA Jetson Orin Nano Super

Se sei entusiasta di iniziare a implementare YOLO11 su Jetson Orin Nano Super, ci sono buone notizie: è un processo semplice. Dopo aver flashato il tuo dispositivo con l'SDK NVIDIA JetPack, puoi utilizzare un'immagine Docker pre-costruita per una configurazione rapida o installare manualmente i pacchetti necessari. 

Per coloro che cercano un'integrazione più rapida e fluida, il container Docker JetPack 6 aggiornato è la soluzione ideale. Un container Docker è un ambiente leggero e portatile che include tutti gli strumenti e le dipendenze necessari per eseguire software specifici. 

Il container Ultralytics, ottimizzato per JetPack 6.1, è precaricato con CUDA 12.6, TensorRT 10.3 e strumenti essenziali come PyTorch e TorchVision, tutti personalizzati per l'architettura ARM64 di Jetson. Utilizzando questo container, gli sviluppatori possono risparmiare tempo sulla configurazione e concentrarsi sulla creazione e l'ottimizzazione delle loro applicazioni Vision AI con YOLO11.

Applicazioni di YOLO11 su NVIDIA Jetson Orin Nano Super

Per coloro che cercano ispirazione per il loro prossimo progetto di IA, ci sono potenziali applicazioni di computer vision edge-based intorno a noi. 

Nella vita di tutti i giorni, l'edge AI sta ridefinendo gli spazi intelligenti consentendo ai sistemi di rilevare e tracciare oggetti in tempo reale, il tutto senza fare affidamento sull'elaborazione cloud. Che si tratti di monitorare il traffico in una città affollata o di identificare attività insolite in spazi pubblici, l'edge Vision AI sta aumentando la sicurezza e l'efficienza.

I rivenditori stanno anche sfruttando l'edge AI e la computer vision. Dai controlli automatizzati dell'inventario alla prevenzione dei furti, modelli come YOLO11 consentono alle aziende di implementare soluzioni in tempo reale direttamente nei negozi. 

Allo stesso modo, quando si tratta di IA nel settore sanitario, il monitoraggio edge garantisce la sicurezza del paziente, rileva anomalie e mantiene la conformità, il tutto senza i ritardi causati dalla dipendenza dal cloud. Con strumenti come Jetson Orin Nano Super e YOLO11, il futuro della Vision AI si sta sviluppando proprio all'edge, dove è più necessario.

Punti chiave

L'implementazione di modelli Ultralytics YOLO come YOLO11 sull'NVIDIA Jetson Orin Nano Super Developer Kit offre una soluzione affidabile ed efficiente per le applicazioni edge AI. Con prestazioni GPU robuste, supporto continuo per PyTorch, ONNX e TensorRT e benchmark impressionanti, è ideale per attività di computer vision in tempo reale come il rilevamento e il tracciamento di oggetti. 

Innovazioni e collaborazioni in tecnologie all'avanguardia come Vision AI e l'accelerazione hardware stanno trasformando il nostro modo di lavorare, consentendo agli sviluppatori di creare soluzioni scalabili e ad alte prestazioni sull'edge. Con il progresso dell'IA, strumenti come YOLO11 e il Jetson Orin Nano Super rendono più facile che mai dare vita a soluzioni intelligenti in tempo reale.

Siete curiosi di scoprire di più sull'IA? Visitate il nostro repository GitHub per esplorare i nostri contributi e interagire con la nostra community. Scoprite come stiamo utilizzando l'IA per avere un impatto in settori come l'agricoltura e la sanità.

Costruiamo insieme il futuro
dell'AI!

Inizia il tuo viaggio con il futuro del machine learning

Inizia gratis
Link copiato negli appunti