Implementazione di applicazioni di computer vision su dispositivi Edge AI

Grazie ai recenti progressi nella computer vision e nell'intelligenza artificiale (AI), quello che un tempo era solo un campo di ricerca sta ora guidando applicazioni di grande impatto in vari settori. Dalle auto a guida autonoma all'imaging medico e alla sicurezza, i sistemi di computer vision stanno risolvendo problemi reali su larga scala.

Molte di queste applicazioni comportano l'analisi di immagini e video in tempo reale, e affidarsi al cloud computing non è sempre pratico a causa di latenza, costi e problemi di privacy. L'Edge AI è un'ottima soluzione in queste situazioni. Eseguendo i modelli di visione artificiale direttamente sui dispositivi edge, le aziende possono elaborare i dati in modo più rapido, economico e sicuro, rendendo l'AI in tempo reale più accessibile.

Durante il YOLO Vision 2024 (YV24), l'evento ibrido annuale organizzato da Ultralytics, uno dei temi centrali è stato la democratizzazione della vision AI rendendo il deployment più semplice ed efficiente. Guy Dahan, Senior Solutions Architect di NVIDIA, ha discusso di come le soluzioni hardware e software di NVIDIA, inclusi dispositivi di edge computing, server di inferenza, framework di ottimizzazione e SDK di deployment per l'AI, stiano aiutando gli sviluppatori a ottimizzare l'AI all'edge.

In questo articolo esploreremo i punti chiave del keynote di Guy Dahan allo YV24 e vedremo come le ultime innovazioni di NVIDIA stiano rendendo la distribuzione della vision AI più veloce e scalabile.

Cos'è l'Edge AI?#

Guy Dahan ha iniziato il suo intervento esprimendo il suo entusiasmo per la partecipazione virtuale a YV24 e il suo interesse per il pacchetto Python di Ultralytics e per i modelli YOLO di Ultralytics, dicendo: "Uso Ultralytics dal giorno in cui è uscito. Mi piace molto Ultralytics: usavo YOLOv5 ancor prima, e sono un vero appassionato di questo pacchetto."

Successivamente, ha introdotto il concetto di Edge AI, spiegando che consiste nell'eseguire i calcoli AI direttamente su dispositivi come telecamere, droni o macchine industriali, anziché inviare i dati a server cloud remoti per l'elaborazione.

Invece di aspettare che le immagini o i video vengano caricati, analizzati e poi restituiti con i risultati, l'Edge AI permette di analizzare i dati istantaneamente sul dispositivo stesso. Questo rende i sistemi di vision AI più veloci, più efficienti e meno dipendenti dalla connessione internet. L'Edge AI è particolarmente utile per applicazioni che richiedono decisioni in tempo reale, come auto a guida autonoma, telecamere di sicurezza e fabbriche intelligenti.

Principali vantaggi dell'Edge AI#

Dopo aver introdotto l'Edge AI, Guy Dahan ha evidenziato i suoi vantaggi principali, concentrandosi sull'efficienza, sul risparmio economico e sulla sicurezza dei dati. Ha spiegato che uno dei benefici maggiori è la bassa latenza: poiché i modelli AI elaborano i dati direttamente sul dispositivo, non c'è bisogno di inviare informazioni al cloud e attendere una risposta.

L'Edge AI aiuta anche a ridurre i costi e a proteggere i dati sensibili. Inviare grandi quantità di dati al cloud, specialmente flussi video, può essere costoso. Tuttavia, l'elaborazione locale riduce i costi di banda e di archiviazione.

Un altro vantaggio chiave è la privacy dei dati perché le informazioni rimangono sul dispositivo anziché essere trasferite a un server esterno. Questo è particolarmente importante per le applicazioni in ambito sanitario, finanziario e della sicurezza, dove mantenere i dati locali e sicuri è una priorità assoluta.

Fig 1. Guy Dahan mentre presenta da remoto allo YV24 sui vantaggi dell'Edge AI.

Basandosi su questi vantaggi, Guy Dahan ha commentato la crescente adozione dell'Edge AI. Ha notato che, da quando NVIDIA ha introdotto Jetson nel 2014, l'utilizzo è aumentato di dieci volte. Oggi, oltre 1,2 milioni di sviluppatori lavorano con i dispositivi Jetson.

Una panoramica di NVIDIA Jetson: un dispositivo di Edge AI#

Guy Dahan si è poi concentrato sui dispositivi NVIDIA Jetson, una famiglia di dispositivi di edge computing per l'AI progettati per offrire alte prestazioni con un basso consumo energetico. I dispositivi Jetson sono ideali per applicazioni di computer vision in settori come robotica, agricoltura, sanità e automazione industriale. "I Jetson sono dispositivi Edge AI creati specificamente per l'AI. Aggiungerei persino che originariamente erano progettati principalmente per la computer vision", ha aggiunto Guy Dahan.

I dispositivi Jetson sono disponibili in tre fasce, ciascuna adatta a esigenze diverse:

• Entry-level: Questi dispositivi offrono prestazioni AI da 20 a 40 Trillion Operations Per Second (TOPS) con un consumo energetico di 10 - 15W, rendendoli una scelta conveniente per le applicazioni edge.
• Mainstream: Bilancia prestazioni ed efficienza, offrendo da 70 a 200 TOPS con un consumo energetico di 20 - 40W, adatto a carichi di lavoro AI di fascia media.
• High-performance: Offre fino a 275 TOPS con un consumo energetico di 60 - 75W, progettato per applicazioni AI esigenti come la robotica e l'automazione.

Inoltre, Guy Dahan ha parlato dell'imminente Jetson AGX Thor, in uscita quest'anno, dicendo che offrirà otto volte le prestazioni della GPU (Graphics Processing Unit), il doppio della capacità di memoria e prestazioni migliori della CPU (Central Processing Unit). È progettato specificamente per la robotica umanoide e le applicazioni avanzate di Edge AI.

Sfide legate alla distribuzione di modelli di computer vision#

Guy Dahan è poi passato a discutere il lato software dell'Edge AI, spiegando che, anche con un hardware potente, distribuire i modelli in modo efficiente può essere una sfida.

Uno dei maggiori ostacoli è la compatibilità, poiché gli sviluppatori di AI lavorano spesso con diversi framework di AI come PyTorch e TensorFlow. Passare da un framework all'altro può essere difficile e richiede agli sviluppatori di ricreare gli ambienti per assicurarsi che tutto funzioni correttamente.

La scalabilità è un'altra sfida fondamentale. I modelli AI richiedono una potenza di calcolo significativa e, come ha detto Dahan: "Non è mai esistita un'azienda di AI che desiderasse meno potenza di calcolo". Espandere le applicazioni AI su più dispositivi può diventare rapidamente costoso, rendendo l'ottimizzazione essenziale.

Inoltre, le pipeline di AI sono complesse e spesso coinvolgono diversi tipi di dati, elaborazione in tempo reale e integrazione di sistemi. Gli sviluppatori profondono un grande sforzo per garantire che i loro modelli interagiscano senza problemi con gli ecosistemi software esistenti. Superare queste sfide è una parte cruciale per rendere i deployments dell'AI più efficienti e scalabili.

Fig 2. Sfide nella distribuzione di modelli.

Semplificare la distribuzione con NVIDIA Triton Inference Server#

Successivamente, Guy Dahan ha rivolto la sua attenzione al Triton Inference Server di NVIDIA. Ha evidenziato che molte aziende e startup iniziano lo sviluppo dell'AI senza ottimizzare appieno i propri modelli. Riprogettare un'intera pipeline di AI da zero può essere dirompente e richiedere molto tempo, rendendo difficile la scalabilità efficiente.

Invece di richiedere una revisione completa del sistema, Triton consente agli sviluppatori di perfezionare e ottimizzare gradualmente i propri flussi di lavoro AI, integrando componenti più efficienti senza interrompere la configurazione esistente. Con il supporto per molteplici framework AI, inclusi TensorFlow, PyTorch, ONNX e TensorRT, Triton permette una distribuzione fluida su ambienti cloud, data center e dispositivi edge con modifiche minime.

Fig 3. Una panoramica di NVIDIA Triton Inference Server.

Ecco alcuni dei vantaggi principali di NVIDIA Triton Inference Server:

• Batch automatico: Triton raggruppa più richieste AI prima di elaborarle, riducendo i ritardi (latenza) e migliorando la velocità di inferenza (il tempo necessario affinché un modello AI generi risultati).
• Integrazione con Kubernetes: Triton è cloud-native, il che significa che funziona perfettamente con Kubernetes (un sistema che aiuta a gestire e scalare le applicazioni AI su più computer o server cloud).
• Open-source e personalizzabile: Gli sviluppatori possono modificare Triton per adattarlo alle loro esigenze specifiche, garantendo flessibilità per un'ampia gamma di applicazioni AI.

Massimizzare le prestazioni dell'AI utilizzando NVIDIA TensorRT#

Supponiamo che tu stia cercando un'accelerazione ancora maggiore; NVIDIA TensorRT è un'opzione interessante per ottimizzare i tuoi modelli di AI. Guy Dahan ha spiegato nel dettaglio che TensorRT è un ottimizzatore di deep learning ad alte prestazioni costruito per le GPU NVIDIA. I modelli di TensorFlow, PyTorch, ONNX e MXNet possono essere convertiti in file eseguibili su GPU altamente efficienti utilizzando TensorRT.

Ciò che rende TensorRT così affidabile sono le sue ottimizzazioni specifiche per l'hardware. Un modello ottimizzato per i dispositivi Jetson non funzionerà con la stessa efficienza su altre GPU perché TensorRT perfeziona le prestazioni in base all'hardware di destinazione. Un modello di computer vision ottimizzato può portare a un aumento della velocità di inferenza fino a 36 volte rispetto ai modelli non ottimizzati.

Guy Dahan ha anche richiamato l'attenzione sul supporto di Ultralytics per TensorRT, parlando di come renda il deployment dei modelli di AI più rapido ed efficiente. I modelli YOLO di Ultralytics possono essere esportati direttamente nel formato TensorRT, consentendo agli sviluppatori di ottimizzarli per le GPU NVIDIA senza dover apportare alcuna modifica.

DeepStream 7.0: un toolkit per l'analisi in streaming#

Concludendo il discorso con una nota positiva, Guy Dahan ha presentato DeepStream 7.0, un framework di AI progettato per l'elaborazione in tempo reale di video, audio e dati di sensori utilizzando le GPU NVIDIA. Progettato per supportare applicazioni di computer vision ad alta velocità, consente il rilevamento, il tracciamento e l'analisi degli oggetti in sistemi autonomi, sicurezza, automazione industriale e smart cities. Eseguendo l'AI direttamente sui dispositivi edge, DeepStream elimina la dipendenza dal cloud, riducendo la latenza e migliorando l'efficienza.

Fig 4. Alla scoperta di DeepStream 7.0 allo YV24 con Guy Dahan.

Nello specifico, DeepStream può gestire l'elaborazione video basata su AI dall'inizio alla fine. Supporta flussi di lavoro end-to-end, dalla decodifica video e pre-elaborazione fino all'inferenza AI e alla post-elaborazione.

Recentemente, DeepStream ha introdotto diversi aggiornamenti per migliorare la distribuzione dell'AI, rendendola più accessibile e scalabile. Nuovi strumenti semplificano lo sviluppo, migliorano il tracking multi-camera e ottimizzano le pipeline AI per prestazioni migliori.

Gli sviluppatori ora godono di un supporto esteso per gli ambienti Windows, funzionalità migliorate di fusione dei sensori per integrare dati da più fonti e l'accesso ad applicazioni di riferimento pre-costruite per accelerare la distribuzione. Questi miglioramenti rendono DeepStream una soluzione più flessibile ed efficiente per le applicazioni AI in tempo reale, aiutando gli sviluppatori a scalare facilmente l'analisi video intelligente.

Punti chiave#

Come illustrato nel keynote di Guy Dahan allo YV24, l'Edge AI sta ridefinendo le applicazioni di computer vision. Con i progressi nell'hardware e nel software, l'elaborazione in tempo reale sta diventando più veloce, efficiente ed economica.

Man mano che più settori adottano l'Edge AI, affrontare sfide come la frammentazione e la complessità di distribuzione sarà fondamentale per sbloccare il suo pieno potenziale. Accogliere queste innovazioni guiderà applicazioni AI più intelligenti e reattive, plasmando il futuro della computer vision.

Entra a far parte della nostra community in crescita! Esplora il nostro repository GitHub per saperne di più sull'AI e dai un'occhiata alle nostre opzioni di licenza per dare il via ai tuoi progetti di visione artificiale. Curioso riguardo a innovazioni come l'AI in ambito sanitario e la computer vision nella produzione? Visita le nostre pagine delle soluzioni per saperne di più!