Implementazione di applicazioni di computer vision su dispositivi Edge AI

Grazie ai recenti progressi nella computer vision e nell'intelligenza artificiale (AI), quello che un tempo era solo un campo di ricerca ora guida applicazioni di grande impatto in svariati settori. Dalle auto a guida autonoma all'imaging medico e alla sicurezza, i sistemi di computer vision stanno risolvendo problemi reali su larga scala.

Molte di queste applicazioni richiedono l'analisi di immagini e video in tempo reale e fare affidamento sul cloud computing non è sempre pratico a causa della latenza, dei costi e delle preoccupazioni sulla privacy. L'Edge AI è un'ottima soluzione in queste situazioni. Eseguendo i modelli di vision AI direttamente sui dispositivi edge, le aziende possono elaborare i dati in modo più rapido, economico e con una maggiore sicurezza, rendendo l'AI in tempo reale più accessibile.

Durante lo YOLO Vision 2024 (YV24), l'evento ibrido annuale ospitato da Ultralytics, uno dei temi centrali è stato la democratizzazione della vision AI rendendo la distribuzione più intuitiva ed efficiente. Guy Dahan, Senior Solutions Architect presso NVIDIA, ha discusso di come le soluzioni hardware e software di NVIDIA, inclusi i dispositivi di edge computing, i server di inferenza, i framework di ottimizzazione e gli SDK per la distribuzione di AI, stiano aiutando gli sviluppatori a ottimizzare l'AI all'edge.

In questo articolo esploreremo i punti chiave del keynote di Guy Dahan allo YV24 e vedremo come le ultime innovazioni di NVIDIA stiano rendendo la distribuzione della vision AI più veloce e scalabile.

Link to this sectionCos'è l'Edge AI?#

Guy Dahan ha iniziato il suo intervento esprimendo entusiasmo per aver partecipato virtualmente allo YV24 e interesse per il pacchetto Python di Ultralytics e i modelli YOLO di Ultralytics, dicendo: "Uso Ultralytics dal giorno in cui è uscito. Mi piace molto Ultralytics: usavo YOLOv5 già da prima e sono un vero appassionato di questo pacchetto."

Successivamente, ha introdotto il concetto di Edge AI, spiegando che consiste nell'eseguire i calcoli AI direttamente su dispositivi come telecamere, droni o macchine industriali, anziché inviare i dati a server cloud remoti per l'elaborazione.

Invece di aspettare che le immagini o i video vengano caricati, analizzati e poi restituiti con i risultati, l'Edge AI permette di analizzare i dati istantaneamente sul dispositivo stesso. Questo rende i sistemi di vision AI più veloci, più efficienti e meno dipendenti dalla connessione internet. L'Edge AI è particolarmente utile per applicazioni che richiedono decisioni in tempo reale, come auto a guida autonoma, telecamere di sicurezza e fabbriche intelligenti.

Link to this sectionPrincipali vantaggi dell'Edge AI#

Dopo aver introdotto l'Edge AI, Guy Dahan ha evidenziato i suoi vantaggi principali, concentrandosi sull'efficienza, sul risparmio economico e sulla sicurezza dei dati. Ha spiegato che uno dei benefici maggiori è la bassa latenza: poiché i modelli AI elaborano i dati direttamente sul dispositivo, non c'è bisogno di inviare informazioni al cloud e attendere una risposta.

L'Edge AI aiuta anche a ridurre i costi e a proteggere i dati sensibili. Inviare grandi quantità di dati al cloud, specialmente flussi video, può essere costoso. Tuttavia, l'elaborazione locale riduce i costi di banda e di archiviazione.

Un altro vantaggio fondamentale è la data privacy, poiché le informazioni rimangono sul dispositivo invece di essere trasferite su un server esterno. Questo è particolarmente importante per le applicazioni in ambito sanitario, finanziario e di sicurezza, dove mantenere i dati locali e sicuri è una priorità assoluta.

Fig 1. Guy Dahan mentre presenta da remoto allo YV24 sui vantaggi dell'Edge AI.

Basandosi su questi vantaggi, Guy Dahan ha commentato la crescente adozione dell'Edge AI. Ha notato che, da quando NVIDIA ha introdotto Jetson nel 2014, l'utilizzo è aumentato di dieci volte. Oggi, oltre 1,2 milioni di sviluppatori lavorano con i dispositivi Jetson.

Link to this sectionUna panoramica di NVIDIA Jetson: un dispositivo di Edge AI#

Guy Dahan si è poi concentrato sui dispositivi NVIDIA Jetson, una famiglia di dispositivi di edge computing per l'AI progettata per offrire prestazioni elevate con un basso consumo energetico. I dispositivi Jetson sono ideali per applicazioni di computer vision in settori come la robotica, l'agricoltura, la sanità e l'automazione industriale. "I Jetson sono dispositivi Edge AI creati su misura per l'AI. Aggiungerei che originariamente erano progettati principalmente per la computer vision", ha aggiunto Guy Dahan.

I dispositivi Jetson sono disponibili in tre fasce, ciascuna adatta a esigenze diverse:

• Entry-level: Questi dispositivi offrono prestazioni AI da 20 a 40 Trillion Operations Per Second (TOPS) con un consumo energetico di 10 - 15W, rendendoli una scelta conveniente per le applicazioni edge.
• Mainstream: Bilancia prestazioni ed efficienza, offrendo da 70 a 200 TOPS con un consumo energetico di 20 - 40W, adatto a carichi di lavoro AI di fascia media.
• High-performance: Offre fino a 275 TOPS con un consumo energetico di 60 - 75W, progettato per applicazioni AI esigenti come la robotica e l'automazione.

Inoltre, Guy Dahan ha parlato dell'imminente Jetson AGX Thor, in uscita quest'anno, dicendo che offrirà otto volte le prestazioni della GPU (Graphics Processing Unit), il doppio della capacità di memoria e prestazioni migliori della CPU (Central Processing Unit). È progettato specificamente per la robotica umanoide e le applicazioni avanzate di Edge AI.

Link to this sectionSfide legate alla distribuzione di modelli di computer vision#

Guy Dahan è poi passato a discutere il lato software dell'Edge AI, spiegando che, anche con un hardware potente, distribuire i modelli in modo efficiente può essere una sfida.

Uno degli ostacoli maggiori è la compatibilità, dato che gli sviluppatori AI lavorano spesso con diversi AI frameworks come PyTorch e TensorFlow. Passare da un framework all'altro può essere difficile e richiedere agli sviluppatori di ricreare gli ambienti per garantire che tutto funzioni correttamente.

La scalabilità è un'altra sfida fondamentale. I modelli AI richiedono una potenza di calcolo significativa e, come ha detto Dahan: "Non è mai esistita un'azienda di AI che desiderasse meno potenza di calcolo". Espandere le applicazioni AI su più dispositivi può diventare rapidamente costoso, rendendo l'ottimizzazione essenziale.

Inoltre, le pipeline AI sono complesse e spesso coinvolgono diversi tipi di dati, elaborazione in tempo reale e integrazione di sistema. Gli sviluppatori dedicano molto impegno per assicurarsi che i loro modelli interagiscano senza problemi con gli ecosistemi software esistenti. Superare queste sfide è una parte cruciale per rendere le distribuzioni di AI più efficienti e scalabili.

Fig 2. Sfide nella distribuzione di modelli.

Link to this sectionSemplificare la distribuzione con NVIDIA Triton Inference Server#

Successivamente, Guy Dahan ha rivolto la sua attenzione a Triton Inference Server di NVIDIA. Ha sottolineato che molte aziende e startup iniziano lo sviluppo dell'AI senza ottimizzare appieno i propri modelli. Riprogettare un'intera pipeline AI da zero può essere destabilizzante e richiedere molto tempo, rendendo difficile scalare in modo efficiente.

Invece di richiedere una revisione completa del sistema, Triton consente agli sviluppatori di perfezionare e ottimizzare gradualmente i propri flussi di lavoro AI, integrando componenti più efficienti senza interrompere la configurazione esistente. Con il supporto per molteplici framework AI, inclusi TensorFlow, PyTorch, ONNX e TensorRT, Triton permette una distribuzione fluida su ambienti cloud, data center e dispositivi edge con modifiche minime.

Fig 3. Una panoramica di NVIDIA Triton Inference Server.

Ecco alcuni dei vantaggi principali di NVIDIA Triton Inference Server:

• Batch automatico: Triton raggruppa più richieste AI prima di elaborarle, riducendo i ritardi (latenza) e migliorando la velocità di inferenza (il tempo necessario affinché un modello AI generi risultati).
• Integrazione con Kubernetes: Triton è cloud-native, il che significa che funziona perfettamente con Kubernetes (un sistema che aiuta a gestire e scalare le applicazioni AI su più computer o server cloud).
• Open-source e personalizzabile: Gli sviluppatori possono modificare Triton per adattarlo alle loro esigenze specifiche, garantendo flessibilità per un'ampia gamma di applicazioni AI.

Link to this sectionMassimizzare le prestazioni dell'AI utilizzando NVIDIA TensorRT#

Supponiamo che tu stia cercando un'accelerazione ancora maggiore; NVIDIA TensorRT è un'opzione interessante per ottimizzare i tuoi modelli AI. Guy Dahan ha spiegato che TensorRT è un ottimizzatore di deep learning ad alte prestazioni costruito per le GPU NVIDIA. I modelli provenienti da TensorFlow, PyTorch, ONNX e MXNet possono essere convertiti in file altamente efficienti eseguibili su GPU usando TensorRT.

Ciò che rende TensorRT così affidabile sono le sue ottimizzazioni specifiche per l'hardware. Un modello ottimizzato per i dispositivi Jetson non funzionerà con la stessa efficienza su altre GPU perché TensorRT perfeziona le prestazioni in base all'hardware di destinazione. Un modello di computer vision ottimizzato può portare a un aumento della velocità di inferenza fino a 36 volte rispetto ai modelli non ottimizzati.

Guy Dahan ha anche richiamato l'attenzione sul supporto di Ultralytics per TensorRT, parlando di come renda la distribuzione dei modelli AI più veloce ed efficiente. I modelli YOLO di Ultralytics possono essere esportati direttamente nel formato TensorRT, consentendo agli sviluppatori di ottimizzarli per le GPU NVIDIA senza dover apportare modifiche.

Link to this sectionDeepStream 7.0: un toolkit per l'analisi in streaming#

Concludendo il discorso con una nota positiva, Guy Dahan ha presentato DeepStream 7.0, un framework AI progettato per l'elaborazione in tempo reale di video, audio e dati dei sensori utilizzando GPU NVIDIA. Costruito per supportare applicazioni di computer vision ad alta velocità, abilita il rilevamento di oggetti, il tracking e l'analisi per sistemi autonomi, sicurezza, automazione industriale e smart cities. Eseguendo l'AI direttamente sui dispositivi edge, DeepStream elimina la dipendenza dal cloud, riducendo la latenza e migliorando l'efficienza.

Fig 4. Alla scoperta di DeepStream 7.0 allo YV24 con Guy Dahan.

Nello specifico, DeepStream può gestire l'elaborazione video basata su AI dall'inizio alla fine. Supporta flussi di lavoro end-to-end, dalla decodifica video e pre-elaborazione fino all'inferenza AI e alla post-elaborazione.

Recentemente, DeepStream ha introdotto diversi aggiornamenti per migliorare la distribuzione dell'AI, rendendola più accessibile e scalabile. Nuovi strumenti semplificano lo sviluppo, migliorano il tracking multi-camera e ottimizzano le pipeline AI per prestazioni migliori.

Gli sviluppatori ora godono di un supporto esteso per gli ambienti Windows, funzionalità migliorate di fusione dei sensori per integrare dati da più fonti e l'accesso ad applicazioni di riferimento pre-costruite per accelerare la distribuzione. Questi miglioramenti rendono DeepStream una soluzione più flessibile ed efficiente per le applicazioni AI in tempo reale, aiutando gli sviluppatori a scalare facilmente l'analisi video intelligente.

Link to this sectionPunti chiave#

Come illustrato nel keynote di Guy Dahan allo YV24, l'Edge AI sta ridefinendo le applicazioni di computer vision. Con i progressi nell'hardware e nel software, l'elaborazione in tempo reale sta diventando più veloce, efficiente ed economica.

Man mano che più settori adottano l'Edge AI, affrontare sfide come la frammentazione e la complessità di distribuzione sarà fondamentale per sbloccare il suo pieno potenziale. Accogliere queste innovazioni guiderà applicazioni AI più intelligenti e reattive, plasmando il futuro della computer vision.

Entra a far parte della nostra community in crescita! Esplora il nostro repository GitHub per saperne di più sull'AI e dai un'occhiata alle nostre opzioni di licenza per avviare i tuoi progetti di vision AI. Sei curioso di scoprire innovazioni come l'AI nella sanità e la computer vision nella produzione? Visita le nostre pagine sulle soluzioni per saperne di più!