Distribuzione di applicazioni di visione artificiale su dispositivi Edge AI

Grazie ai recenti progressi nella computer vision e nell'intelligenza artificiale (AI), quello che un tempo era soltanto un campo di ricerca oggi sta alimentando applicazioni concrete in numerosi settori. Dalle auto a guida autonoma all'imaging medico e alla sicurezza, i sistemi di computer vision stanno risolvendo problemi reali su larga scala.

Molte di queste applicazioni richiedono l'analisi di immagini e video in tempo reale, e affidarsi al cloud computing non è sempre pratico a causa della latenza, dei costi e dei problemi di privacy. Edge AI è un'ottima soluzione in queste situazioni. Eseguendo i modelli di AI per la visione direttamente sui dispositivi edge, le aziende possono elaborare i dati più velocemente, a costi inferiori e con maggiore sicurezza, rendendo l'AI in tempo reale più accessibile.

Durante YOLO Vision 2024 (YV24), l'evento ibrido annuale organizzato da Ultralytics, uno dei temi centrali è stato rendere la vision AI più democratica, semplificando e rendendo più efficiente l'implementazione. Guy Dahan, Senior Solutions Architect presso NVIDIA, ha illustrato come le soluzioni hardware e software di NVIDIA, inclusi i dispositivi di edge computing, i server di inferenza, i framework di ottimizzazione e gli SDK per l'implementazione dell'AI, aiutino gli sviluppatori a ottimizzare l'AI all'edge.

In questo articolo analizzeremo i principali insegnamenti del keynote di Guy Dahan a YV24 e il modo in cui le più recenti innovazioni di NVIDIA stanno rendendo l'implementazione della vision AI più veloce e scalabile.

Che cos'è l'edge AI?#

Guy Dahan ha iniziato il suo intervento esprimendo il suo entusiasmo per la partecipazione virtuale a YV24 e il suo interesse per il pacchetto Python di Ultralytics e per i modelli YOLO di Ultralytics, affermando: "Uso Ultralytics dal giorno in cui è stato rilasciato. Ultralytics mi piace davvero: usavo YOLOv5 già prima, e sono un vero appassionato di questo pacchetto."

Ha quindi introdotto il concetto di Edge AI, spiegando che consiste nell'eseguire i calcoli di AI direttamente su dispositivi come telecamere, droni o macchinari industriali, invece di inviare i dati a server cloud remoti per l'elaborazione.

Invece di aspettare che immagini o video vengano caricati, analizzati e poi restituiti con i risultati, l'Edge AI consente di analizzare i dati istantaneamente direttamente sul dispositivo. Questo rende i sistemi di vision AI più veloci ed efficienti e meno dipendenti dalla connettività Internet. L'Edge AI è particolarmente utile per le applicazioni decisionali in tempo reale, come le auto a guida autonoma, le telecamere di sicurezza e le fabbriche intelligenti.

Principali vantaggi dell'edge AI#

Dopo aver introdotto l'Edge AI, Guy Dahan ne ha evidenziato i principali vantaggi, concentrandosi su efficienza, risparmio sui costi e sicurezza dei dati. Ha spiegato che uno dei vantaggi maggiori è la bassa latenza: poiché i modelli di AI elaborano i dati direttamente sul dispositivo, non è necessario inviare le informazioni al cloud e attendere una risposta.

L'Edge AI contribuisce anche a ridurre i costi e a proteggere i dati sensibili. Inviare grandi quantità di dati al cloud, soprattutto flussi video, può essere costoso. Tuttavia, elaborarli localmente riduce i costi di larghezza di banda e archiviazione.

Un altro vantaggio fondamentale è la privacy dei dati, perché le informazioni rimangono sul dispositivo invece di essere trasferite a un server esterno. Questo è particolarmente importante per le applicazioni nei settori sanitario, finanziario e della sicurezza, dove mantenere i dati locali e protetti è una priorità assoluta.

Fig. 1. Guy Dahan presenta da remoto a YV24 i vantaggi dell'edge AI.

Partendo da questi vantaggi, Guy Dahan ha commentato la crescente adozione dell'Edge AI. Ha osservato che, da quando NVIDIA ha introdotto Jetson nel 2014, l'utilizzo è aumentato di dieci volte. Oggi, oltre 1,2 milioni di sviluppatori lavorano con i dispositivi Jetson.

Panoramica di NVIDIA Jetson: un dispositivo edge AI#

Guy Dahan si è poi concentrato sui dispositivi NVIDIA Jetson, una famiglia di dispositivi di edge computing per l'AI progettati per offrire prestazioni elevate con un basso consumo energetico. I dispositivi Jetson sono ideali per applicazioni di computer vision in settori come la robotica, l'agricoltura, la sanità e l'automazione industriale. "I Jetson sono dispositivi Edge AI progettati specificamente per l'AI. Potrei persino aggiungere che in origine erano stati progettati soprattutto per la computer vision", ha aggiunto Guy Dahan.

I dispositivi Jetson sono disponibili in tre fasce, ciascuna adatta a esigenze diverse:

• Entry-level: questi dispositivi offrono prestazioni di AI da 20 a 40 trilioni di operazioni al secondo (TOPS) con un consumo energetico di 10-15 W, rappresentando una scelta conveniente per le applicazioni edge.
• Mainstream: bilancia prestazioni ed efficienza, offrendo da 70 a 200 TOPS con un consumo energetico di 20-40 W, ed è adatto ai carichi di lavoro di AI di fascia media.
• High-performance: offre fino a 275 TOPS con un consumo energetico di 60-75 W ed è progettato per applicazioni di AI impegnative, come la robotica e l'automazione.

Guy Dahan ha inoltre parlato dell'imminente Jetson AGX Thor, il cui lancio è previsto quest'anno, affermando che offrirà prestazioni della GPU (unità di elaborazione grafica) otto volte superiori, il doppio della capacità di memoria e prestazioni della CPU (unità di elaborazione centrale) migliorate. È progettato specificamente per la robotica umanoide e le applicazioni avanzate di Edge AI.

Sfide legate all'implementazione dei modelli di computer vision#

Guy Dahan ha poi spostato l'attenzione sul lato software dell'Edge AI, spiegando che anche con hardware potente l'implementazione efficiente dei modelli può essere complessa.

Uno dei principali ostacoli è la compatibilità, poiché gli sviluppatori di AI lavorano spesso con framework di AI diversi, come PyTorch e TensorFlow. Passare da un framework all'altro può essere difficile e richiede agli sviluppatori di ricreare gli ambienti per assicurarsi che tutto funzioni correttamente.

La scalabilità è un'altra sfida fondamentale. I modelli di AI richiedono una notevole potenza di calcolo e, come ha affermato Dahan, "Non è mai esistita un'azienda di AI che volesse meno potenza di calcolo." Estendere le applicazioni di AI a più dispositivi può diventare rapidamente costoso, rendendo essenziale l'ottimizzazione.

Inoltre, le pipeline di AI sono complesse e spesso coinvolgono diversi tipi di dati, elaborazione in tempo reale e integrazione dei sistemi. Gli sviluppatori dedicano molto impegno a garantire che i loro modelli interagiscano senza problemi con gli ecosistemi software esistenti. Superare queste sfide è fondamentale per rendere le implementazioni di AI più efficienti e scalabili.

Fig. 2. Sfide nell'implementazione dei modelli.

Semplificare l'implementazione con NVIDIA Triton Inference Server#

Guy Dahan ha quindi rivolto la sua attenzione a Triton Inference Server di NVIDIA. Ha osservato che molte aziende e startup iniziano a sviluppare l'AI senza ottimizzare completamente i propri modelli. Riprogettare un'intera pipeline di AI da zero può essere problematico e richiedere molto tempo, rendendo difficile una scalabilità efficiente.

Invece di richiedere una revisione completa del sistema, Triton consente agli sviluppatori di perfezionare e ottimizzare gradualmente i propri flussi di lavoro di AI, integrando componenti più efficienti senza compromettere la configurazione esistente. Grazie al supporto per diversi framework di AI, tra cui TensorFlow, PyTorch, ONNX e TensorRT, Triton permette un'implementazione fluida negli ambienti cloud, nei data center e sui dispositivi edge, con modifiche minime.

Fig. 3. Panoramica di Triton Inference Server di NVIDIA.

Ecco alcuni dei principali vantaggi di Triton Inference Server di NVIDIA:

• Batching automatico: Triton raggruppa più richieste di AI prima di elaborarle, riducendo i ritardi (latenza) e migliorando la velocità di inferenza (il tempo necessario a un modello di AI per generare i risultati).
• Integrazione con Kubernetes: Triton è cloud-native, ovvero funziona perfettamente con Kubernetes (un sistema che aiuta a gestire e scalare le applicazioni di AI su più computer o server cloud).
• Open source e personalizzabile: gli sviluppatori possono modificare Triton per adattarlo alle proprie esigenze specifiche, garantendo flessibilità per un'ampia gamma di applicazioni di AI.

Massimizzare le prestazioni dell'AI con NVIDIA TensorRT#

Se cerchi un'accelerazione ancora maggiore, NVIDIA TensorRT è un'opzione interessante per ottimizzare i tuoi modelli di AI. Guy Dahan ha spiegato che TensorRT è un ottimizzatore di deep learning ad alte prestazioni progettato per le GPU NVIDIA. I modelli di TensorFlow, PyTorch, ONNX e MXNet possono essere convertiti in file altamente efficienti ed eseguibili sulla GPU usando TensorRT.

Ciò che rende TensorRT così affidabile sono le sue ottimizzazioni specifiche per l'hardware. Un modello ottimizzato per i dispositivi Jetson non avrà prestazioni altrettanto efficienti su altre GPU, perché TensorRT ottimizza nei dettagli le prestazioni in base all'hardware di destinazione. Un modello di computer vision ottimizzato può aumentare la velocità di inferenza fino a 36 volte rispetto ai modelli non ottimizzati.

Guy Dahan ha inoltre richiamato l'attenzione sul supporto di Ultralytics per TensorRT, spiegando come renda l'implementazione dei modelli di AI più veloce ed efficiente. I modelli YOLO di Ultralytics possono essere esportati direttamente nel formato TensorRT, consentendo agli sviluppatori di ottimizzarli per le GPU NVIDIA senza dover apportare modifiche.

DeepStream 7.0: un toolkit per l'analisi dei flussi#

Concludendo l'intervento in modo positivo, Guy Dahan ha presentato DeepStream 7.0, un framework di AI progettato per l'elaborazione in tempo reale di video, audio e dati dei sensori usando le GPU NVIDIA. Progettato per supportare applicazioni di computer vision ad alta velocità, consente il rilevamento, il tracciamento e l'analisi degli oggetti nei sistemi autonomi, nella sicurezza, nell'automazione industriale e nelle città intelligenti. Eseguendo l'AI direttamente sui dispositivi edge, DeepStream elimina la dipendenza dal cloud, riducendo la latenza e migliorando l'efficienza.

Fig. 4. Esplorazione di DeepStream 7.0 a YV24 con Guy Dahan.

Nello specifico, DeepStream è in grado di gestire l'elaborazione video basata sull'AI dall'inizio alla fine. Supporta flussi di lavoro end-to-end, dalla decodifica e pre-elaborazione dei video all'inferenza AI e alla post-elaborazione.

Di recente, DeepStream ha introdotto diversi aggiornamenti per migliorare l'implementazione dell'AI, rendendola più accessibile e scalabile. I nuovi strumenti semplificano lo sviluppo, migliorano il tracciamento con più telecamere e ottimizzano le pipeline di AI per ottenere prestazioni migliori.

Gli sviluppatori dispongono ora di un supporto ampliato per gli ambienti Windows, di funzionalità avanzate di fusione dei sensori per integrare dati provenienti da più fonti e di applicazioni di riferimento predefinite per accelerare l'implementazione. Questi miglioramenti rendono DeepStream una soluzione più flessibile ed efficiente per le applicazioni di AI in tempo reale, aiutando gli sviluppatori a scalare con facilità l'analisi video intelligente.

Punti chiave#

Come illustrato nel keynote di Guy Dahan a YV24, l'Edge AI sta ridefinendo le applicazioni di computer vision. Grazie ai progressi nell'hardware e nel software, l'elaborazione in tempo reale sta diventando più veloce, efficiente ed economica.

Man mano che un numero crescente di settori adotta l'Edge AI, affrontare sfide come la frammentazione e la complessità dell'implementazione sarà fondamentale per sfruttarne appieno il potenziale. Adottare queste innovazioni favorirà applicazioni di AI più intelligenti e reattive, plasmando il futuro della computer vision.

Entra a far parte della nostra community in crescita! Esplora il nostro repository GitHub per saperne di più sull'AI e dai un'occhiata alle nostre opzioni di licenza per dare il via ai tuoi progetti di vision AI. Ti interessano innovazioni come l'AI nella sanità e la computer vision nella produzione? Visita le nostre pagine dedicate alle soluzioni per saperne di più!