Distribuire applicazioni di visione artificiale su dispositivi edge AI

Grazie ai recenti progressi della visione artificiale e dell’intelligenza artificiale (AI), quello che un tempo era solo un campo di ricerca oggi alimenta applicazioni concrete in numerosi settori. Dalle auto a guida autonoma all’imaging medico e alla sicurezza, i sistemi di visione artificiale risolvono problemi reali su larga scala.

Molte di queste applicazioni richiedono l’analisi in tempo reale di immagini e video, e affidarsi al cloud non è sempre pratico a causa della latenza, dei costi e dei problemi di privacy. In questi casi, l’IA edge è un’ottima soluzione. Eseguendo i modelli di visione artificiale direttamente sui dispositivi edge, le aziende possono elaborare i dati più rapidamente, a costi inferiori e con maggiore sicurezza, rendendo l’IA in tempo reale più accessibile.

Durante YOLO Vision 2024 (YV24), l’evento ibrido annuale organizzato da Ultralytics, uno dei temi centrali è stato rendere la visione artificiale basata sull’IA accessibile a tutti, grazie a una distribuzione più intuitiva ed efficiente. Guy Dahan, Senior Solutions Architect di NVIDIA, ha spiegato come le soluzioni hardware e software di NVIDIA, inclusi dispositivi di edge computing, server di inferenza, framework di ottimizzazione e SDK per la distribuzione dell’IA, aiutino gli sviluppatori a ottimizzare l’IA edge.

In questo articolo analizzeremo i punti principali dell’intervento di Guy Dahan a YV24 e vedremo come le ultime innovazioni di NVIDIA stiano rendendo la distribuzione della visione artificiale basata sull’IA più rapida e scalabile.

Che cos’è l’IA edge?#

Guy Dahan ha iniziato il suo intervento esprimendo entusiasmo per la partecipazione virtuale a YV24 e interesse per il pacchetto Python di Ultralytics e i modelli YOLO, affermando: «Uso Ultralytics dal giorno della sua uscita. Mi piace molto Ultralytics: usavo YOLOv5 anche prima e sono un vero appassionato di questo pacchetto».

Ha poi introdotto il concetto di IA edge, spiegando che consiste nell’eseguire i calcoli dell’IA direttamente su dispositivi come telecamere, droni o macchine industriali, anziché inviare i dati a server cloud remoti per l’elaborazione.

Invece di attendere che immagini o video vengano caricati, analizzati e poi restituiti con i risultati, l’IA edge permette di analizzare i dati istantaneamente sul dispositivo stesso. Questo rende i sistemi di visione artificiale basati sull’IA più rapidi ed efficienti e meno dipendenti dalla connessione Internet. L’IA edge è particolarmente utile per le applicazioni che richiedono decisioni in tempo reale, come le auto a guida autonoma, le telecamere di sicurezza e le fabbriche intelligenti.

Vantaggi principali dell’IA edge#

Dopo aver introdotto l’IA edge, Guy Dahan ne ha illustrato i principali vantaggi, concentrandosi su efficienza, risparmio sui costi e sicurezza dei dati. Ha spiegato che uno dei vantaggi più importanti è la bassa latenza: poiché i modelli di IA elaborano i dati direttamente sul dispositivo, non serve inviare informazioni al cloud e attendere una risposta.

L’IA edge contribuisce anche a ridurre i costi e a proteggere i dati sensibili. Inviare grandi quantità di dati al cloud, soprattutto flussi video, può essere costoso. Tuttavia, l’elaborazione locale riduce i costi di larghezza di banda e archiviazione.

Un altro vantaggio importante è la privacy dei dati, perché le informazioni rimangono sul dispositivo invece di essere trasferite a un server esterno. Questo è particolarmente importante per le applicazioni sanitarie, finanziarie e di sicurezza, in cui mantenere i dati locali e protetti è una priorità assoluta.

Fig. 1. Guy Dahan parla da remoto a YV24 dei vantaggi dell’IA edge.

Riprendendo questi vantaggi, Guy Dahan ha commentato la crescente diffusione dell’IA edge. Ha osservato che, da quando NVIDIA ha introdotto Jetson nel 2014, il suo utilizzo è aumentato di dieci volte. Oggi oltre 1,2 milioni di sviluppatori lavorano con i dispositivi Jetson.

Panoramica di NVIDIA Jetson: un dispositivo per l’IA edge#

Guy Dahan si è poi concentrato sui dispositivi NVIDIA Jetson, una famiglia di dispositivi di edge computing per l’IA progettati per offrire prestazioni elevate con un basso consumo energetico. I dispositivi Jetson sono ideali per applicazioni di visione artificiale in settori come la robotica, l’agricoltura, la sanità e l’automazione industriale. «I Jetson sono dispositivi per l’IA edge progettati appositamente per l’IA. Potrei persino aggiungere che inizialmente erano stati pensati soprattutto per la visione artificiale», ha aggiunto Guy Dahan.

I dispositivi Jetson sono disponibili in tre fasce, ciascuna adatta a esigenze diverse:

• Fascia d'ingresso: questi dispositivi offrono prestazioni di IA da 20 a 40 trilioni di operazioni al secondo (TOPS) con un consumo energetico di 10-15 W, rappresentando una scelta accessibile per le applicazioni edge.
• Fascia intermedia: offre un equilibrio tra prestazioni ed efficienza, con 70–200 TOPS e un consumo energetico di 20–40 W, ideale per carichi di lavoro AI di fascia media.
• Alte prestazioni: offre fino a 275 TOPS con un consumo energetico di 60–75 W, ed è progettato per applicazioni AI complesse come la robotica e l'automazione.

Inoltre, Guy Dahan ha parlato del prossimo Jetson AGX Thor, il cui lancio è previsto quest'anno, e ha affermato che offrirà prestazioni GPU (unità di elaborazione grafica) otto volte superiori, il doppio della capacità di memoria e prestazioni CPU (unità centrale di elaborazione) migliorate. È progettato specificamente per la robotica umanoide e le applicazioni avanzate di Edge AI.

Le sfide legate alla distribuzione dei modelli di computer vision#

Guy Dahan è poi passato a parlare del lato software dell'Edge AI e ha spiegato che, anche con hardware potente, distribuire i modelli in modo efficiente può essere difficile.

Uno dei maggiori ostacoli è la compatibilità, perché chi sviluppa sistemi AI spesso lavora con diversi framework AI, come PyTorch e TensorFlow. Passare da un framework all'altro può essere difficile e richiedere la ricreazione degli ambienti per assicurarsi che tutto funzioni correttamente.

La scalabilità è un'altra sfida fondamentale. I modelli AI richiedono una notevole potenza di calcolo e, come ha affermato Dahan, "Non c'è mai stata un'azienda AI che volesse meno capacità di calcolo". Estendere le applicazioni AI a più dispositivi può diventare rapidamente costoso, rendendo essenziale l'ottimizzazione.

Inoltre, le pipeline di IA sono complesse e spesso coinvolgono diversi tipi di dati, elaborazione in tempo reale e integrazione dei sistemi. Gli sviluppatori dedicano molto impegno a garantire che i loro modelli funzionino senza problemi con gli ecosistemi software esistenti. Superare queste sfide è fondamentale per rendere le implementazioni di IA più efficienti e scalabili.

Fig. 2. Sfide nella distribuzione dei modelli.

Semplificare la distribuzione con NVIDIA Triton Inference Server#

Successivamente, Guy Dahan ha concentrato l'attenzione su Triton Inference Server di NVIDIA. Ha sottolineato che molte aziende e startup avviano lo sviluppo di sistemi AI senza ottimizzare completamente i modelli. Riprogettare da zero un'intera pipeline AI può essere destabilizzante e richiedere molto tempo, rendendo difficile scalare in modo efficiente.

Invece di richiedere una revisione completa del sistema, Triton permette agli sviluppatori di perfezionare e ottimizzare gradualmente i flussi di lavoro di IA, integrando componenti più efficienti senza compromettere la configurazione esistente. Supportando più framework di IA, tra cui TensorFlow, PyTorch, ONNX e TensorRT, Triton consente la distribuzione in ambienti cloud, data center e dispositivi edge con modifiche minime.

Fig. 3. Panoramica di Triton Inference Server di NVIDIA.

Ecco alcuni dei principali vantaggi di Triton Inference Server di NVIDIA:

• Batching automatico: Triton raggruppa più richieste di IA prima di elaborarle, migliorando il throughput e l'utilizzo della GPU.
• Integrazione con Kubernetes: Triton è nativo per il cloud, cioè si integra con Kubernetes (un sistema che aiuta a gestire e scalare le applicazioni di IA su più computer o server cloud).
• Open source e personalizzabile: gli sviluppatori possono modificare Triton in base alle proprie esigenze specifiche, garantendo flessibilità per un'ampia gamma di applicazioni AI.

Massimizzare le prestazioni AI con NVIDIA TensorRT#

Se cerchi un'accelerazione ancora maggiore, NVIDIA TensorRT è un'interessante soluzione per ottimizzare i tuoi modelli AI. Guy Dahan ha spiegato che TensorRT è un ottimizzatore di deep learning ad alte prestazioni, progettato per le GPU NVIDIA. Con TensorRT è possibile convertire modelli TensorFlow, PyTorch, ONNX e MXNet in file altamente efficienti, eseguibili sulle GPU.

L'affidabilità di TensorRT deriva dalle sue ottimizzazioni specifiche per l'hardware. Un modello ottimizzato per i dispositivi Jetson non funzionerà altrettanto bene su altre GPU, perché TensorRT perfeziona le prestazioni in base all'hardware di destinazione. Secondo NVIDIA, TensorRT può accelerare l'inferenza fino a 36 volte rispetto alle piattaforme basate solo su CPU.

Guy Dahan ha inoltre sottolineato il supporto di Ultralytics per TensorRT, spiegando come permetta di distribuire i modelli di IA in modo più rapido ed efficiente. I modelli Ultralytics YOLO possono essere esportati direttamente nel formato TensorRT, consentendo agli sviluppatori di ottimizzarli per le GPU NVIDIA senza apportare modifiche.

DeepStream 7.0: un toolkit per l'analisi dei flussi multimediali#

Concludendo l'intervento in modo incisivo, Guy Dahan ha presentato DeepStream 7.0, un framework AI progettato per elaborare in tempo reale video, audio e dati dei sensori usando le GPU NVIDIA. Pensato per supportare applicazioni di computer vision ad alta velocità, consente il rilevamento e il tracciamento degli oggetti, oltre all'analisi, in sistemi autonomi, sicurezza, automazione industriale e città intelligenti. Eseguendo l'AI direttamente sui dispositivi edge, DeepStream elimina la dipendenza dal cloud, riducendo la latenza e migliorando l'efficienza.

Fig. 4. Alla scoperta di DeepStream 7.0 a YV24 con Guy Dahan.

In particolare, DeepStream è in grado di gestire l'elaborazione video basata sull'AI dall'inizio alla fine. Supporta flussi di lavoro end-to-end, dalla decodifica e pre-elaborazione dei video all'inferenza AI e alla post-elaborazione.

Di recente, DeepStream ha introdotto diversi aggiornamenti per migliorare la distribuzione dell'AI e renderla più accessibile e scalabile. Nuovi strumenti semplificano lo sviluppo, migliorano il tracciamento con più telecamere e ottimizzano le pipeline AI per ottenere prestazioni migliori.

Gli sviluppatori ora dispongono di un supporto più ampio per gli ambienti Windows, funzionalità di sensor fusion migliorate per integrare dati provenienti da più fonti e applicazioni di riferimento predefinite per accelerare la distribuzione. Questi miglioramenti rendono DeepStream una soluzione più flessibile ed efficiente per le applicazioni AI in tempo reale e aiutano gli sviluppatori a scalare facilmente l'analisi video intelligente.

Punti chiave#

Come ha illustrato Guy Dahan nel suo intervento principale a YV24, l'Edge AI sta ridefinendo le applicazioni di computer vision. Grazie ai progressi nell'hardware e nel software, l'elaborazione in tempo reale sta diventando più veloce, efficiente ed economica.

Con l'adozione sempre più ampia dell'Edge AI nei diversi settori, affrontare sfide come la frammentazione e la complessità della distribuzione sarà fondamentale per sfruttarne appieno il potenziale. Adottare queste innovazioni favorirà applicazioni AI più intelligenti e reattive, plasmando il futuro della computer vision.

Entra a far parte della nostra community in crescita! Esplora il nostro repository GitHub per saperne di più sull'AI e scopri le nostre opzioni di licenza per dare il via ai tuoi progetti di vision AI. Ti incuriosiscono innovazioni come l'AI nel settore sanitario e la computer vision nel settore manifatturiero? Visita le nostre pagine dedicate alle soluzioni per saperne di più!