Distribuzione di applicazioni di computer vision su dispositivi edge AI

Grazie ai recenti progressi nella computer vision e nell'intelligenza artificiale (IA), quella che una volta era solo un campo di ricerca sta ora guidando applicazioni di grande impatto in una vasta gamma di settori. Dalle auto a guida autonoma all'imaging medicale e alla sicurezza, i sistemi di computer vision stanno risolvendo problemi reali su vasta scala. 

Molte di queste applicazioni comportano l'analisi di immagini e video in tempo reale e l'affidamento al cloud computing non è sempre pratico a causa della latenza, dei costi e dei problemi di privacy. L'Edge AI è un'ottima soluzione in queste situazioni. Eseguendo i modelli di Vision AI direttamente sui dispositivi edge, le aziende possono elaborare i dati più velocemente, in modo più economico e con maggiore sicurezza, rendendo l'IA in tempo reale più accessibile.

Durante YOLO Vision 2024 (YV24), l'evento ibrido annuale ospitato da Ultralytics, uno dei temi centrali è stato la democratizzazione della Vision AI, rendendo l'implementazione più semplice ed efficiente. Guy Dahan, Senior Solutions Architect di NVIDIA, ha spiegato come le soluzioni hardware e software di NVIDIA, tra cui i dispositivi di edge computing, i server di inferenza, i framework di ottimizzazione e gli SDK di implementazione dell'IA, stiano aiutando gli sviluppatori a ottimizzare l'IA sull'edge.

In questo articolo, esploreremo i punti chiave del keynote di Guy Dahan allo YV24 e come le ultime innovazioni di NVIDIA stanno rendendo l'implementazione di Vision AI più veloce e scalabile.

Cos'è l'edge AI?

Guy Dahan ha iniziato il suo intervento esprimendo il suo entusiasmo per essersi unito virtualmente a YV24 e il suo interesse per il pacchetto Python Ultralytics e i modelli YOLO di Ultralytics, dicendo: "Uso Ultralytics dal giorno in cui è uscito. Mi piace molto Ultralytics - Usavo YOLOv5 anche prima, e sono un vero appassionato di questo pacchetto."

Poi, ha introdotto il concetto di Edge AI, spiegando che implica l'esecuzione di calcoli di IA direttamente su dispositivi come telecamere, droni o macchine industriali, invece di inviare i dati a server cloud distanti per l'elaborazione. 

Invece di aspettare che immagini o video vengano caricati, analizzati e quindi rispediti con i risultati, Edge AI rende possibile analizzare i dati istantaneamente sul dispositivo stesso. Ciò rende i sistemi Vision AI più veloci, più efficienti e meno dipendenti dalla connettività Internet. Edge AI è particolarmente utile per applicazioni di processo decisionale in tempo reale, come auto a guida autonoma, telecamere di sicurezza e fabbriche intelligenti. 

Vantaggi chiave dell'edge AI

Dopo aver introdotto l'Edge AI, Guy Dahan ha evidenziato i suoi principali vantaggi, concentrandosi su efficienza, risparmio sui costi e sicurezza dei dati. Ha spiegato che uno dei maggiori vantaggi è la bassa latenza: poiché i modelli di AI elaborano i dati direttamente sul dispositivo, non è necessario inviare informazioni al cloud e attendere una risposta. 

L'Edge AI aiuta anche a ridurre i costi e a proteggere i dati sensibili. L'invio di grandi quantità di dati al cloud, specialmente i flussi video, può essere costoso. Tuttavia, l'elaborazione locale riduce i costi di larghezza di banda e di archiviazione. 

Un altro vantaggio fondamentale è la privacy dei dati, poiché le informazioni rimangono sul dispositivo invece di essere trasferite a un server esterno. Questo è particolarmente importante per le applicazioni sanitarie, finanziarie e di sicurezza, dove mantenere i dati locali e sicuri è una priorità assoluta.

‍

Basandosi su questi vantaggi, Guy Dahan ha commentato la crescente adozione dell'Edge AI. Ha osservato che da quando NVIDIA ha introdotto Jetson nel 2014, l'utilizzo è aumentato di dieci volte. Oggi, oltre 1,2 milioni di sviluppatori stanno lavorando con dispositivi Jetson. 

Una panoramica di NVIDIA Jetson: un dispositivo edge AI

Guy Dahan si è poi concentrato sui dispositivi NVIDIA Jetson, una famiglia di dispositivi di edge computing AI progettati per offrire prestazioni elevate con un basso consumo energetico. I dispositivi Jetson sono ideali per applicazioni di computer vision in settori come la robotica, l'agricoltura, la sanità e l'automazione industriale. "I Jetson sono dispositivi Edge AI specificamente progettati per l'AI. Potrei anche aggiungere che originariamente erano progettati principalmente per la computer vision", ha aggiunto Guy Dahan.

I dispositivi Jetson sono disponibili in tre livelli, ognuno adatto a esigenze diverse:

• Entry-level: Questi dispositivi forniscono 20 - 40 trilioni di operazioni al secondo (TOPS) di prestazioni AI con un consumo energetico di 10 - 15 W, rendendoli una scelta conveniente per le applicazioni edge.
  ‍
• Mainstream: Bilancia prestazioni ed efficienza, offrendo 70 - 200 TOPS con un consumo energetico di 20 - 40W, adatta per carichi di lavoro AI di fascia media.
  ‍
• Alte prestazioni: Fornisce fino a 275 TOPS con un consumo energetico di 60 - 75W, progettato per applicazioni AI complesse come la robotica e l'automazione.

Inoltre, Guy Dahan ha parlato dell'imminente Jetson AGX Thor, in uscita quest'anno, e ha affermato che offrirà otto volte le prestazioni della GPU (Graphics Processing Unit), il doppio della capacità di memoria e prestazioni migliorate della CPU (Central Processing Unit). È specificamente progettato per la robotica umanoide e le applicazioni avanzate di Edge AI.

Sfide relative alla distribuzione di modelli di computer vision

Guy Dahan si è poi concentrato sulla parte software dell'Edge AI e ha spiegato che, anche con hardware potente, l'implementazione efficiente dei modelli può essere impegnativa. 

Uno dei maggiori ostacoli è la compatibilità, poiché gli sviluppatori di IA spesso lavorano con diversi framework di IA come PyTorch e TensorFlow. Passare da questi framework può essere difficile, richiedendo agli sviluppatori di ricreare gli ambienti per garantire che tutto funzioni correttamente.

La scalabilità è un'altra sfida fondamentale. I modelli di AI richiedono una notevole potenza di calcolo e, come ha affermato Dahan, "Non c'è mai stata un'azienda di AI che desiderasse meno potenza di calcolo". L'espansione delle applicazioni di AI su più dispositivi può rapidamente diventare costosa, rendendo essenziale l'ottimizzazione.

Inoltre, le pipeline di IA sono complesse e spesso coinvolgono diversi tipi di dati, elaborazione in tempo reale e integrazione di sistemi. Gli sviluppatori si impegnano molto per garantire che i loro modelli interagiscano senza problemi con gli ecosistemi software esistenti. Superare queste sfide è fondamentale per rendere le implementazioni di IA più efficienti e scalabili.

‍

Semplificare l'implementazione con Triton Inference Server di NVIDIA

Successivamente, Guy Dahan ha rivolto la sua attenzione al Triton Inference Server di NVIDIA. Ha sottolineato che molte aziende e startup iniziano lo sviluppo dell'IA senza ottimizzare completamente i loro modelli. Riprogettare un'intera pipeline di IA da zero può essere dirompente e richiedere molto tempo, rendendo difficile il ridimensionamento efficiente. 

Invece di richiedere una revisione completa del sistema, Triton consente agli sviluppatori di perfezionare e ottimizzare gradualmente i propri flussi di lavoro AI, integrando componenti più efficienti senza interrompere la configurazione esistente. Con il supporto per più framework AI, tra cui TensorFlow, PyTorch, ONNX e TensorRT, Triton consente una distribuzione senza interruzioni in ambienti cloud, data center e dispositivi edge con modifiche minime.

‍

Ecco alcuni dei principali vantaggi di NVIDIA Triton Inference Server:

• Batching automatico: Triton raggruppa più richieste di AI prima di elaborarle, riducendo i ritardi (latenza) e migliorando la velocità di inferenza (il tempo necessario a un modello di AI per generare risultati).
  ‍
• Integrazione con Kubernetes: Triton è cloud-native, il che significa che funziona perfettamente con Kubernetes (un sistema che aiuta a gestire e scalare applicazioni di IA su più computer o server cloud).
  ‍
• Open source e personalizzabile: Gli sviluppatori possono modificare Triton per adattarlo alle loro esigenze specifiche, garantendo flessibilità per un'ampia gamma di applicazioni di IA.

Massimizzare le prestazioni dell'AI utilizzando NVIDIA TensorRT

Supponiamo che tu stia cercando ancora più accelerazione; NVIDIA TensorRT è un'opzione interessante per ottimizzare i tuoi modelli di IA. Guy Dahan ha spiegato che TensorRT è un ottimizzatore di deep learning ad alte prestazioni creato per le GPU NVIDIA. I modelli di TensorFlow, PyTorch, ONNX e MXNet possono essere convertiti in file eseguibili per GPU altamente efficienti utilizzando TensorRT.

Ciò che rende TensorRT così affidabile sono le sue ottimizzazioni specifiche per l'hardware. Un modello ottimizzato per i dispositivi Jetson non funzionerà in modo altrettanto efficiente su altre GPU perché TensorRT ottimizza le prestazioni in base all'hardware di destinazione. Un modello di computer vision ottimizzato può comportare un aumento della velocità di inferenza fino a 36 volte rispetto ai modelli non ottimizzati.

Guy Dahan ha anche richiamato l'attenzione sul supporto di Ultralytics per TensorRT, parlando di come ciò renda più veloce ed efficiente l'implementazione dei modelli di AI. I modelli Ultralytics YOLO possono essere direttamente esportati in formato TensorRT, consentendo agli sviluppatori di ottimizzarli per le GPU NVIDIA senza dover apportare modifiche. 

DeepStream 7.0: un toolkit di analisi di streaming

Concludendo il discorso in grande stile, Guy Dahan ha presentato DeepStream 7.0, un framework AI progettato per l'elaborazione in tempo reale di video, audio e dati di sensori utilizzando le GPU NVIDIA. Realizzato per supportare applicazioni di computer vision ad alta velocità, consente il rilevamento, il tracciamento e l'analisi degli oggetti in sistemi autonomi, sicurezza, automazione industriale e città intelligenti. Eseguendo l'AI direttamente sui dispositivi edge, DeepStream elimina la dipendenza dal cloud, riducendo la latenza e migliorando l'efficienza.

‍

Nello specifico, DeepStream è in grado di gestire l'elaborazione video basata sull'intelligenza artificiale dall'inizio alla fine. Supporta flussi di lavoro end-to-end, dalla decodifica e pre-elaborazione video all'inferenza AI e alla post-elaborazione. 

Recentemente, DeepStream ha introdotto diversi aggiornamenti per migliorare l'implementazione dell'IA, rendendola più accessibile e scalabile. Nuovi strumenti semplificano lo sviluppo, migliorano il tracciamento multi-camera e ottimizzano le pipeline di IA per prestazioni migliori. 

Gli sviluppatori ora dispongono di un supporto ampliato per gli ambienti Windows, funzionalità avanzate di sensor fusion per l'integrazione di dati provenienti da più fonti e accesso ad applicazioni di riferimento predefinite per accelerare l'implementazione. Questi miglioramenti rendono DeepStream una soluzione più flessibile ed efficiente per le applicazioni di IA in tempo reale, aiutando gli sviluppatori a scalare con facilità l'analisi video intelligente.

Punti chiave

Come illustrato nel keynote di Guy Dahan allo YV24, l'Edge AI sta ridefinendo le applicazioni di computer vision. Con i progressi nell'hardware e nel software, l'elaborazione in tempo reale sta diventando più veloce, più efficiente ed economica.

Man mano che sempre più settori adottano l'Edge AI, affrontare sfide come la frammentazione e la complessità dell'implementazione sarà fondamentale per sbloccarne il pieno potenziale. Abbracciare queste innovazioni guiderà applicazioni di IA più intelligenti e reattive, plasmando il futuro della computer vision.

Entra a far parte della nostra community in crescita! Esplora il nostro repository GitHub per saperne di più sull'AI e consulta le nostre opzioni di licenza per dare il via ai tuoi progetti di Vision AI. Sei curioso di conoscere le innovazioni come l'AI nel settore sanitario e la computer vision nella produzione? Visita le nostre pagine dedicate alle soluzioni per saperne di più!