Potenziare l'IA edge con Sony IMX500 e AITRIOS

L'Edge AI consente ai modelli di intelligenza artificiale (AI) di funzionare direttamente su dispositivi come smartphone, telecamere e droni. Il suo vantaggio principale è consentire decisioni più rapide e in tempo reale senza dipendere dal cloud. Gli studi dimostrano infatti che l'uso dell'AI sulle piattaforme edge può aumentare l'efficienza operativa fino al 40%.

I recenti progressi nell'Edge AI, soprattutto nella visione artificiale, l'hanno resa uno dei temi centrali di YOLO Vision 2024 (YV24), l'evento annuale ibrido di Ultralytics che riunisce appassionati ed esperti di AI per esplorare le ultime novità della vision AI. Uno dei momenti salienti dell'evento è stata la presentazione principale di Sony, durante la quale l'azienda ha presentato le sue nuove soluzioni hardware e software AI. Sono stati presentati il sensore IMX500 e la piattaforma AITRIOS; Sony ha inoltre mostrato come queste innovazioni rendano più semplice ed efficiente distribuire i modelli Ultralytics YOLO, come Ultralytics YOLO11 e Ultralytics YOLOv8, sui dispositivi edge.

La sessione è stata condotta da Wei Tang, Business Development Manager specializzato nelle soluzioni di imaging di Sony, e da Amir Servi, Edge Deep Learning Product Manager esperto nella distribuzione di modelli di deep learning su dispositivi edge.

In questo articolo ripercorreremo l'intervento di Sony a YV24 e vedremo come il sensore IMX500 e la piattaforma AITRIOS ottimizzano l'uso dei modelli YOLO per un'elaborazione AI edge più rapida e in tempo reale.

La visione di Sony: democratizzare l'AI sui dispositivi edge#

Wei Tang ha aperto la sessione parlando dell'obiettivo di Sony: rendere l'Edge AI accessibile a tutti, come è riuscita a fare con la fotografia anni fa. Ha sottolineato che Sony si sta concentrando sulla diffusione della vision AI avanzata attraverso l'edge computing. Uno dei fattori alla base di questo impegno è l'impatto positivo che l'Edge AI può avere sull'ambiente. Elaborando i dati direttamente sui dispositivi invece di affidarsi a enormi data center, l'edge computing contribuisce a ridurre il consumo energetico e le emissioni di carbonio. È un approccio più intelligente e sostenibile, in linea con l'impegno di Sony a sviluppare tecnologie che non solo funzionino meglio, ma contribuiscano anche a un futuro più sostenibile.

Wei ha poi spiegato come Sony Semiconductor Solutions, la divisione Sony specializzata nelle tecnologie di imaging e rilevamento, produca sensori di immagine avanzati. Questi sensori vengono usati in vari dispositivi e convertono la luce in segnali elettronici per acquisire immagini. Sony spedisce oltre 1,2 miliardi di sensori all'anno; questi si trovano in quasi la metà dei telefoni cellulari del mondo e rendono Sony un attore di primo piano nel settore dell'imaging.

Fig. 1. Esempi di sensori di immagine Sony.

Basandosi su questa esperienza, Sony sta ora facendo un ulteriore passo avanti e trasformando i sensori da dispositivi per l'acquisizione di immagini a strumenti intelligenti capaci di elaborare i dati in tempo reale, fornendo informazioni utili basate sull'AI direttamente sui dispositivi. Prima di esaminare le soluzioni hardware e software con cui Sony sostiene questa transizione, vediamo quali sfide dell'Edge AI queste innovazioni mirano a risolvere.

Sfide dell'elaborazione delle immagini con AI sui dispositivi edge#

Lo sviluppo di soluzioni di Edge AI comporta alcune sfide importanti, soprattutto quando si lavora con dispositivi come telecamere e sensori. Molti di questi dispositivi hanno potenza e capacità di elaborazione limitate, rendendo difficile eseguire in modo efficiente modelli AI avanzati.

Ecco alcune delle altre limitazioni principali:

• Complessità del software: adattare i modelli AI per farli funzionare su diversi dispositivi edge con configurazioni hardware differenti può essere complesso e richiedere modifiche e ottimizzazioni.
• Colli di bottiglia nella post-elaborazione: spesso si verificano ritardi nel trasferimento di grandi quantità di dati dal dispositivo all'host per la post-elaborazione. Questa fase richiede spesso più tempo della stessa inferenza del modello di AI.
• Esplosione dei dati: la grande quantità di dispositivi IoT che generano dati di continuo può rendere eccessivo il volume di dati da gestire localmente, mettendo ulteriormente sotto pressione i dispositivi edge.

Scopriamo il sensore di visione intelligente Sony IMX500#

Il sensore di visione intelligente Sony IMX500 è un componente hardware fondamentale per l'elaborazione AI edge. Sony lo definisce il primo sensore di visione intelligente al mondo con capacità AI integrate nel chip. Questo sensore contribuisce a superare molte sfide dell'Edge AI, tra cui i colli di bottiglia nell'elaborazione dei dati, i problemi di riservatezza e i limiti prestazionali.

Mentre gli altri sensori si limitano a trasmettere immagini e fotogrammi, l'IMX500 racconta una storia completa. Elabora i dati direttamente sul sensore, consentendo ai dispositivi di generare informazioni utili in tempo reale. Durante la sessione, Wei Tang ha dichiarato: «Sfruttando la nostra tecnologia avanzata per i sensori di immagine, vogliamo dare impulso a una nuova generazione di applicazioni in grado di migliorare la vita quotidiana». L'IMX500 è progettato per raggiungere questo obiettivo e trasformare il modo in cui i dispositivi gestiscono i dati direttamente sul sensore, senza doverli inviare al cloud per l'elaborazione.

Ecco alcune delle sue caratteristiche principali:

• Output dei metadati: invece di inviare immagini complete, il sensore produce metadati, riducendo notevolmente la quantità di dati e, di conseguenza, l'uso della banda e i costi.
• Maggiore riservatezza: elaborando i dati sul dispositivo, l'IMX500 tutela meglio la riservatezza, soprattutto quando sono coinvolte informazioni sensibili, per esempio nelle attività di visione artificiale che riguardano le persone, come il conteggio delle persone.
• Elaborazione in tempo reale: la capacità del sensore di gestire rapidamente i dati consente di prendere decisioni rapide e in tempo reale, favorendo applicazioni di AI edge come i sistemi autonomi.

L'IMX500 non è un semplice sensore per telecamere, ma un potente strumento di rilevamento che trasforma il modo in cui i dispositivi percepiscono e interagiscono con il mondo circostante. Integrando l'AI direttamente nel sensore, Sony rende l'Edge AI più accessibile a settori come quello automobilistico, l'assistenza sanitaria e le città intelligenti. Nelle sezioni successive vedremo più da vicino come l'IMX500 lavora con i modelli Ultralytics YOLO per migliorare il rilevamento degli oggetti e l'elaborazione dei dati sui dispositivi edge.

Fig. 2. Wei Tang sul palco di YOLO Vision 2024 presenta il sensore di visione intelligente Sony IMX500.

La piattaforma AITRIOS di Sony: semplificare l'AI edge#

Dopo aver presentato il sensore IMX500, Wei Tang ha spiegato che, per quanto l'hardware sia fondamentale, da solo non basta ad affrontare tutte le sfide legate alla distribuzione dell'AI edge. Ha illustrato come integrare l'AI in dispositivi come telecamere e sensori richieda più di un hardware avanzato: serve anche un software intelligente per gestirla. È qui che entra in gioco la piattaforma AITRIOS di Sony, una soluzione software affidabile progettata per semplificare e rendere più efficiente la distribuzione dell'AI sui dispositivi edge.

AITRIOS funge da ponte tra i modelli AI complessi e i limiti dei dispositivi edge. Offre agli sviluppatori una serie di strumenti per distribuire rapidamente modelli AI preaddestrati. Ma, soprattutto, supporta il riaddestramento continuo, così che i modelli AI possano adattarsi ai cambiamenti del mondo reale.

Wei ha inoltre sottolineato come AITRIOS semplifichi il processo per chi non ha una conoscenza approfondita dell'AI e offra la flessibilità necessaria per personalizzare i modelli AI in base a specifici casi d'uso dell'Edge AI. La piattaforma affronta anche problemi comuni come i limiti di memoria e i cali di prestazioni, semplificando l'integrazione dell'AI nei dispositivi più piccoli senza sacrificare accuratezza o velocità.

Fig. 3. Esempi di casi d'uso dell'AI edge. Fonte dell'immagine: SONY Semicon | AITRIOS.

Ottimizzazione dei modelli YOLO sull'IMX500#

Nella seconda parte dell'intervento, il microfono è passato ad Amir, che ha approfondito gli aspetti tecnici dell'ottimizzazione dei modelli YOLO di Sony sul sensore IMX500.

Amir ha esordito dicendo: «I modelli YOLO sono adatti all'edge e sono abbastanza facili da ottimizzare, grazie a Glenn e al team. Te lo dimostrerò, non preoccuparti». Ha poi spiegato che, sebbene spesso ci si concentri molto sull'ottimizzazione del modello di AI in sé, questo approccio trascura un problema cruciale: i colli di bottiglia nella post-elaborazione.

Amir ha sottolineato che spesso, una volta completata l'attività del modello AI, il trasferimento dei dati e la post-elaborazione su un dispositivo host possono causare ritardi significativi. Questo continuo scambio di dati tra il dispositivo e l'host introduce latenza, che può rappresentare un ostacolo importante al raggiungimento delle migliori prestazioni.

Fig. 4. Amir Servi sul palco di YOLO Vision 2024 mentre spiega i colli di bottiglia della post-elaborazione.

Per affrontare questo problema, Amir ha sottolineato l'importanza di considerare l'intero sistema end-to-end, anziché concentrarsi soltanto sul modello di AI. Con il sensore IMX500, hanno scoperto che la post-elaborazione era il principale collo di bottiglia che rallentava tutto. Ha spiegato che la vera svolta è stata rendere possibile la soppressione dei non massimi (NMS) direttamente sul chip.

Questo ha permesso di eseguire la post-elaborazione direttamente sul sensore, eliminando la necessità di trasferire grandi quantità di dati a un dispositivo host. Eseguendo NMS direttamente sull'IMX500, Sony ha superato quello che Amir ha definito il «soffitto di cristallo della post-elaborazione», ottenendo prestazioni nettamente migliori e riducendo la latenza.

Fig. 5. Superamento del collo di bottiglia nella post-elaborazione. Fonte dell'immagine: SONY Semicon | AITRIOS.

Vedremo ora come questa innovazione abbia aiutato i modelli YOLO, in particolare Ultralytics YOLOv8 Nano, a funzionare in modo più efficiente sui dispositivi edge, aprendo nuove possibilità per l'elaborazione AI in tempo reale su hardware più piccolo e con risorse limitate.

I modelli Ultralytics YOLOv8 quadruplicano la velocità con l'IMX500 di Sony#

Concludendo l'intervento in grande stile, Amir ha mostrato come eseguire NMS sull'edge abbia permesso di quadruplicare le prestazioni del modello Ultralytics YOLOv8 Nano. Lo ha dimostrato su un Raspberry Pi 5 integrato con il sensore AI IMX500. Amir ha confrontato le prestazioni della post-elaborazione eseguita su un dispositivo host con quelle ottenute sul chip IMX500.

I risultati hanno mostrato chiaramente un netto miglioramento dei fotogrammi al secondo (FPS) e dell'efficienza complessiva quando l'elaborazione veniva eseguita sul chip. L'ottimizzazione ha reso il rilevamento degli oggetti più veloce e fluido e ha inoltre dimostrato la praticità dell'elaborazione AI in tempo reale su dispositivi più piccoli e con risorse limitate, come Raspberry Pi.

Punti chiave#

Il sensore IMX500 di Sony, la piattaforma AITRIOS e i modelli Ultralytics YOLO, riuniti dalla collaborazione tra Ultralytics e Sony, stanno trasformando lo sviluppo dell'Edge AI. L'elaborazione AI sul chip riduce il trasferimento dei dati e la latenza, migliorando al contempo la riservatezza, la sicurezza e l'efficienza. Concentrandosi sull'intero sistema, non solo sul modello AI, queste innovazioni rendono l'Edge AI più accessibile agli sviluppatori e a chi non ha competenze approfondite in materia di AI. Con il continuo progresso della tecnologia Edge AI, è probabile che questa abiliti dispositivi più intelligenti, decisioni più rapide e maggiori tutele della riservatezza in un'ampia gamma di settori e applicazioni.

Resta in contatto con la nostra community per continuare a imparare sull’AI! Visita il nostro repository GitHub per scoprire come possiamo usare l’AI per creare soluzioni innovative in settori come l’agricoltura e la produzione.