Potenziare l'Edge AI con Sony IMX500 e AITRIOS

Edge AI consente ai modelli di intelligenza artificiale (AI) di funzionare direttamente su dispositivi come smartphone, fotocamere e droni. Il suo vantaggio principale è che supporta un processo decisionale più rapido e in tempo reale senza dipendere dal cloud. Infatti, gli studi dimostrano che l'utilizzo dell'AI su piattaforme edge può aumentare l'efficienza operativa fino al 40%.

I recenti progressi nell'edge AI, in particolare nella computer vision, l'hanno resa un argomento centrale al YOLO Vision 2024 (YV24), l'evento ibrido annuale di Ultralytics che riunisce appassionati ed esperti di AI per esplorare le ultime novità nella Vision AI. Uno dei momenti salienti dell'evento è stata la presentazione principale di Sony, in cui hanno mostrato le loro nuove AI hardware e soluzioni software all'avanguardia. Sono stati presentati il sensore IMX500 e la piattaforma AITRIOS e Sony ha dimostrato come queste innovazioni rendano più facile ed efficiente distribuire modelli Ultralytics YOLO come Ultralytics YOLO11 e Ultralytics YOLOv8 sull'edge.

La sessione è stata condotta da Wei Tang, Business Development Manager che si occupa delle soluzioni di imaging di Sony, e Amir Servi, Edge Deep Learning Product Manager con esperienza nella distribuzione di modelli di deep learning su dispositivi edge.

In questo articolo, rivisiteremo l'intervento di Sony allo YV24 ed esploreremo come il sensore IMX500 e la piattaforma AITRIOS ottimizzino l'uso dei modelli YOLO per un'elaborazione AI on-edge più rapida e in tempo reale. Iniziamo!

Link to this sectionLa visione di Sony: democratizzare l'AI sui dispositivi edge#

Wei Tang ha aperto la sessione parlando dell'obiettivo di Sony di rendere l'edge AI accessibile quanto lo ha reso la fotografia anni fa. Ha sottolineato come Sony si stia ora concentrando sul portare una Vision AI avanzata a più persone attraverso l'edge computing. Uno dei fattori trainanti è il positivo impatto ambientale che l'edge AI può avere. Elaborando i dati direttamente sui dispositivi invece di affidarsi a enormi data center, l'edge computing aiuta a ridurre il consumo energetico e le emissioni di carbonio. È un approccio più ecologico e intelligente che si adatta perfettamente all'impegno di Sony nel creare tecnologie che non solo funzionino meglio, ma contribuiscano anche a creare un futuro più sostenibile.

Wei ha poi spiegato come Sony Semiconductor Solutions, la divisione di Sony specializzata in tecnologie di imaging e rilevamento, crei sensori di immagine avanzati. Questi sensori vengono utilizzati in una varietà di dispositivi, convertendo la luce in segnali elettronici per catturare immagini. Con oltre 1,2 miliardi di sensori spediti ogni anno, si trovano in quasi la metà dei telefoni cellulari del mondo, rendendo Sony un attore importante nel settore dell'imaging.

Fig 1. Esempi di sensori di immagine Sony.

Basandosi su questa esperienza, Sony sta ora facendo un passo avanti, trasformando questi sensori da dispositivi di acquisizione immagini in strumenti intelligenti in grado di elaborare dati in tempo reale, consentendo approfondimenti basati sull'AI direttamente sui dispositivi. Prima di discutere le soluzioni hardware e software che Sony sta utilizzando per supportare questo cambiamento, comprendiamo le sfide dell'edge AI che queste innovazioni mirano a risolvere.

Link to this sectionSfide relative all'elaborazione di immagini AI sui dispositivi edge#

Sviluppare soluzioni di edge AI comporta alcune sfide chiave, specialmente quando si lavora con dispositivi come fotocamere e sensori. Molti di questi dispositivi hanno potenza e capacità di elaborazione limitate, il che rende difficile eseguire modelli AI avanzati in modo efficiente.

Ecco alcune delle altre principali limitazioni:

• Complessità del software: Adattare i modelli AI per funzionare su vari dispositivi edge con diverse configurazioni hardware può essere complesso e richiedere aggiustamenti e ottimizzazioni.
• Colli di bottiglia nel post-processing: Spesso c'è un ritardo nel trasferimento di grandi quantità di dati dal dispositivo all'host per il post-processing. Spesso richiede più tempo rispetto all'inferenza del modello AI stessa.
• Esplosione dei dati: Con molti dispositivi IoT che generano costantemente dati, il volume di dati che deve essere gestito localmente può essere schiacciante, mettendo ulteriormente sotto sforzo i dispositivi edge.

Link to this sectionConoscere il sensore di visione intelligente Sony IMX500#

Il sensore di visione intelligente Sony IMX500 è un hardware rivoluzionario nell'elaborazione edge AI. È il primo sensore di visione intelligente al mondo con funzionalità AI on-chip. Questo sensore aiuta a superare molte sfide nell'edge AI, tra cui i colli di bottiglia nell'elaborazione dei dati, le preoccupazioni sulla privacy e le limitazioni delle prestazioni.

Mentre altri sensori si limitano a trasmettere immagini e fotogrammi, l'IMX500 racconta un'intera storia. Elabora i dati direttamente sul sensore, consentendo ai dispositivi di generare approfondimenti in tempo reale. Durante la sessione, Wei Tang ha affermato: "Sfruttando la nostra tecnologia avanzata di sensori di immagine, miriamo a potenziare una nuova generazione di applicazioni in grado di migliorare la vita quotidiana." L'IMX500 è progettato per raggiungere questo obiettivo, trasformando il modo in cui i dispositivi gestiscono i dati direttamente sul sensore, senza doverli inviare al cloud per l'elaborazione.

Ecco alcune delle sue caratteristiche principali:

• Output dei metadati: Invece di inviare immagini complete, emette metadati, riducendo significativamente le dimensioni dei dati, il che abbassa l'uso della larghezza di banda e i costi.
• Privacy migliorata: Elaborando i dati sul dispositivo, l'IMX500 migliora la privacy, specialmente in situazioni in cui sono coinvolte informazioni sensibili, come attività di computer vision relative alle persone, ad esempio il conteggio delle persone.
• Elaborazione in tempo reale: La capacità del sensore di gestire i dati rapidamente significa che supporta un processo decisionale rapido e in tempo reale che abilita applicazioni di edge AI come i sistemi autonomi.

L'IMX500 non è solo un sensore per fotocamera: è un potente strumento di rilevamento che trasforma il modo in cui i dispositivi percepiscono e interagiscono con il mondo che li circonda. Incorporando l'AI direttamente nel sensore, Sony rende l'edge AI più accessibile per settori come l'automotive, l'assistenza sanitaria e le smart city. Nelle sezioni successive, approfondiremo come l'IMX500 funzioni con i modelli Ultralytics YOLO per migliorare il rilevamento degli oggetti e l'elaborazione dei dati sui dispositivi edge.

Fig 2. Wei Tang sul palco di YOLO Vision 2024 mentre presenta il sensore di visione intelligente Sony IMX500.

Link to this sectionLa piattaforma AITRIOS di Sony: semplificare l'edge AI#

Dopo aver presentato il sensore IMX500, Wei Tang ha espresso che, sebbene l'hardware sia fondamentale, non è sufficiente da solo per affrontare l'intera portata delle sfide coinvolte nella distribuzione AI edge. Ha parlato di come l'integrazione dell'AI su dispositivi come fotocamere e sensori richieda qualcosa di più del semplice hardware avanzato: necessita di software intelligente per gestirlo. È qui che entra in gioco la piattaforma AITRIOS di Sony, che offre una soluzione software affidabile progettata per rendere la distribuzione dell'AI sui dispositivi edge più semplice ed efficiente.

AITRIOS funge da ponte tra modelli AI complessi e le limitazioni dei dispositivi edge. Fornisce agli sviluppatori una gamma di strumenti per distribuire rapidamente modelli AI pre-addestrati. Ma soprattutto, supporta il riaddestramento continuo in modo che i modelli AI possano rimanere adattabili ai cambiamenti del mondo reale.

Wei ha anche sottolineato come AITRIOS semplifichi il processo per chi non possiede una profonda esperienza in AI, offrendo flessibilità per personalizzare i modelli AI per casi d'uso specifici di edge AI. Affronta inoltre sfide comuni come i limiti di memoria e i cali di prestazioni, rendendo più facile integrare l'AI in dispositivi più piccoli senza sacrificare precisione o velocità.

Fig 3. Esempi di casi d'uso di edge AI. Fonte immagine: SONY Semicon | AITRIOS.

Link to this sectionOttimizzazione dei modelli YOLO sull'IMX500#

Nella seconda parte dell'intervento, il microfono è passato ad Amir, che ha approfondito l'aspetto tecnico di come Sony ha ottimizzato i modelli YOLO sul sensore IMX500.

Amir ha iniziato dicendo: "I modelli YOLO sono abilitanti per l'edge e sono abbastanza facili da ottimizzare, grazie a Glenn e al team. Vi convincerò di questo, non preoccupatevi." Amir ha poi spiegato che, sebbene molta attenzione sia solitamente rivolta all'ottimizzazione del modello AI stesso, questo approccio spesso trascura una preoccupazione cruciale: i colli di bottiglia nel post-processing.

Amir ha sottolineato che in molti casi, una volta che il modello AI completa il suo compito, il processo di trasferimento dei dati e di gestione del post-processing su un dispositivo host può causare ritardi significativi. Questo trasferimento di dati avanti e indietro tra il dispositivo e l'host introduce latenza, che può rappresentare un ostacolo importante al raggiungimento delle migliori prestazioni.

Fig 4. Amir Servi sul palco di YOLO Vision 2024 mentre spiega i colli di bottiglia nel post-processing.

Per affrontare questo problema, Amir ha sottolineato l'importanza di guardare all'intero sistema end-to-end, piuttosto che concentrarsi solo sul modello AI. Con il sensore IMX500, hanno scoperto che il post-processing era il principale collo di bottiglia che rallentava tutto. Ha condiviso che la vera svolta è stata sbloccare la non-maximum suppression (NMS) on-chip.

Ha permesso al post-processing di avvenire direttamente sul sensore, eliminando la necessità di trasferire grandi quantità di dati a un dispositivo host. Eseguendo la NMS direttamente sull'IMX500, Sony ha superato quello che Amir ha definito il "soffitto di vetro del post-processing", ottenendo prestazioni molto migliori e una riduzione della latenza.

Fig 5. Superamento del collo di bottiglia del post-process. Fonte immagine: SONY Semicon | AITRIOS

Successivamente, vedremo come questa innovazione abbia aiutato i modelli YOLO, in particolare YOLOv8 Nano, a funzionare in modo più efficiente sui dispositivi edge, creando nuove opportunità per l'elaborazione AI in tempo reale su hardware più piccoli e limitati nelle risorse.

Link to this sectionI modelli YOLOv8 ottengono una spinta di velocità 4x con l'IMX500 di Sony#

Concludendo l'intervento con una nota positiva, Amir ha dimostrato come siano riusciti a quadruplicare le prestazioni del modello YOLOv8 Nano eseguendo la NMS sull'edge. Lo ha mostrato su un Raspberry Pi 5, integrato con il sensore AI IMX500. Amir ha confrontato le prestazioni quando il post-processing veniva gestito su un dispositivo host rispetto al chip IMX500.

I risultati hanno mostrato chiaramente un notevole miglioramento nei fotogrammi al secondo (FPS) e nell'efficienza complessiva quando l'elaborazione è stata eseguita on-chip. L'ottimizzazione ha reso il rilevamento degli oggetti più veloce e fluido e ha anche dimostrato la praticità dell'elaborazione AI in tempo reale su dispositivi più piccoli e con risorse limitate come il Raspberry Pi.

Link to this sectionPunti chiave#

Il sensore IMX500 di Sony, la piattaforma AITRIOS e i modelli YOLO di Ultralytics stanno rimodellando lo sviluppo dell'edge AI. L'elaborazione AI on-chip riduce il trasferimento dei dati e la latenza, aumentando al contempo privacy, sicurezza ed efficienza. Concentrandosi sull'intero sistema, non solo sul modello AI, queste innovazioni rendono l'edge AI più accessibile agli sviluppatori e a chi non ha una profonda esperienza in AI. Poiché la tecnologia edge AI continua ad avanzare, probabilmente abiliterà dispositivi più intelligenti, decisioni più rapide e protezioni della privacy più forti in un'ampia gamma di settori e applicazioni.

Rimani in contatto con la nostra community per continuare a imparare sull'AI! Dai un'occhiata al nostro repository GitHub per scoprire come possiamo usare l'AI per creare soluzioni innovative in vari settori come l'agricoltura e la produzione. 🚀