Potenziare l'Edge AI con Sony IMX500 e AITRIOS

Edge AI consente ai modelli di intelligenza artificiale (AI) di operare direttamente su dispositivi come smartphone, telecamere e droni. Il suo vantaggio principale è che supporta un processo decisionale più rapido e in tempo reale senza dipendere dal cloud. Infatti, gli studi dimostrano che l'uso dell'IA su piattaforme edge può aumentare l'efficienza operativa fino al 40%.

I recenti progressi nell'edge AI, in particolare nella computer vision, lo hanno reso un argomento centrale a YOLO Vision 2024 (YV24), l'evento ibrido annuale di Ultralytics che riunisce appassionati ed esperti di AI per esplorare le ultime novità in fatto di Vision AI. Uno dei momenti salienti dell'evento è stato il keynote di Sony, in cui sono state presentate le loro nuove e all'avanguardia soluzioni di hardware e software per AI. Sono stati presentati il sensore IMX500 e la piattaforma AITRIOS, e Sony ha mostrato come queste innovazioni rendano più semplice ed efficiente distribuire i modelli Ultralytics YOLO come Ultralytics YOLO11 e Ultralytics YOLOv8 sull'edge.

La sessione è stata guidata da Wei Tang, Business Development Manager focalizzata sulle soluzioni di imaging di Sony, e Amir Servi, Edge Deep Learning Product Manager con esperienza nel distribuire modelli di deep learning su dispositivi edge.

In questo articolo, rivisiteremo l'intervento di Sony allo YV24 ed esploreremo come il sensore IMX500 e la piattaforma AITRIOS ottimizzino l'uso dei modelli YOLO per un'elaborazione AI on-edge più rapida e in tempo reale. Iniziamo!

La visione di Sony: democratizzare l'AI sui dispositivi edge#

Wei Tang ha aperto la sessione parlando dell'obiettivo di Sony di rendere l'edge AI accessibile quanto lo è stato per la fotografia anni fa. Ha sottolineato come Sony sia ora concentrata sul portare un'avanzata Vision AI a un numero maggiore di persone attraverso l'edge computing. Uno dei fattori trainanti è l'impatto positivo che l'edge AI può avere sull'ambiente. Elaborando i dati direttamente sui dispositivi invece di affidarsi a enormi data center, l'edge computing aiuta a ridurre il consumo energetico e le emissioni di carbonio. È un approccio più ecologico e intelligente che si sposa perfettamente con l'impegno di Sony nel creare una tecnologia che non solo funzioni meglio, ma aiuti anche a costruire un futuro più sostenibile.

Wei ha continuato spiegando come Sony Semiconductor Solutions, la divisione di Sony specializzata in tecnologie di imaging e rilevamento, crei sensori d'immagine avanzati. Questi sensori vengono utilizzati in una varietà di dispositivi, convertendo la luce in segnali elettronici per catturare immagini. Con oltre 1,2 miliardi di sensori spediti ogni anno, si trovano in quasi la metà dei telefoni cellulari del mondo, facendo di Sony un attore chiave nel settore dell'imaging.

Fig 1. Esempi di sensori d'immagine di Sony.

Basandosi su questa competenza, Sony sta facendo un ulteriore passo in avanti trasformando questi sensori da dispositivi di cattura immagini in strumenti intelligenti in grado di elaborare dati in tempo reale, consentendo approfondimenti basati sull'IA direttamente sui dispositivi. Prima di discutere le soluzioni hardware e software che Sony sta utilizzando per supportare questo cambiamento, comprendiamo le sfide dell'edge AI che queste innovazioni mirano a risolvere.

Sfide relative all'elaborazione di immagini AI sui dispositivi edge#

Lo sviluppo di soluzioni di edge AI comporta alcune sfide chiave, soprattutto quando si lavora con dispositivi come telecamere e sensori. Molti di questi dispositivi hanno una potenza e una capacità di elaborazione limitate, il che rende difficile eseguire modelli di IA avanzati in modo efficiente.

Ecco alcune delle altre principali limitazioni:

• Complessità del software: L'adattamento dei modelli di IA affinché funzionino su vari dispositivi edge con diverse configurazioni hardware può essere complesso e richiedere regolazioni e ottimizzazioni.
• Colli di bottiglia nel post-processing: Spesso si verifica un ritardo nel trasferimento di grandi quantità di dati dal dispositivo all'host per il post-processing. Spesso consuma più tempo rispetto all'inferenza del modello AI reale.
• Esplosione dei dati: Con molti dispositivi IoT che generano dati continuamente, il volume di informazioni da gestire localmente può essere soverchiante, mettendo ulteriormente sotto pressione i dispositivi edge.

Conoscere il sensore di visione intelligente Sony IMX500#

Sony IMX500 Intelligent Vision Sensor è un hardware rivoluzionario nell'elaborazione di edge AI. È il primo sensore di visione intelligente al mondo con capacità di IA on-chip. Questo sensore aiuta a superare molte sfide dell'edge AI, tra cui i colli di bottiglia nell'elaborazione dei dati, i problemi di privacy e le limitazioni delle prestazioni.

Mentre altri sensori si limitano a passare immagini e fotogrammi, l'IMX500 racconta una storia completa. Elabora i dati direttamente sul sensore, consentendo ai dispositivi di generare approfondimenti in tempo reale. Durante la sessione, Wei Tang ha affermato: "Sfruttando la nostra tecnologia avanzata per sensori d'immagine, miriamo a potenziare una nuova generazione di applicazioni in grado di migliorare la vita di tutti i giorni." L'IMX500 è progettato per soddisfare questo obiettivo, trasformando il modo in cui i dispositivi gestiscono i dati direttamente sul sensore, senza bisogno di inviarli al cloud per l'elaborazione.

Ecco alcune delle sue caratteristiche principali:

• Output dei metadati: Invece di inviare immagini complete, emette metadati, riducendo significativamente le dimensioni dei dati, il che abbassa l'uso della larghezza di banda e i costi.
• Privacy avanzata: Elaborando i dati sul dispositivo, l'IMX500 migliora la privacy, soprattutto in situazioni che coinvolgono informazioni sensibili, come compiti di visione artificiale legati alle persone, tra cui il conteggio delle persone.
• Elaborazione in tempo reale: La capacità del sensore di gestire rapidamente i dati significa che supporta un processo decisionale rapido e in tempo reale che abilita applicazioni di edge AI come i sistemi autonomi.

L'IMX500 non è solo un sensore per fotocamera, ma un potente strumento di rilevamento che trasforma il modo in cui i dispositivi percepiscono e interagiscono con il mondo circostante. Integrando l'IA direttamente nel sensore, Sony sta rendendo l'edge AI più accessibile per settori come l'automotive, la sanità e le smart city. Nelle sezioni successive, approfondiremo il modo in cui l'IMX500 funziona con i modelli Ultralytics YOLO per migliorare il rilevamento degli oggetti e l'elaborazione dei dati sui dispositivi edge.

Fig 2. Wei Tang sul palco di YOLO Vision 2024 mentre presenta il sensore di visione intelligente Sony IMX500.

La piattaforma AITRIOS di Sony: semplificare l'edge AI#

Dopo aver introdotto il sensore IMX500, Wei Tang ha espresso che, sebbene l'hardware sia fondamentale, non è sufficiente da solo per affrontare l'intera gamma di sfide legate all'implementazione dell'IA sull'edge. Ha parlato di come l'integrazione dell'IA su dispositivi come telecamere e sensori richieda più di un semplice hardware avanzato: necessita di un software intelligente per gestirlo. È qui che entra in gioco la piattaforma AITRIOS di Sony, che offre una soluzione software affidabile progettata per rendere la distribuzione dell'IA sui dispositivi edge più semplice ed efficiente.

AITRIOS funge da ponte tra modelli di IA complessi e le limitazioni dei dispositivi edge. Offre agli sviluppatori una gamma di strumenti per distribuire rapidamente modelli di IA pre-addestrati. Ma soprattutto, supporta il riaddestramento continuo in modo che i modelli di IA possano rimanere adattabili ai cambiamenti del mondo reale.

Wei ha anche evidenziato come AITRIOS semplifichi il processo per chi non ha una profonda esperienza nell'IA, offrendo flessibilità per personalizzare i modelli di IA per casi d'uso specifici di edge AI. Affronta inoltre problemi comuni come i vincoli di memoria e i cali di prestazioni, semplificando l'integrazione dell'IA in dispositivi più piccoli senza sacrificare precisione o velocità.

Fig 3. Esempi di casi d'uso di edge AI. Fonte immagine: SONY Semicon | AITRIOS.

Ottimizzazione dei modelli YOLO sull'IMX500#

Nella seconda parte dell'intervento, il microfono è passato ad Amir, che si è addentrato nell'aspetto tecnico di come Sony ha ottimizzato i modelli YOLO sul sensore IMX500.

Amir ha iniziato dicendo: “I modelli YOLO abilitano l'edge e sono piuttosto facili da ottimizzare, grazie a Glenn e al team. Ve ne convicerò, non preoccupatevi." Amir ha poi spiegato che, sebbene gran parte dell'attenzione sia solitamente rivolta all'ottimizzazione del modello di IA in sé, questo approccio spesso trascura una preoccupazione cruciale: i colli di bottiglia del post-processing.

Amir ha sottolineato che in molti casi, una volta che il modello di IA completa il suo compito, il processo di trasferimento dei dati e di gestione del post-processing su un dispositivo host può causare ritardi significativi. Questo trasferimento di dati avanti e indietro tra il dispositivo e l'host introduce latenza, che può rappresentare un ostacolo importante per raggiungere le migliori prestazioni.

Fig 4. Amir Servi sul palco di YOLO Vision 2024 mentre spiega i colli di bottiglia nel post-processing.

Per affrontare questo problema, Amir ha enfatizzato l'importanza di considerare l'intero sistema end-to-end, anziché concentrarsi solo sul modello di IA. Con il sensore IMX500, hanno scoperto che il post-processing era il principale collo di bottiglia che rallentava tutto. Ha condiviso che la vera svolta è stata lo sblocco della non-maximum suppression (NMS) on-chip.

Ha permesso al post-processing di avvenire direttamente sul sensore, eliminando la necessità di trasferire grandi quantità di dati a un dispositivo host. Eseguendo la NMS direttamente sull'IMX500, Sony ha superato quello che Amir ha definito il "soffitto di vetro del post-processing", ottenendo prestazioni molto migliori e una riduzione della latenza.

Fig 5. Superamento del collo di bottiglia del post-process. Fonte immagine: SONY Semicon | AITRIOS

Successivamente, daremo un'occhiata a come questa innovazione ha aiutato i modelli YOLO, in particolare Ultralytics YOLOv8 Nano, a funzionare in modo più efficiente sui dispositivi edge, creando nuove opportunità per l'elaborazione AI in tempo reale su hardware più piccolo e con risorse limitate.

I modelli Ultralytics YOLOv8 ottengono un incremento di velocità di 4x con l'IMX500 di Sony#

Concludendo l'intervento con una nota positiva, Amir ha dimostrato come siano riusciti a quadruplicare le prestazioni del modello Ultralytics YOLOv8 Nano eseguendo NMS sull'edge. Lo ha mostrato su un Raspberry Pi 5, integrato con il sensore AI IMX500. Amir ha confrontato le prestazioni quando il post-processing veniva gestito su un dispositivo host rispetto al chip IMX500.

I risultati hanno mostrato chiaramente un notevole miglioramento dei fotogrammi al secondo (FPS) e dell'efficienza complessiva quando l'elaborazione veniva eseguita on-chip. L'ottimizzazione ha reso il rilevamento degli oggetti più rapido e fluido e ha anche dimostrato la praticità dell'elaborazione di IA in tempo reale su dispositivi più piccoli e con risorse limitate come il Raspberry Pi.

Punti chiave#

Il sensore IMX500 di Sony, la piattaforma AITRIOS e i modelli YOLO di Ultralytics stanno rimodellando lo sviluppo dell'edge AI. L'elaborazione AI on-chip riduce il trasferimento dei dati e la latenza, aumentando al contempo privacy, sicurezza ed efficienza. Concentrandosi sull'intero sistema, non solo sul modello AI, queste innovazioni rendono l'edge AI più accessibile agli sviluppatori e a chi non ha una profonda esperienza in AI. Poiché la tecnologia edge AI continua ad avanzare, probabilmente abiliterà dispositivi più intelligenti, decisioni più rapide e protezioni della privacy più forti in un'ampia gamma di settori e applicazioni.

Rimani in contatto con la nostra community per continuare a imparare sull'IA! Dai un'occhiata al nostro repository GitHub per scoprire come possiamo usare l'IA per creare soluzioni innovative in vari settori come l'agricoltura e la produzione. 🚀