Potenziare l'AI edge con Sony IMX500 e AITRIOS

L'Edge AI consente ai modelli di intelligenza artificiale (AI) di operare direttamente su dispositivi come smartphone, fotocamere e droni. Il suo principale vantaggio è consentire decisioni più rapide e in tempo reale senza dipendere dal cloud. Gli studi dimostrano infatti che l'uso dell'AI sulle piattaforme edge può aumentare l'efficienza operativa fino al 40%.

I recenti progressi nell'edge AI, in particolare nella computer vision, l'hanno resa un tema centrale di YOLO Vision 2024 (YV24), l'evento ibrido annuale di Ultralytics che riunisce appassionati ed esperti di AI per esplorare le ultime novità nella Vision AI. Uno dei momenti salienti dell'evento è stata la presentazione principale di Sony, durante la quale l'azienda ha presentato le sue nuove soluzioni all'avanguardia di hardware per l'AI e software. Sono stati presentati il sensore IMX500 e la piattaforma AITRIOS, e Sony ha mostrato come queste innovazioni rendano più semplice ed efficiente il deployment di modelli Ultralytics YOLO come Ultralytics YOLO11 e Ultralytics YOLOv8 sull'edge.

La sessione è stata condotta da Wei Tang, Business Development Manager specializzata nelle soluzioni di imaging di Sony, e da Amir Servi, Edge Deep Learning Product Manager esperto nel deployment di modelli di deep learning su dispositivi edge.

In questo articolo ripercorreremo l'intervento di Sony a YV24 ed esploreremo come il sensore IMX500 e la piattaforma AITRIOS ottimizzano l'uso dei modelli YOLO per un'elaborazione dell'AI sull'edge più rapida e in tempo reale. Cominciamo!

La visione di Sony: democratizzare l'AI sui dispositivi edge#

Wei Tang ha aperto la sessione parlando dell'obiettivo di Sony di rendere l'edge AI accessibile quanto lo è stata la fotografia anni fa. Ha sottolineato come Sony si concentri ora sul portare la Vision AI a un numero maggiore di persone attraverso l'edge computing. Uno dei fattori trainanti è l'impatto positivo che l'edge AI può avere sull'ambiente. Elaborando i dati direttamente sui dispositivi invece di affidarsi a enormi data center, l'edge computing contribuisce a ridurre il consumo energetico e le emissioni di carbonio. È un approccio più intelligente e sostenibile, perfettamente in linea con l'impegno di Sony a sviluppare tecnologie che non solo funzionano meglio, ma contribuiscono anche a creare un futuro più sostenibile.

Wei ha poi spiegato come Sony Semiconductor Solutions, la divisione di Sony specializzata nelle tecnologie di imaging e sensing, crei sensori di immagine avanzati. Questi sensori vengono utilizzati in un'ampia varietà di dispositivi, convertendo la luce in segnali elettronici per acquisire immagini. Con oltre 1,2 miliardi di sensori distribuiti ogni anno, sono presenti in quasi la metà dei telefoni cellulari del mondo, rendendo Sony un importante protagonista del settore dell'imaging.

Fig. 1. Esempi di sensori di immagine Sony.

Sulla base di questa esperienza, Sony sta ora facendo un ulteriore passo avanti, trasformando questi sensori da dispositivi di acquisizione delle immagini in strumenti intelligenti in grado di elaborare i dati in tempo reale e fornire insight basati sull'AI direttamente sui dispositivi. Prima di analizzare le soluzioni hardware e software utilizzate da Sony per supportare questo cambiamento, esaminiamo le sfide dell'edge AI che queste innovazioni mirano a risolvere.

Sfide relative all'elaborazione delle immagini tramite AI sui dispositivi edge#

Lo sviluppo di soluzioni di edge AI comporta alcune sfide importanti, soprattutto quando si lavora con dispositivi come fotocamere e sensori. Molti di questi dispositivi dispongono di potenza e capacità di elaborazione limitate, rendendo difficile eseguire modelli di AI avanzati in modo efficiente.

Ecco alcune delle principali limitazioni:

• Complessità del software: adattare i modelli di AI per funzionare su diversi dispositivi edge con configurazioni hardware differenti può essere complesso e richiedere modifiche e ottimizzazioni.
• Collo di bottiglia del post-processing: spesso si verifica un ritardo quando grandi quantità di dati vengono trasferite dal dispositivo all'host per il post-processing. Questa operazione richiede spesso più tempo della vera e propria inferenza del modello di AI.
• Esplosione dei dati: con numerosi dispositivi IoT che generano continuamente dati, il volume di dati da gestire localmente può diventare enorme, sottoponendo i dispositivi edge a ulteriore pressione.

Alla scoperta del sensore di visione intelligente Sony IMX500#

Il sensore di visione intelligente Sony IMX500 è un componente hardware rivoluzionario per l'elaborazione dell'edge AI. È il primo sensore di visione intelligente al mondo dotato di funzionalità di AI on-chip. Questo sensore contribuisce a superare molte sfide dell'edge AI, tra cui i colli di bottiglia nell'elaborazione dei dati, i problemi di privacy e i limiti di prestazioni.

Mentre gli altri sensori si limitano a trasmettere immagini e fotogrammi, l'IMX500 racconta l'intera storia. Elabora i dati direttamente sul sensore, consentendo ai dispositivi di generare insight in tempo reale. Durante la sessione, Wei Tang ha dichiarato: "Sfruttando la nostra avanzata tecnologia dei sensori di immagine, puntiamo a dare impulso a una nuova generazione di applicazioni in grado di migliorare la vita quotidiana." L'IMX500 è progettato per raggiungere questo obiettivo, trasformando il modo in cui i dispositivi gestiscono i dati direttamente sul sensore, senza doverli inviare al cloud per l'elaborazione.

Ecco alcune delle sue caratteristiche principali:

• Output dei metadati: invece di inviare immagini complete, il sensore produce metadati, riducendo significativamente le dimensioni dei dati e, di conseguenza, l'uso della larghezza di banda e i costi.
• Privacy migliorata: elaborando i dati sul dispositivo, l'IMX500 migliora la privacy, soprattutto nelle situazioni che coinvolgono informazioni sensibili, come le attività di computer vision relative alle persone, ad esempio il conteggio delle persone.
• Elaborazione in tempo reale: la capacità del sensore di gestire rapidamente i dati consente decisioni rapide e in tempo reale, supportando applicazioni di edge AI come i sistemi autonomi.

L'IMX500 non è solo un sensore per fotocamere: è un potente strumento di sensing che trasforma il modo in cui i dispositivi percepiscono e interagiscono con il mondo circostante. Integrando l'AI direttamente nel sensore, Sony rende l'edge AI più accessibile a settori come quello automobilistico, sanitario e delle smart city. Nelle sezioni successive analizzeremo più in dettaglio come l'IMX500 lavori con i modelli Ultralytics YOLO per migliorare il rilevamento degli oggetti e l'elaborazione dei dati sui dispositivi edge.

Fig. 2. Wei Tang sul palco di YOLO Vision 2024 presenta il sensore di visione intelligente Sony IMX500.

La piattaforma AITRIOS di Sony: semplificare l'edge AI#

Dopo aver presentato il sensore IMX500, Wei Tang ha spiegato che, sebbene l'hardware sia fondamentale, da solo non è sufficiente ad affrontare l'intera portata delle sfide legate al deployment dell'AI sull'edge. Ha illustrato come l'integrazione dell'AI in dispositivi quali fotocamere e sensori richieda più del semplice hardware avanzato: servono software intelligenti per gestirla. È qui che entra in gioco la piattaforma AITRIOS di Sony, che offre una soluzione software affidabile progettata per rendere il deployment dell'AI sui dispositivi edge più semplice ed efficiente.

AITRIOS funge da ponte tra i complessi modelli di AI e i limiti dei dispositivi edge. Fornisce agli sviluppatori una serie di strumenti per il deployment rapido di modelli di AI preaddestrati. Ancora più importante, supporta il retraining continuo, così i modelli di AI possono rimanere adattabili ai cambiamenti del mondo reale.

Wei ha inoltre evidenziato come AITRIOS semplifichi il processo per chi non possiede competenze approfondite in AI, offrendo la flessibilità necessaria per personalizzare i modelli di AI in base a casi d'uso specifici dell'edge AI. Affronta anche problemi comuni come i vincoli di memoria e i cali di prestazioni, rendendo più semplice integrare l'AI in dispositivi più piccoli senza sacrificare precisione o velocità.

Fig. 3. Esempi di casi d'uso dell'edge AI. Fonte dell'immagine: SONY Semicon | AITRIOS.

Ottimizzazione dei modelli YOLO sull'IMX500#

Nella seconda parte dell'intervento, il microfono è passato ad Amir, che ha approfondito gli aspetti tecnici dell'ottimizzazione dei modelli YOLO sul sensore IMX500 di Sony.

Amir ha esordito dicendo: “I modelli YOLO abilitano l'edge e sono abbastanza semplici da ottimizzare, grazie a Glenn e al team. Te ne convincerò, non preoccuparti." Amir ha poi spiegato che, sebbene in genere si dedichi molta attenzione all'ottimizzazione del modello di AI, questo approccio trascura spesso un aspetto cruciale: i colli di bottiglia del post-processing.

Amir ha osservato che in molti casi, una volta completato il proprio compito dal modello di AI, il trasferimento dei dati e la gestione del post-processing su un dispositivo host possono causare ritardi significativi. Questo trasferimento continuo di dati tra il dispositivo e l'host introduce latenza, che può rappresentare un ostacolo importante per ottenere le migliori prestazioni.

Fig. 4. Amir Servi sul palco di YOLO Vision 2024 spiega i colli di bottiglia del post-processing.

Per affrontare questo problema, Amir ha sottolineato l'importanza di considerare l'intero sistema end-to-end, invece di concentrarsi solo sul modello di AI. Con il sensore IMX500 hanno scoperto che il post-processing era il principale collo di bottiglia che rallentava l'intero processo. Ha spiegato che la vera svolta è stata sbloccare la soppressione non massima (NMS) on-chip.

Questo ha consentito di eseguire il post-processing direttamente sul sensore, eliminando la necessità di trasferire grandi quantità di dati a un dispositivo host. Eseguendo NMS direttamente sull'IMX500, Sony ha superato quello che Amir ha definito il “limite invalicabile del post-processing”, ottenendo prestazioni nettamente migliori e una riduzione della latenza.

Fig. 5. Superamento del collo di bottiglia del post-processing. Fonte dell'immagine: SONY Semicon | AITRIOS

Ora vedremo come questa innovazione abbia aiutato i modelli YOLO, in particolare Ultralytics YOLOv8 Nano, a funzionare in modo più efficiente sui dispositivi edge, creando nuove opportunità per l'elaborazione dell'AI in tempo reale su hardware più piccoli e con risorse limitate.

I modelli Ultralytics YOLOv8 ottengono un aumento della velocità di 4 volte con Sony IMX500#

Concludendo l'intervento in modo positivo, Amir ha dimostrato come siano riusciti a quadruplicare le prestazioni del modello Ultralytics YOLOv8 Nano eseguendo NMS sull'edge. Lo ha mostrato su un Raspberry Pi 5 integrato con il sensore AI IMX500. Amir ha confrontato le prestazioni quando il post-processing veniva gestito su un dispositivo host rispetto a quando veniva eseguito sul chip IMX500.

I risultati hanno mostrato chiaramente un netto miglioramento dei fotogrammi al secondo (FPS) e dell'efficienza complessiva quando l'elaborazione veniva eseguita on-chip. L'ottimizzazione ha reso il rilevamento degli oggetti più rapido e fluido, dimostrando inoltre la praticità dell'elaborazione dell'AI in tempo reale su dispositivi più piccoli e con risorse limitate come Raspberry Pi.

Punti chiave#

Il sensore IMX500 di Sony, la piattaforma AITRIOS e i modelli Ultralytics YOLO stanno trasformando lo sviluppo dell'edge AI. L'elaborazione dell'AI on-chip riduce il trasferimento dei dati e la latenza, migliorando al contempo privacy, sicurezza ed efficienza. Concentrandosi sull'intero sistema, non solo sul modello di AI, queste innovazioni rendono l'edge AI più accessibile agli sviluppatori e a chi non possiede competenze approfondite in AI. Con il continuo progresso della tecnologia edge AI, è probabile che questa abiliti dispositivi più intelligenti, decisioni più rapide e protezioni della privacy più solide in un'ampia gamma di settori e applicazioni.

Resta in contatto con la nostra community per continuare a conoscere l’AI! Dai un’occhiata al nostro repository GitHub per scoprire come possiamo utilizzare l’AI per creare soluzioni innovative in diversi settori, come l’agricoltura e la produzione. 🚀