L'Edge AI consente ai modelli di intelligenza artificiale (AI) di operare direttamente su dispositivi come smartphone, telecamere e droni. Il suo vantaggio principale è che supporta un processo decisionale più rapido e in tempo reale senza fare affidamento sul cloud. Infatti, studi dimostrano che l'utilizzo dell'AI su piattaforme edge può aumentare l'efficienza operativa fino al 40%. 

I recenti progressi nell'edge AI, in particolare nella computer vision, l'hanno resa un argomento centrale allo YOLO Vision 2024 (YV24), l'evento ibrido annuale di Ultralytics che riunisce appassionati ed esperti di AI per esplorare le ultime novità nella Vision AI. Uno dei momenti salienti dell'evento è stata la presentazione principale di Sony, in cui ha mostrato le sue nuove soluzioni software e hardware AI all'avanguardia. Sono stati presentati il sensore IMX500 e la piattaforma AITRIOS e Sony ha dimostrato come queste innovazioni stiano rendendo più facile ed efficiente il deploy di modelli YOLO di Ultralytics come Ultralytics YOLO11 e Ultralytics YOLOv8 sull'edge.

La sessione è stata condotta da Wei Tang, Business Development Manager focalizzato sulle soluzioni di imaging di Sony, e Amir Servi, Edge Deep Learning Product Manager con esperienza nel deploy di modelli di deep learning su dispositivi edge. 

In questo articolo, rivisiteremo il discorso di Sony all'YV24 ed esploreremo come il sensore IMX500 e la piattaforma AITRIOS ottimizzano l'uso dei modelli YOLO per un'elaborazione AI on-edge più rapida e in tempo reale. Iniziamo!

La visione di Sony: democratizzare l'AI sui dispositivi edge

Wei Tang ha aperto la sessione parlando dell'obiettivo di Sony di rendere l'edge AI accessibile come lo è stata la fotografia anni fa. Ha sottolineato come Sony si stia concentrando sull'offrire Vision AI avanzata a un numero maggiore di persone attraverso l'edge computing. Uno dei fattori trainanti di questa iniziativa è l'impatto positivo che l'edge AI può avere sull'ambiente. Elaborando i dati direttamente sui dispositivi invece di fare affidamento su enormi data center, l'edge computing aiuta a ridurre il consumo di energia e le emissioni di carbonio. È un approccio più intelligente e più ecologico che si adatta perfettamente all'impegno di Sony di sviluppare una tecnologia che non solo funzioni meglio, ma che contribuisca anche a creare un futuro più sostenibile.

Wei ha continuato spiegando come Sony Semiconductor Solutions, la divisione di Sony specializzata in tecnologie di imaging e sensing, crea sensori di immagine avanzati. Questi sensori sono utilizzati in una varietà di dispositivi, convertendo la luce in segnali elettronici per catturare immagini. Con oltre 1,2 miliardi di sensori spediti ogni anno, si trovano in quasi la metà dei telefoni cellulari del mondo, rendendo Sony un attore importante nel settore dell'imaging. 

‍

Basandosi su questa esperienza, Sony sta ora compiendo ulteriori progressi trasformando questi sensori da dispositivi di acquisizione di immagini in strumenti intelligenti in grado di elaborare i dati in tempo reale, consentendo approfondimenti basati sull'AI direttamente sui dispositivi. Prima di discutere le soluzioni hardware e software che Sony sta utilizzando per supportare questo cambiamento, cerchiamo di capire le sfide dell'edge AI che queste innovazioni mirano a risolvere.

Sfide relative all'elaborazione di immagini AI su dispositivi edge

Lo sviluppo di soluzioni edge AI comporta alcune sfide fondamentali, soprattutto quando si lavora con dispositivi come telecamere e sensori. Molti di questi dispositivi hanno una potenza e una capacità di elaborazione limitate, il che rende difficile eseguire modelli AI avanzati in modo efficiente.

Ecco alcune delle altre principali limitazioni:

• Complessità del software: Adattare i modelli AI per funzionare su vari dispositivi edge con diverse configurazioni hardware può essere complesso e richiedere modifiche e ottimizzazioni.
  ‍
• Colli di bottiglia nella post-elaborazione: Spesso si verifica un ritardo quando si trasferiscono grandi quantità di dati dal dispositivo all'host per la post-elaborazione. Questo spesso richiede più tempo rispetto all'inferenza del modello AI vera e propria.
  ‍
• Esplosione di dati: Con molti dispositivi IoT che generano dati costantemente, il volume di dati che deve essere gestito localmente può essere eccessivo, sovraccaricando ulteriormente i dispositivi edge.

Scopri il sensore di visione intelligente IMX500 di Sony

Il sensore di visione intelligente IMX500 di Sony è un componente hardware rivoluzionario nell'elaborazione AI edge. È il primo sensore di visione intelligente al mondo con funzionalità AI su chip. Questo sensore aiuta a superare molte sfide nell'AI edge, tra cui i colli di bottiglia nell'elaborazione dei dati, i problemi di privacy e le limitazioni delle prestazioni.

Mentre altri sensori si limitano a trasmettere immagini e fotogrammi, l'IMX500 racconta un'intera storia. Elabora i dati direttamente sul sensore, consentendo ai dispositivi di generare informazioni in tempo reale. Durante la sessione, Wei Tang ha affermato: "Sfruttando la nostra tecnologia avanzata di sensori di immagine, miriamo a potenziare una nuova generazione di applicazioni in grado di migliorare la vita di tutti i giorni." L'IMX500 è progettato per raggiungere questo obiettivo, trasformando il modo in cui i dispositivi gestiscono i dati direttamente sul sensore, senza la necessità di inviarli al cloud per l'elaborazione.

Ecco alcune delle sue caratteristiche principali:

• Output di metadati: Invece di inviare immagini complete, invia metadati, riducendo significativamente le dimensioni dei dati, il che riduce l'uso della larghezza di banda e i costi.
  ‍
• Privacy migliorata: Elaborando i dati sul dispositivo, l'IMX500 migliora la privacy, soprattutto in situazioni in cui sono coinvolte informazioni sensibili, come le attività di computer vision relative all'uomo, come il conteggio delle persone.
  ‍
• Elaborazione in tempo reale: la capacità del sensore di gestire rapidamente i dati significa che supporta un processo decisionale rapido e in tempo reale che abilita applicazioni di edge AI come i sistemi autonomi.

L'IMX500 non è solo un sensore per fotocamere, ma un potente strumento di rilevamento che trasforma il modo in cui i dispositivi percepiscono e interagiscono con il mondo che li circonda. Incorporando l'AI direttamente nel sensore, Sony rende l'edge AI più accessibile per settori come l'automotive, la sanità e le smart city. Nelle sezioni successive, approfondiremo il modo in cui l'IMX500 funziona con i modelli YOLO di Ultralytics per migliorare il rilevamento degli oggetti e l'elaborazione dei dati sui dispositivi edge.

‍

Piattaforma AITRIOS di Sony: semplificazione dell'edge AI

Dopo aver presentato il sensore IMX500, Wei Tang ha espresso che, sebbene l'hardware sia fondamentale, non è sufficiente da solo ad affrontare l'intera portata delle sfide coinvolte nell'implementazione dell'AI sull'edge. Ha parlato di come l'integrazione dell'AI su dispositivi come telecamere e sensori richieda più di un semplice hardware avanzato: è necessario un software intelligente per gestirlo. È qui che entra in gioco la piattaforma AITRIOS di Sony, che offre una soluzione software affidabile progettata per rendere l'implementazione dell'AI sui dispositivi edge più semplice ed efficiente.

AITRIOS funge da ponte tra i complessi modelli di AI e i limiti dei dispositivi edge. Fornisce agli sviluppatori una gamma di strumenti per l'implementazione rapida di modelli di AI pre-addestrati. Ma, cosa ancora più importante, supporta il retraining continuo in modo che i modelli di AI possano rimanere adattabili ai cambiamenti del mondo reale. 

Wei ha anche sottolineato come AITRIOS semplifichi il processo per coloro che non hanno una profonda esperienza nell'AI, offrendo la flessibilità di personalizzare i modelli di AI per casi d'uso specifici di edge AI. Affronta anche sfide comuni come i vincoli di memoria e i cali di performance, rendendo più facile integrare l'AI in dispositivi più piccoli senza sacrificare l'accuratezza o la velocità. 

‍

Ottimizzazione dei modelli YOLO sull'IMX500

Nella seconda parte del discorso, il microfono è passato ad Amir, che si è addentrato nell'aspetto tecnico di come Sony ha ottimizzato i modelli YOLO sul sensore IMX500. 

Amir ha iniziato dicendo: "I modelli YOLO sono abilitanti per l'edge e sono abbastanza facili da ottimizzare, grazie a Glenn e al team. Vi convincerò di questo, non preoccupatevi." Amir ha poi spiegato che, sebbene molta attenzione sia tipicamente rivolta all'ottimizzazione del modello di IA stesso, questo approccio spesso trascura una preoccupazione cruciale: i colli di bottiglia della post-elaborazione.

Amir ha sottolineato che, in molti casi, una volta che il modello di IA completa il suo compito, il processo di trasferimento dei dati e di gestione della post-elaborazione su un dispositivo host può causare ritardi significativi. Questo trasferimento di dati avanti e indietro tra il dispositivo e l'host introduce latenza, che può essere un ostacolo importante per ottenere le migliori prestazioni.

‍

Per affrontare questo problema, Amir ha sottolineato l'importanza di considerare l'intero sistema end-to-end, piuttosto che concentrarsi solo sul modello di IA. Con il sensore IMX500, hanno scoperto che la post-elaborazione era il principale collo di bottiglia che rallentava tutto. Ha condiviso che la vera svolta è stata sbloccare la soppressione non massima (NMS) on-chip. 

Ha permesso di eseguire la post-elaborazione direttamente sul sensore, eliminando la necessità di trasferire grandi quantità di dati a un dispositivo host. Eseguendo NMS direttamente sull'IMX500, Sony ha superato quello che Amir ha definito il "tetto di vetro della post-elaborazione", ottenendo prestazioni di gran lunga migliori e una riduzione della latenza.

‍

Successivamente, esamineremo come questa innovazione ha aiutato i modelli YOLO, in particolare YOLOv8 Nano, a funzionare in modo più efficiente sui dispositivi edge, creando nuove opportunità per l'elaborazione AI in tempo reale su hardware più piccolo e con risorse limitate.

I modelli YOLOv8 raggiungono un aumento di velocità di 4 volte con l'IMX500 di Sony

Concludendo il discorso con una nota positiva, Amir ha dimostrato come sono stati in grado di quadruplicare le prestazioni del modello YOLOv8 Nano eseguendo NMS sull'edge. Lo ha mostrato su un Raspberry Pi 5, integrato con il sensore AI IMX500. Amir ha confrontato le prestazioni quando la post-elaborazione veniva gestita su un dispositivo host rispetto al chip IMX500. 

I risultati hanno mostrato chiaramente un notevole miglioramento in termini di frame al secondo (FPS) ed efficienza complessiva quando l'elaborazione veniva eseguita on-chip. L'ottimizzazione ha reso l'object detection più rapida e fluida e ha anche dimostrato la praticità dell'elaborazione AI in tempo reale su dispositivi più piccoli e con risorse limitate come il Raspberry Pi.

Punti chiave

Il sensore IMX500 di Sony, la piattaforma AITRIOS e i modelli Ultralytics YOLO stanno rimodellando lo sviluppo dell'edge AI. L'elaborazione AI on-chip riduce il trasferimento di dati e la latenza, aumentando al contempo la privacy, la sicurezza e l'efficienza. Concentrandosi sull'intero sistema, non solo sul modello AI, queste innovazioni rendono l'edge AI più accessibile agli sviluppatori e a coloro che non hanno una profonda esperienza in AI. Man mano che la tecnologia edge AI continua ad avanzare, probabilmente abiliterà dispositivi più intelligenti, un processo decisionale più rapido e protezioni della privacy più solide in una vasta gamma di settori e applicazioni.

Rimani connesso con la nostra community per continuare a imparare sull'IA! Dai un'occhiata al nostro repository GitHub per scoprire come possiamo utilizzare l'IA per creare soluzioni innovative in vari settori come l'agricoltura e la produzione. 🚀