L'Edge AI consente ai modelli di intelligenza artificiale (AI) di operare direttamente su dispositivi come smartphone, telecamere e droni. Il suo vantaggio principale è che supporta un processo decisionale più rapido e in tempo reale senza fare affidamento sul cloud. Infatti, studi dimostrano che l'utilizzo dell'AI su piattaforme edge può aumentare l'efficienza operativa fino al 40%. 

I recenti progressi nell'IA di frontiera, in particolare nella computer vision, ne hanno fatto un argomento centrale a YOLO Vision 2024 (YV24), l'evento ibrido annuale di Ultralytics che riunisce appassionati ed esperti di IA per esplorare le ultime novità in materia di IA di visione. Uno dei momenti salienti dell'evento è stato il keynote di Sony, in cui sono state presentate le nuove soluzioni hardware e software di AI all'avanguardia. Il sensore IMX500 e la piattaforma AITRIOS sono stati presentati e Sony ha dimostrato come queste innovazioni rendano più semplice ed efficiente l 'implementazione dei modelliUltralytics YOLO come Ultralytics YOLO11 e Ultralytics YOLOv8 sul bordo.

La sessione è stata condotta da Wei Tang, Business Development Manager focalizzato sulle soluzioni di imaging di Sony, e Amir Servi, Edge Deep Learning Product Manager con esperienza nel deploy di modelli di deep learning su dispositivi edge. 

In questo articolo, ripercorreremo l'intervento di Sony all'YV24 ed esploreremo come il sensore IMX500 e la piattaforma AITRIOS ottimizzino l'uso dei modelli YOLO per un'elaborazione dell'intelligenza artificiale più rapida e in tempo reale. Iniziamo!

La visione di Sony: democratizzare l'AI sui dispositivi edge

Wei Tang ha aperto la sessione parlando dell'obiettivo di Sony di rendere l'edge AI accessibile come lo è stata la fotografia anni fa. Ha sottolineato come Sony si stia concentrando sull'offrire Vision AI avanzata a un numero maggiore di persone attraverso l'edge computing. Uno dei fattori trainanti di questa iniziativa è l'impatto positivo che l'edge AI può avere sull'ambiente. Elaborando i dati direttamente sui dispositivi invece di fare affidamento su enormi data center, l'edge computing aiuta a ridurre il consumo di energia e le emissioni di carbonio. È un approccio più intelligente e più ecologico che si adatta perfettamente all'impegno di Sony di sviluppare una tecnologia che non solo funzioni meglio, ma che contribuisca anche a creare un futuro più sostenibile.

Wei ha continuato spiegando come Sony Semiconductor Solutions, la divisione di Sony specializzata in tecnologie di imaging e sensing, crea sensori di immagine avanzati. Questi sensori sono utilizzati in una varietà di dispositivi, convertendo la luce in segnali elettronici per catturare immagini. Con oltre 1,2 miliardi di sensori spediti ogni anno, si trovano in quasi la metà dei telefoni cellulari del mondo, rendendo Sony un attore importante nel settore dell'imaging. 

‍

Basandosi su questa esperienza, Sony sta ora compiendo ulteriori progressi trasformando questi sensori da dispositivi di acquisizione di immagini in strumenti intelligenti in grado di elaborare i dati in tempo reale, consentendo approfondimenti basati sull'AI direttamente sui dispositivi. Prima di discutere le soluzioni hardware e software che Sony sta utilizzando per supportare questo cambiamento, cerchiamo di capire le sfide dell'edge AI che queste innovazioni mirano a risolvere.

Sfide relative all'elaborazione di immagini AI su dispositivi edge

Lo sviluppo di soluzioni edge AI comporta alcune sfide fondamentali, soprattutto quando si lavora con dispositivi come telecamere e sensori. Molti di questi dispositivi hanno una potenza e una capacità di elaborazione limitate, il che rende difficile eseguire modelli AI avanzati in modo efficiente.

Ecco alcune delle altre principali limitazioni:

• Complessità del software: Adattare i modelli AI per funzionare su vari dispositivi edge con diverse configurazioni hardware può essere complesso e richiedere modifiche e ottimizzazioni.
  ‍
• Colli di bottiglia nella post-elaborazione: Spesso si verifica un ritardo quando si trasferiscono grandi quantità di dati dal dispositivo all'host per la post-elaborazione. Questo spesso richiede più tempo rispetto all'inferenza del modello AI vera e propria.
  ‍
• Esplosione di dati: Con molti dispositivi IoT che generano dati costantemente, il volume di dati che deve essere gestito localmente può essere eccessivo, sovraccaricando ulteriormente i dispositivi edge.

Scopri il sensore di visione intelligente IMX500 di Sony

Il sensore di visione intelligente IMX500 di Sony è un componente hardware rivoluzionario nell'elaborazione AI edge. È il primo sensore di visione intelligente al mondo con funzionalità AI su chip. Questo sensore aiuta a superare molte sfide nell'AI edge, tra cui i colli di bottiglia nell'elaborazione dei dati, i problemi di privacy e le limitazioni delle prestazioni.

Mentre altri sensori si limitano a trasmettere immagini e fotogrammi, l'IMX500 racconta un'intera storia. Elabora i dati direttamente sul sensore, consentendo ai dispositivi di generare informazioni in tempo reale. Durante la sessione, Wei Tang ha affermato: "Sfruttando la nostra tecnologia avanzata di sensori di immagine, miriamo a potenziare una nuova generazione di applicazioni in grado di migliorare la vita di tutti i giorni." L'IMX500 è progettato per raggiungere questo obiettivo, trasformando il modo in cui i dispositivi gestiscono i dati direttamente sul sensore, senza la necessità di inviarli al cloud per l'elaborazione.

Ecco alcune delle sue caratteristiche principali:

• Output di metadati: Invece di inviare immagini complete, invia metadati, riducendo significativamente le dimensioni dei dati, il che riduce l'uso della larghezza di banda e i costi.
  ‍
• Privacy migliorata: Elaborando i dati sul dispositivo, l'IMX500 migliora la privacy, soprattutto in situazioni in cui sono coinvolte informazioni sensibili, come le attività di computer vision relative all'uomo, come il conteggio delle persone.
  ‍
• Elaborazione in tempo reale: la capacità del sensore di gestire rapidamente i dati significa che supporta un processo decisionale rapido e in tempo reale che abilita applicazioni di edge AI come i sistemi autonomi.

L'IMX500 non è solo un sensore per fotocamere: è un potente strumento di rilevamento che trasforma il modo in cui i dispositivi percepiscono e interagiscono con il mondo circostante. Incorporando l'IA direttamente nel sensore, Sony rende l'IA di frontiera più accessibile per settori come quello automobilistico, sanitario e delle smart city. Nelle sezioni successive, approfondiremo come IMX500 lavora con i modelliYOLO di Ultralytics per migliorare il rilevamento degli oggetti e l'elaborazione dei dati sui dispositivi edge.

‍

Piattaforma AITRIOS di Sony: semplificazione dell'edge AI

Dopo aver presentato il sensore IMX500, Wei Tang ha espresso che, sebbene l'hardware sia fondamentale, non è sufficiente da solo ad affrontare l'intera portata delle sfide coinvolte nell'implementazione dell'AI sull'edge. Ha parlato di come l'integrazione dell'AI su dispositivi come telecamere e sensori richieda più di un semplice hardware avanzato: è necessario un software intelligente per gestirlo. È qui che entra in gioco la piattaforma AITRIOS di Sony, che offre una soluzione software affidabile progettata per rendere l'implementazione dell'AI sui dispositivi edge più semplice ed efficiente.

AITRIOS funge da ponte tra i complessi modelli di AI e i limiti dei dispositivi edge. Fornisce agli sviluppatori una gamma di strumenti per l'implementazione rapida di modelli di AI pre-addestrati. Ma, cosa ancora più importante, supporta il retraining continuo in modo che i modelli di AI possano rimanere adattabili ai cambiamenti del mondo reale. 

Wei ha anche sottolineato come AITRIOS semplifichi il processo per coloro che non hanno una profonda esperienza nell'AI, offrendo la flessibilità di personalizzare i modelli di AI per casi d'uso specifici di edge AI. Affronta anche sfide comuni come i vincoli di memoria e i cali di performance, rendendo più facile integrare l'AI in dispositivi più piccoli senza sacrificare l'accuratezza o la velocità. 

‍

Ottimizzazione dei modelli YOLO su IMX500

Nella seconda parte dell'intervento, il microfono è passato ad Amir, che ha approfondito l'aspetto tecnico di come Sony ha ottimizzato i modelliYOLO sul sensore IMX500. 

Amir ha esordito dicendo: "I modelliYOLO sono abilitanti per i bordi e sono abbastanza facili da ottimizzare, grazie a Glenn e al team. Vi convincerò di questo, non preoccupatevi". Amir ha poi spiegato che, mentre di solito ci si concentra molto sull'ottimizzazione del modello di intelligenza artificiale in sé, questo approccio spesso trascura un problema cruciale: i colli di bottiglia della post-elaborazione.

Amir ha sottolineato che, in molti casi, una volta che il modello di IA completa il suo compito, il processo di trasferimento dei dati e di gestione della post-elaborazione su un dispositivo host può causare ritardi significativi. Questo trasferimento di dati avanti e indietro tra il dispositivo e l'host introduce latenza, che può essere un ostacolo importante per ottenere le migliori prestazioni.

‍

Per affrontare questo problema, Amir ha sottolineato l'importanza di guardare all'intero sistema end-to-end, piuttosto che concentrarsi solo sul modello AI. Con il sensore IMX500, hanno scoperto che la post-elaborazione era il principale collo di bottiglia che rallentava tutto. Ha aggiunto che la vera svolta è stata lo sblocco della soppressione non massimale (NMS) su chip. 

Ha permesso di effettuare la post-elaborazione direttamente sul sensore, eliminando la necessità di trasferire grandi quantità di dati a un dispositivo host. Eseguendo l'NMS direttamente sull'IMX500, Sony ha superato quello che Amir ha definito il "soffitto di vetro della post-elaborazione", ottenendo prestazioni e riduzione della latenza di gran lunga migliori.

‍

Daremo poi un'occhiata a come questa innovazione ha aiutato i modelli YOLO , in particolare YOLOv8 Nano, a funzionare in modo più efficiente sui dispositivi edge, creando nuove opportunità per l'elaborazione dell'intelligenza artificiale in tempo reale su hardware di dimensioni ridotte e con risorse limitate.

I modelli YOLOv8 ottengono un aumento della velocità di 4 volte con l'IMX500 di Sony

Per concludere il discorso con una nota positiva, Amir ha dimostrato come sia stato possibile quadruplicare le prestazioni del modello YOLOv8 Nano eseguendo NMS on edge. Lo ha mostrato su un Raspberry Pi 5, integrato con il sensore IMX500 AI. Amir ha confrontato le prestazioni quando la post-elaborazione è stata gestita su un dispositivo host rispetto al chip IMX500. 

I risultati hanno mostrato chiaramente un notevole miglioramento in termini di frame al secondo (FPS) ed efficienza complessiva quando l'elaborazione veniva eseguita on-chip. L'ottimizzazione ha reso l'object detection più rapida e fluida e ha anche dimostrato la praticità dell'elaborazione AI in tempo reale su dispositivi più piccoli e con risorse limitate come il Raspberry Pi.

Punti chiave

Il sensore IMX500 di Sony, la piattaforma AITRIOS e i modelliYOLO di Ultralytics stanno rivoluzionando lo sviluppo dell'intelligenza artificiale in ambito edge. L'elaborazione dell'IA on-chip riduce il trasferimento dei dati e la latenza, migliorando al contempo la privacy, la sicurezza e l'efficienza. Concentrandosi sull'intero sistema, e non solo sul modello di IA, queste innovazioni rendono l'IA edge più accessibile agli sviluppatori e a chi non ha una profonda esperienza di IA. Con l'avanzare della tecnologia dell'IA edge, è probabile che essa renda possibili dispositivi più intelligenti, processi decisionali più rapidi e una maggiore protezione della privacy in un'ampia gamma di settori e applicazioni.

Rimani connesso con la nostra community per continuare a imparare sull'IA! Dai un'occhiata al nostro repository GitHub per scoprire come possiamo utilizzare l'IA per creare soluzioni innovative in vari settori come l'agricoltura e la produzione. 🚀