Eseguire i modelli Ultralytics YOLO sul tuo AI PC di Intel con OpenVINO

YOLO Vision 2024 (YV24), l'evento ibrido annuale di Ultralytics, ha riunito appassionati di IA, sviluppatori ed esperti da tutto il mondo per esplorare le ultime innovazioni nella visione artificiale. YV24 è stato una grande opportunità e una piattaforma per discutere nuove scoperte. L'evento ha visto protagonisti i principali attori del settore dell'IA che hanno presentato le loro ultime innovazioni. Tra questi c'era Intel, che ha partecipato all'evento presentando un keynote sul loro nuovo e rivoluzionario AI PC e sull'integrazione di Intel OpenVINO con i modelli Ultralytics YOLO come Ultralytics YOLO11.

Il talk è stato guidato da Adrian Boguszewski, Software Evangelist che ha co-firmato il dataset LandCover.ai e spiega agli sviluppatori il toolkit OpenVINO di Intel, e Dmitriy Pastushenkov, AI PC Evangelist con oltre 20 anni di esperienza nell'automazione industriale e nell'IA. Durante l'evento, Adrian ha condiviso il suo entusiasmo dicendo: "Questo è un grande evento oggi, non solo perché Ultralytics ha rilasciato una nuova versione di YOLO, ma anche perché possiamo presentare questo nuovo modello in esecuzione sul nostro nuovo hardware, oltre a una nuova versione di OpenVINO."

In questo articolo daremo uno sguardo ai punti salienti del talk di Intel a YV24, approfondendo i dettagli del loro AI PC, la serie Intel Core Ultra 200V, e come si integrano con i modelli Ultralytics YOLO utilizzando il toolkit OpenVINO. Cominciamo!

Tecnologie IA all'avanguardia nel 2024#

Dmitriy ha iniziato il keynote approfondendo le differenze chiave tra l'IA tradizionale e l'IA generativa. Il focus è ruotato attorno a come queste tecnologie e i loro casi d'uso si stanno evolvendo nel 2024. Le tecniche di IA tradizionale come la visione artificiale e l'elaborazione del linguaggio naturale sono state essenziali per attività come la stima della posa, il rilevamento di oggetti e il riconoscimento vocale. L'IA generativa, tuttavia, rappresenta una nuova ondata di tecnologia di IA che include applicazioni come chatbot, generazione da testo a immagine, scrittura di codice e persino text-to-video.

Fig 1. Adrian e Dmitriy di Intel, sul palco dello YV24, discutono di casi d'uso dell'IA.

Dmitriy ha sottolineato la differenza di scala tra le due. Ha spiegato che mentre i modelli di IA tradizionale consistono di milioni di parametri, i modelli di IA generativa operano su una scala molto più ampia. I modelli di IA generativa spesso coinvolgono miliardi o addirittura trilioni di parametri, rendendoli molto più esigenti in termini di calcolo.

Il PC IA di Intel: una nuova frontiera dell'hardware IA#

Dmitriy ha introdotto il PC IA di Intel come una nuova soluzione hardware progettata per affrontare le crescenti sfide dell'esecuzione efficiente di modelli IA sia tradizionali che generativi. Il PC IA di Intel è una macchina potente ed efficiente dal punto di vista energetico. È in grado di eseguire un'ampia gamma di modelli IA localmente, senza la necessità di elaborazione basata sul cloud.

L'elaborazione locale aiuta a mantenere privati i dati sensibili. Quando i modelli di IA possono operare indipendentemente dalle connessioni internet, le preoccupazioni etiche dei settori riguardo alla privacy e alla sicurezza trovano una risposta.

La forza trainante dell'Intel AI PC è il processore Intel Core Ultra 200V Series. Questo processore incorpora tre componenti chiave: Central Processing Unit (CPU), Graphics Processing Unit (GPU) e Neural Processing Unit (NPU). Ognuna svolge un ruolo specifico nella gestione di diversi tipi di carichi di lavoro di IA. La CPU è ideale per attività più piccole e a bassa latenza che richiedono risposte rapide, mentre la GPU è ottimizzata per operazioni ad alto throughput come l'esecuzione di modelli di IA. La NPU, progettata per l'efficienza energetica, è particolarmente adatta per attività di lunga durata come il rilevamento di oggetti in tempo reale con modelli come YOLO11.

È stato sottolineato che la CPU può fornire fino a 5 TOPS (trilioni di operazioni al secondo), la GPU fino a 67 TOPS e la NPU fornisce un modo efficiente dal punto di vista energetico per eseguire attività IA continuamente senza consumare le risorse del sistema.

I progressi dell'IA di Intel: la serie Intel Core Ultra 200V#

Il processore Intel Core Ultra 200V Series integra tutti e tre i motori IA (NPU, CPU e GPU) in un singolo chip compatto. Il suo design è perfettamente adatto per dispositivi compatti come i notebook, senza sacrificare le prestazioni.

Il processore include anche RAM integrata, riducendo la necessità di schede grafiche separate. Questo aiuta a ridurre il consumo energetico e mantiene il dispositivo compatto. Dmitriy ha anche sottolineato la flessibilità del processore. Gli utenti possono decidere se eseguire i modelli di IA su CPU, GPU o NPU, a seconda dell'attività. Ad esempio, il rilevamento di oggetti con i modelli YOLO11 può essere eseguito su qualsiasi di questi motori, mentre attività più complesse, come la generazione da testo a immagine, possono utilizzare sia la GPU che la NPU contemporaneamente per prestazioni migliori.

Durante la presentazione, Dmitriy ha estratto il chip dalla tasca, dando a tutti una chiara idea di quanto sia davvero piccolo, nonostante la sua capacità di gestire attività IA così avanzate. È stato un modo divertente e memorabile per mostrare come Intel stia portando potenti funzionalità IA a dispositivi più portatili e pratici.

Fig 2. Il processore Intel Core Ultra 200V può entrare in una tasca.

Ottimizzazione dei modelli IA con Intel OpenVINO#

Dopo aver mostrato i più recenti progressi hardware di Intel, Dmitriy è passato allo stack software di Intel che supporta l'IA. Ha introdotto OpenVINO, il framework open-source di Intel progettato per ottimizzare e distribuire i modelli di IA in modo efficiente su diversi dispositivi. OpenVINO va oltre le attività visive, estendendo il suo supporto ai modelli di IA utilizzati per l'elaborazione del linguaggio naturale, l'elaborazione audio, i transformer e così via.

OpenVINO è compatibile con piattaforme popolari come PyTorch, TensorFlow e ONNX, e gli sviluppatori possono integrarlo facilmente nei loro flussi di lavoro. Una caratteristica chiave su cui ha attirato l'attenzione è la quantizzazione. La quantizzazione comprime i pesi del modello per ridurne le dimensioni, in modo che i modelli di grandi dimensioni possano funzionare senza problemi sui dispositivi locali senza bisogno del cloud. OpenVINO funziona su più framework, eseguendo su CPU, GPU, NPU, FPGA o persino dispositivi ARM, e supporta Windows, Linux e macOS. Dmitriy ha anche guidato il pubblico su quanto sia facile iniziare con OpenVINO.

Fig 3. Dmitriy che spiega come iniziare con OpenVINO.

Integrazione di Ultralytics con Intel OpenVINO#

Nella seconda parte del talk, il microfono è passato ad Adrian, che ha spiegato la perfetta integrazione tra i modelli Ultralytics YOLO e il toolkit OpenVINO di Intel, semplificando il processo di distribuzione del modello YOLO. Ha fornito una spiegazione passo dopo passo di come esportare un modello YOLO utilizzando il pacchetto Python di Ultralytics nel formato OpenVINO sia semplice e veloce. Questa integrazione rende molto più facile per gli sviluppatori ottimizzare i loro modelli per l'hardware Intel e ottenere il massimo da entrambe le piattaforme.

Fig 4. Adrian che spiega come Ultralytics semplifica l'esportazione del tuo modello nel formato OpenVINO.

Adrian ha dimostrato che, una volta addestrato un modello Ultralytics YOLO, gli utenti possono esportarlo utilizzando pochi semplici flag da riga di comando. Ad esempio, gli utenti possono specificare se desiderano esportare il modello come versione in virgola mobile per la massima precisione o come versione quantizzata per una maggiore velocità ed efficienza. Ha anche evidenziato come gli sviluppatori possono gestire questo processo direttamente tramite codice, utilizzando opzioni come la quantizzazione INT8 per migliorare le prestazioni senza sacrificare troppo in termini di accuratezza.

Demo di IA in tempo reale sul PC IA di Intel#

Mettendo in pratica tutta questa teoria, il team Intel ha presentato una demo in tempo reale del rilevamento di oggetti eseguendo YOLO11 sull'Intel AI PC. Adrian ha mostrato come il sistema ha gestito il modello su diversi processori, raggiungendo 36 fotogrammi al secondo (FPS) sulla CPU con un modello in virgola mobile, oltre 100 FPS sulla GPU integrata e 70 FPS con la versione quantizzata INT8. Hanno potuto dimostrare con quanta efficienza l'Intel AI PC possa gestire complesse attività di IA.

Ha anche sottolineato che il sistema può eseguire modelli in parallelo, utilizzando CPU, GPU e NPU insieme per attività in cui tutti i dati o i frame video sono disponibili in anticipo. Questo è utile quando si elaborano carichi pesanti come i video. Il sistema può suddividere il carico di lavoro tra diversi processori, rendendolo più veloce ed efficiente.

Per concludere, Adrian ha menzionato che gli utenti possono provare le demo a casa, incluse soluzioni come il conteggio delle persone e la gestione intelligente delle code. Ha poi mostrato una demo bonus in cui gli utenti potevano inserire prompt per generare immagini oniriche in tempo reale sulla GPU. Ha dimostrato la versatilità dell'Intel AI PC sia per le tradizionali attività di IA che per progetti creativi di IA generativa.

Rilevamento di oggetti in tempo reale con Intel OpenVINO#

All'evento, Intel aveva uno stand in cui mostrava una demo di real-time object detection basata su Ultralytics YOLO11, in esecuzione sul loro Intel AI PC. I partecipanti hanno potuto vedere il modello in azione, ottimizzato con OpenVINO e distribuito sul processore Intel Core Ultra 200V.

Fig 5. I partecipanti hanno avuto l'opportunità di vedere una demo in tempo reale allo stand Intel OpenVINO.

Allo stand Intel, Dmitriy ha condiviso: "Questa è la mia prima volta a YOLO Vision e sono felice di essere a Madrid. Stiamo presentando il modello YOLO11 di Ultralytics, in esecuzione sul processore Intel Core Ultra 200V. Mostra prestazioni eccellenti e utilizziamo OpenVINO per ottimizzare e distribuire il modello. È stato molto facile collaborare con Ultralytics ed eseguire il modello sull'ultimo hardware Intel, utilizzando CPU, GPU e NPU". Lo stand aveva anche alcuni simpatici gadget, come magliette e taccuini che i partecipanti potevano portare a casa.

Punti chiave#

Il talk tecnico di Intel allo YV24, che ha presentato i processori Intel Core Ultra 200V Series, ha mostrato come il toolkit OpenVINO ottimizzi i modelli IA come Ultralytics YOLO11. Questa integrazione consente agli utenti di eseguire i modelli YOLO direttamente sui propri dispositivi, offrendo grandi prestazioni per attività di computer vision come il rilevamento di oggetti. Il vantaggio principale è che gli utenti non devono fare affidamento sui servizi cloud.

Gli sviluppatori e gli appassionati di IA possono eseguire e perfezionare facilmente i modelli YOLO, utilizzando appieno hardware come CPU, GPU e NPU per applicazioni in tempo reale. Il toolkit Intel OpenVINO, in combinazione con i modelli Ultralytics YOLO, apre nuove possibilità per portare funzionalità IA avanzate direttamente sui dispositivi personali, rendendolo un'opzione ideale per gli sviluppatori desiderosi di guidare le innovazioni dell'IA in vari settori.

Collaboriamo e innoviamo! Visita il nostro repository GitHub per esplorare i nostri contributi e interagire con la nostra community. Scopri come usiamo l'IA per avere un impatto in settori come la produzione e la sanità.