Eseguire i modelli Ultralytics YOLO sul PC AI di Intel con OpenVINO

YOLO Vision 2024 (YV24), l'evento annuale ibrido di Ultralytics, ha riunito appassionati di AI, sviluppatori ed esperti da tutto il mondo per esplorare le ultime innovazioni nella computer vision. YV24 è stata un'ottima occasione e una piattaforma per discutere delle nuove scoperte. L'evento ha visto la partecipazione di importanti protagonisti del settore dell'AI, che hanno presentato le loro ultime innovazioni. Tra questi c'era Intel, che ha partecipato all'evento presentando un keynote sul suo nuovo e rivoluzionario AI PC e sull'integrazione di Intel OpenVINO con i modelli YOLO di Ultralytics, come Ultralytics YOLO11.

Il talk è stato condotto da Adrian Boguszewski, Software Evangelist e coautore del dataset LandCover.ai, che insegna agli sviluppatori a usare il toolkit OpenVINO di Intel, e da Dmitriy Pastushenkov, AI PC Evangelist con oltre 20 anni di esperienza nell'automazione industriale e nell'AI. Durante l'evento, Adrian ha espresso il suo entusiasmo dicendo: "Questo è un grande evento, oggi, non solo perché Ultralytics ha presentato una nuova versione di YOLO, ma anche perché possiamo mostrare questo nuovo modello in esecuzione sul nostro nuovo hardware, oltre a una nuova versione di OpenVINO."

In questo articolo esamineremo i punti salienti del talk di Intel a YV24, approfondendo il funzionamento del loro AI PC, della serie Intel Core Ultra 200V e il modo in cui si integrano con i modelli YOLO di Ultralytics usando il toolkit OpenVINO. Iniziamo!

Tecnologie AI all'avanguardia nel 2024#

Dmitriy ha aperto il keynote analizzando le principali differenze tra l'AI tradizionale e l'AI generativa. L'attenzione si è concentrata sull'evoluzione di queste tecnologie e dei loro casi d'uso nel 2024. Le tecniche di AI tradizionale, come la computer vision e l'elaborazione del linguaggio naturale, sono state essenziali per attività come la stima della posa, il rilevamento degli oggetti e il riconoscimento vocale. L'AI generativa, invece, rappresenta una nuova ondata di tecnologia AI che include applicazioni come chatbot, generazione da testo a immagine, scrittura di codice e persino generazione da testo a video.

Fig. 1. Adrian e Dmitriy di Intel, sul palco di YV24, discutono dei casi d'uso dell'AI.

Dmitriy ha evidenziato la differenza di scala tra le due. Ha spiegato che, mentre i modelli di AI tradizionale sono costituiti da milioni di parametri, i modelli di AI generativa operano su una scala molto più ampia. I modelli di AI generativa spesso comprendono miliardi o persino trilioni di parametri, risultando molto più esigenti dal punto di vista computazionale.

L'Intel AI PC: una nuova frontiera dell'hardware per l'AI#

Dmitriy ha presentato l'Intel AI PC come una nuova soluzione hardware progettata per affrontare le crescenti difficoltà di eseguire in modo efficiente sia i modelli di AI tradizionale sia quelli di AI generativa. L'Intel AI PC è una macchina potente ed efficiente dal punto di vista energetico. È in grado di eseguire localmente un'ampia gamma di modelli AI, senza bisogno di elaborazione basata sul cloud.

L'elaborazione locale aiuta a mantenere privati i dati sensibili. Quando i modelli AI possono funzionare indipendentemente dalle connessioni Internet, vengono affrontate le preoccupazioni etiche delle industrie in materia di privacy e sicurezza.

Il motore dell'Intel AI PC è il processore Intel Core Ultra 200V Series. Questo processore integra tre componenti chiave: l'unità centrale di elaborazione (CPU), l'unità di elaborazione grafica (GPU) e l'unità di elaborazione neurale (NPU). Ognuno svolge un ruolo specifico nella gestione di diversi tipi di carichi di lavoro AI. La CPU è ideale per attività più piccole e a bassa latenza che richiedono risposte rapide, mentre la GPU è ottimizzata per operazioni ad alto throughput, come l'esecuzione di modelli AI. La NPU, progettata per l'efficienza energetica, è particolarmente adatta per attività di lunga durata come il rilevamento degli oggetti in tempo reale con modelli come YOLO11.

È stato evidenziato che la CPU può raggiungere fino a 5 TOPS (trilioni di operazioni al secondo), la GPU fino a 67 TOPS e la NPU offre un modo efficiente dal punto di vista energetico per eseguire continuamente attività AI senza esaurire le risorse del sistema.

I progressi di Intel nell'AI: Intel Core Ultra 200V Series#

Il processore Intel Core Ultra 200V Series integra tutti e tre i motori AI, NPU, CPU e GPU, in un unico chip di piccole dimensioni. Il suo design è perfettamente adatto a dispositivi compatti come i notebook, senza sacrificare le prestazioni.

Il processore include anche RAM integrata, riducendo la necessità di schede grafiche separate. Questo aiuta a ridurre il consumo energetico e mantiene compatto il dispositivo. Dmitriy ha inoltre sottolineato la flessibilità del processore. Gli utenti possono decidere se eseguire i modelli AI sulla CPU, sulla GPU o sulla NPU, a seconda dell'attività. Ad esempio, il rilevamento degli oggetti con i modelli YOLO11 può essere eseguito su uno qualsiasi di questi motori, mentre attività più complesse, come la generazione da testo a immagine, possono utilizzare contemporaneamente GPU e NPU per ottenere prestazioni migliori.

Durante la presentazione, Dmitriy ha estratto il chip dalla tasca, dando a tutti un'idea chiara di quanto sia davvero piccolo, nonostante la capacità di gestire attività AI così avanzate. È stato un modo divertente e memorabile per mostrare come Intel stia portando potenti funzionalità AI su dispositivi più portatili e pratici.

Fig. 2. Il processore Intel Core Ultra 200V può entrare in una tasca.

Ottimizzazione dei modelli AI con Intel OpenVINO#

Dopo aver presentato gli ultimi progressi hardware di Intel, Dmitriy è passato allo stack software di Intel che supporta l'AI. Ha introdotto OpenVINO, il framework open source di Intel progettato per ottimizzare e distribuire modelli AI in modo efficiente su diversi dispositivi. OpenVINO va oltre le attività visive, estendendo il suo supporto ai modelli AI usati per l'elaborazione del linguaggio naturale, l'elaborazione audio, i Transformer e altro ancora.

OpenVINO è compatibile con piattaforme diffuse come PyTorch, TensorFlow e ONNX, e gli sviluppatori possono integrarlo facilmente nei propri workflow. Una funzionalità chiave a cui ha prestato attenzione è stata la quantizzazione. La quantizzazione comprime i pesi del modello per ridurne le dimensioni, consentendo ai modelli di grandi dimensioni di funzionare senza problemi sui dispositivi locali senza bisogno del cloud. OpenVINO funziona con diversi framework, eseguendo i modelli su CPU, GPU, NPU, FPGA o persino dispositivi ARM, e supporta Windows, Linux e macOS. Dmitriy ha inoltre mostrato al pubblico quanto sia facile iniziare a usare OpenVINO.

Fig. 3. Dmitriy illustra come iniziare a usare OpenVINO.

Integrazione di Ultralytics con Intel OpenVINO#

Nella seconda parte del talk, il microfono è passato ad Adrian, che ha spiegato la perfetta integrazione tra i modelli YOLO di Ultralytics e il toolkit OpenVINO di Intel, semplificando il processo di distribuzione dei modelli YOLO. Ha illustrato passo dopo passo come esportare un modello YOLO usando il pacchetto Python di Ultralytics nel formato OpenVINO in modo rapido e semplice. Questa integrazione rende molto più facile per gli sviluppatori ottimizzare i propri modelli per l'hardware Intel e sfruttare al meglio entrambe le piattaforme.

Fig. 4. Adrian spiega come Ultralytics semplifica l'esportazione del tuo modello nel formato OpenVINO.

Adrian ha dimostrato che, una volta addestrato un modello YOLO di Ultralytics, gli utenti possono esportarlo usando pochi semplici flag da riga di comando. Ad esempio, gli utenti possono specificare se desiderano esportare il modello in versione a virgola mobile per ottenere la massima precisione o in versione quantizzata per una maggiore velocità ed efficienza. Ha inoltre evidenziato come gli sviluppatori possano gestire questo processo direttamente tramite codice, usando opzioni come la quantizzazione INT8 per migliorare le prestazioni senza sacrificare eccessivamente la precisione.

Demo di AI in tempo reale sull'Intel AI PC#

Mettendo in pratica tutta questa teoria, il team Intel ha presentato una demo in tempo reale del rilevamento degli oggetti eseguendo YOLO11 sull'Intel AI PC. Adrian ha mostrato come il sistema gestisse il modello su diversi processori, raggiungendo 36 fotogrammi al secondo (FPS) sulla CPU con un modello a virgola mobile, oltre 100 FPS sulla GPU integrata e 70 FPS con la versione quantizzata INT8. Sono riusciti a dimostrare quanto efficientemente l'Intel AI PC possa gestire attività AI complesse.

Ha inoltre sottolineato che il sistema può eseguire i modelli in parallelo, usando insieme CPU, GPU e NPU per le attività in cui tutti i dati o i fotogrammi video sono disponibili in anticipo. Questo è utile durante l'elaborazione di carichi pesanti come i video. Il sistema può suddividere il carico di lavoro tra diversi processori, rendendolo più veloce ed efficiente.

Per concludere, Adrian ha spiegato che gli utenti potevano provare le demo a casa, comprese soluzioni come il conteggio delle persone e la gestione intelligente delle code. Ha poi mostrato una demo bonus in cui gli utenti potevano inserire prompt per generare immagini oniriche in tempo reale sulla GPU. La demo ha mostrato la versatilità dell'Intel AI PC sia per le attività di AI tradizionale sia per i progetti creativi di AI generativa.

Rilevamento degli oggetti in tempo reale con Intel OpenVINO#

Durante l'evento, Intel aveva uno stand in cui mostrava una demo di rilevamento degli oggetti in tempo reale usando Ultralytics YOLO11, in esecuzione sul suo Intel AI PC. I partecipanti hanno potuto vedere il modello in azione, ottimizzato con OpenVINO e distribuito sul processore Intel Core Ultra 200V.

Fig. 5. I partecipanti hanno avuto l'opportunità di assistere a una demo in tempo reale allo stand Intel OpenVINO.

Allo stand Intel, Dmitriy ha dichiarato: "È la mia prima volta a YOLO Vision e sono felice di essere a Madrid. Stiamo presentando il modello YOLO11 di Ultralytics, in esecuzione sul processore Intel Core Ultra 200V. Offre prestazioni eccellenti e usiamo OpenVINO per ottimizzare e distribuire il modello. È stato molto facile collaborare con Ultralytics ed eseguire il modello sull'hardware Intel più recente, utilizzando CPU, GPU e NPU." Allo stand erano inoltre disponibili gadget divertenti, come magliette e quaderni, che i partecipanti potevano portare a casa.

Punti chiave#

Il tech talk di Intel a YV24, dedicato ai processori Intel Core Ultra 200V Series, ha mostrato come il toolkit OpenVINO ottimizzi modelli AI come Ultralytics YOLO11. Questa integrazione consente agli utenti di eseguire i modelli YOLO direttamente sui propri dispositivi, offrendo prestazioni eccellenti per attività di computer vision come il rilevamento degli oggetti. Il vantaggio principale è che gli utenti non devono affidarsi ai servizi cloud.

Gli sviluppatori e gli appassionati di AI possono eseguire e mettere a punto i modelli YOLO con facilità, sfruttando appieno hardware come CPU, GPU e NPU per applicazioni in tempo reale. Il toolkit Intel OpenVINO, insieme ai modelli YOLO di Ultralytics, apre nuove possibilità per portare funzionalità AI avanzate direttamente sui dispositivi personali, diventando un'opzione ideale per gli sviluppatori desiderosi di promuovere l'innovazione nell'AI in vari settori.

Collaboriamo e innoviamo insieme! Visita il nostro repository GitHub per esplorare i nostri contributi e partecipare alla nostra community. Scopri come usiamo l'AI per avere un impatto in settori come la produzione e la sanità.