Eseguire i modelli Ultralytics YOLO sul PC IA di Intel con OpenVINO

YOLO Vision 2024 (YV24), l’evento annuale ibrido di Ultralytics, ha riunito appassionati di IA, sviluppatori ed esperti di tutto il mondo per esplorare le ultime innovazioni nella computer vision. YV24 è stato un’ottima occasione e una piattaforma per discutere le nuove scoperte. All’evento hanno partecipato figure di spicco del settore dell’IA, che hanno presentato le loro ultime innovazioni. Tra queste c’era Intel, che ha preso parte all’evento con un intervento principale sul suo nuovo e rivoluzionario PC con IA e sull’integrazione di Intel OpenVINO con i modelli Ultralytics YOLO, come Ultralytics YOLO11.

L’intervento è stato tenuto da Adrian Boguszewski, Software Evangelist e coautore del set di dati LandCover.ai, che illustra agli sviluppatori il toolkit OpenVINO di Intel, e da Dmitriy Pastushenkov, AI PC Evangelist con oltre 20 anni di esperienza nell’automazione industriale e nell’IA. Durante l’evento, Adrian ha espresso il suo entusiasmo: «È un grande evento, oggi, non solo perché Ultralytics ha presentato una nuova versione di YOLO, ma anche perché possiamo mostrare questo nuovo modello in esecuzione sul nostro nuovo hardware e presentare una nuova versione di OpenVINO».

In questo articolo esamineremo i punti salienti dell’intervento di Intel a YV24, approfondendo il funzionamento del suo PC con IA, la serie Intel Core Ultra 200V e l’integrazione con i modelli Ultralytics YOLO tramite il toolkit OpenVINO. Iniziamo!

Tecnologie IA all’avanguardia nel 2024#

Dmitriy ha iniziato l’intervento principale approfondendo le differenze fondamentali tra l’IA tradizionale e l’IA generativa. Il discorso si è concentrato sull’evoluzione di queste tecnologie e dei relativi casi d’uso nel 2024. Le tecniche di IA tradizionale, come la computer vision e l’elaborazione del linguaggio naturale, sono state essenziali per attività come la stima della posa, il rilevamento degli oggetti e il riconoscimento vocale. L’IA generativa, invece, rappresenta una nuova ondata di tecnologie di IA e comprende applicazioni come i chatbot, la generazione di immagini da testo, la scrittura di codice e persino la generazione di video da testo.

Fig. 1. Adrian e Dmitriy di Intel sul palco di YV24 mentre discutono dei casi d’uso dell’IA.

Dmitriy ha evidenziato la differenza di scala tra i due approcci. Ha spiegato che, mentre i modelli di IA tradizionale sono composti da milioni di parametri, i modelli di IA generativa operano su una scala molto più ampia. I modelli di IA generativa spesso comprendono miliardi o persino migliaia di miliardi di parametri e richiedono molte più risorse di calcolo.

Il PC con IA di Intel: una nuova frontiera dell’hardware per l’IA#

Dmitriy ha presentato il PC con IA di Intel come una nuova soluzione hardware progettata per affrontare le crescenti difficoltà legate all’esecuzione efficiente sia dei modelli di IA tradizionale sia di quelli di IA generativa. Il PC con IA di Intel è una macchina potente ed efficiente dal punto di vista energetico. È in grado di eseguire localmente un’ampia gamma di modelli di IA, senza ricorrere all’elaborazione nel cloud.

L’elaborazione locale aiuta a mantenere privati i dati. Quando i modelli di IA possono funzionare senza una connessione Internet, vengono affrontate le preoccupazioni etiche dei settori in materia di privacy e sicurezza.

Il processore della serie Intel Core Ultra 200V è il cuore del PC con IA di Intel. Questo processore integra tre componenti principali: l’unità centrale di elaborazione (CPU), l’unità di elaborazione grafica (GPU) e l’unità di elaborazione neurale (NPU). Ognuna svolge un ruolo specifico nella gestione di diversi tipi di carichi di lavoro di IA. La CPU è ideale per attività più semplici e a bassa latenza che richiedono risposte rapide, mentre la GPU è ottimizzata per operazioni ad alta capacità di elaborazione, come l’esecuzione di modelli di IA. L’NPU, progettata per garantire efficienza energetica, è particolarmente adatta ad attività prolungate come il rilevamento degli oggetti in tempo reale con modelli come YOLO11.

È stato sottolineato che la CPU può raggiungere fino a 5 TOPS (trilioni di operazioni al secondo), la GPU fino a 67 TOPS e la NPU offre un modo efficiente dal punto di vista energetico per eseguire continuamente attività di AI senza esaurire le risorse di sistema.

Progressi di Intel nell'AI: serie Intel Core Ultra 200V#

Il processore Intel Core Ultra 200V Series integra tutti e tre i motori di AI — NPU, CPU e GPU — in un unico chip compatto. Il suo design è perfetto per dispositivi compatti come i notebook, senza sacrificare le prestazioni.

Il processore include anche RAM integrata, riducendo la necessità di schede grafiche separate. Questo aiuta a ridurre il consumo energetico e mantiene compatto il dispositivo. Dmitriy ha sottolineato anche la flessibilità del processore. Gli utenti possono decidere se eseguire i modelli di AI sulla CPU, sulla GPU o sulla NPU, a seconda dell'attività. Per esempio, il rilevamento degli oggetti con i modelli YOLO11 può essere eseguito su uno qualsiasi di questi motori, mentre attività più complesse, come la generazione di immagini da testo, possono utilizzare contemporaneamente GPU e NPU per ottenere prestazioni migliori.

Durante la presentazione, Dmitriy ha tirato fuori il chip dalla tasca, mostrando chiaramente quanto sia piccolo, nonostante sia in grado di gestire attività di AI così avanzate. È stato un modo divertente e memorabile per mostrare come Intel stia portando potenti funzionalità di AI su dispositivi più portatili e pratici.

Fig. 2. Il processore Intel Core Ultra 200V entra in una tasca.

Ottimizzazione dei modelli di AI con Intel OpenVINO#

Dopo aver presentato gli ultimi progressi hardware di Intel, Dmitriy è passato allo stack software di Intel per l'AI. Ha presentato OpenVINO, il framework open source di Intel, progettato per ottimizzare e distribuire modelli di AI in modo efficiente su diversi dispositivi. OpenVINO va oltre le attività visive e supporta anche i modelli di AI usati per l'elaborazione del linguaggio naturale, l'elaborazione audio, i Transformer e altro ancora.

OpenVINO è compatibile con piattaforme diffuse come PyTorch, TensorFlow, e ONNX, e gli sviluppatori possono integrarlo facilmente nei propri flussi di lavoro. Una delle funzionalità chiave su cui ha richiamato l'attenzione è la quantizzazione. La quantizzazione comprime i pesi del modello per ridurne le dimensioni, così i modelli di grandi dimensioni possono essere eseguiti senza problemi sui dispositivi locali, senza ricorrere al cloud. OpenVINO funziona con diversi framework ed è eseguibile su CPU, GPU, NPU, FPGA o anche dispositivi ARM; supporta inoltre Windows, Linux e macOS. Dmitriy ha anche mostrato al pubblico quanto sia facile iniziare a usare OpenVINO.

Fig. 3. Dmitriy illustra come iniziare a usare OpenVINO.

Integrazione di Ultralytics con Intel OpenVINO#

Nella seconda parte dell'intervento, Adrian ha preso la parola e ha spiegato la perfetta integrazione tra i modelli Ultralytics YOLO e il toolkit Intel OpenVINO, che semplifica il processo di distribuzione dei modelli YOLO. Ha illustrato passo dopo passo quanto sia rapido e semplice esportare un modello YOLO nel formato OpenVINO usando il pacchetto Python di Ultralytics. Questa integrazione consente agli sviluppatori di ottimizzare più facilmente i propri modelli per l'hardware Intel e di sfruttare al meglio entrambe le piattaforme.

Fig. 4. Adrian spiega come Ultralytics semplifica l'esportazione del tuo modello nel formato OpenVINO.

Adrian ha dimostrato che, una volta addestrato un modello Ultralytics YOLO, gli utenti possono esportarlo con pochi semplici flag da riga di comando. Per esempio, gli utenti possono specificare se esportare il modello in virgola mobile per ottenere la massima precisione o in versione quantizzata per una maggiore velocità ed efficienza. Ha inoltre evidenziato come gli sviluppatori possano gestire questo processo direttamente nel codice, usando opzioni come la quantizzazione INT8 per migliorare le prestazioni senza sacrificare troppa accuratezza.

Demo di AI in tempo reale su Intel AI PC#

Per mettere in pratica tutta questa teoria, il team Intel ha presentato una demo in tempo reale di rilevamento degli oggetti eseguendo YOLO11 su Intel AI PC. Adrian ha mostrato come il sistema gestisse il modello sui diversi processori, raggiungendo 36 fotogrammi al secondo (FPS) sulla CPU con un modello in virgola mobile, oltre 100 FPS sulla GPU integrata e 70 FPS con la versione quantizzata INT8. La dimostrazione ha mostrato chiaramente quanto Intel AI PC sia in grado di gestire in modo efficiente attività di AI complesse.

Ha inoltre fatto notare che il sistema può eseguire i modelli in parallelo, usando insieme CPU, GPU e NPU per attività in cui tutti i dati o i fotogrammi video sono disponibili in anticipo. Questa funzionalità è utile per elaborare carichi pesanti, come i video. Il sistema può suddividere il carico di lavoro tra diversi processori, rendendo l'elaborazione più rapida ed efficiente.

In conclusione, Adrian ha ricordato che gli utenti possono provare le demo a casa, incluse soluzioni come il conteggio delle persone e la gestione intelligente delle code. Ha poi mostrato una demo bonus in cui gli utenti potevano inserire prompt per generare in tempo reale immagini oniriche sulla GPU. La demo ha mostrato la versatilità di Intel AI PC sia per le tradizionali attività di AI sia per i progetti creativi di AI generativa.

Rilevamento degli oggetti in tempo reale con Intel OpenVINO#

All'evento, Intel aveva uno stand in cui ha presentato una demo di rilevamento degli oggetti in tempo reale con Ultralytics YOLO11, in esecuzione su Intel AI PC. I partecipanti hanno potuto vedere il modello in azione, ottimizzato con OpenVINO e distribuito sul processore Intel Core Ultra 200V.

Fig. 5. I partecipanti hanno potuto assistere a una demo in tempo reale allo stand Intel OpenVINO.

Allo stand Intel, Dmitriy ha raccontato: «È la mia prima volta a YOLO Vision e sono felice di essere a Madrid. Presentiamo il modello YOLO11 di Ultralytics, in esecuzione sul processore Intel Core Ultra 200V. Offre prestazioni eccellenti e usiamo OpenVINO per ottimizzare e distribuire il modello. Collaborare con Ultralytics ed eseguire il modello sul più recente hardware Intel, sfruttando CPU, GPU e NPU, è stato molto semplice». Allo stand erano disponibili anche simpatici omaggi, come magliette e quaderni che i partecipanti potevano portare a casa.

Punti chiave#

L'intervento tecnico di Intel a YV24, dedicato ai processori Intel Core Ultra 200V Series, ha mostrato come il toolkit OpenVINO ottimizzi modelli di AI come Ultralytics YOLO11. Questa integrazione consente agli utenti di eseguire i modelli YOLO direttamente sui propri dispositivi, offrendo prestazioni eccellenti per attività di computer vision come il rilevamento degli oggetti. Il vantaggio principale è che gli utenti non devono affidarsi ai servizi cloud.

Sviluppatori e appassionati di AI possono eseguire e perfezionare facilmente i modelli YOLO, sfruttando appieno hardware come CPU, GPU e NPU per applicazioni in tempo reale. Il toolkit Intel OpenVINO, insieme ai modelli Ultralytics YOLO, apre nuove possibilità per portare funzionalità di AI avanzate direttamente sui dispositivi personali: una soluzione ideale per gli sviluppatori che desiderano promuovere l'innovazione nell'AI in diversi settori.

Collaboriamo e innoviamo! Visita il nostro repository GitHub per scoprire i nostri contributi e partecipare alla nostra community. Scopri come usiamo l'AI per generare un impatto in settori come la produzione e la sanità.