Eseguire i modelli Ultralytics YOLO sul PC IA di Intel con OpenVINO

YOLO Vision 2024 (YV24), l'evento annuale ibrido di Ultralytics, ha riunito appassionati di IA, sviluppatori ed esperti da tutto il mondo per esplorare le ultime innovazioni nella computer vision. YV24 ha visto la partecipazione di protagonisti del settore dell'IA, che hanno presentato le loro innovazioni più recenti. Tra loro c'era Intel, che ha tenuto un keynote sul suo nuovo AI PC e sull'integrazione di Intel OpenVINO con i modelli Ultralytics YOLO, come Ultralytics YOLO11.

L'intervento è stato condotto da Adrian Boguszewski, Software Evangelist, coautore del dataset LandCover.ai e divulgatore del toolkit OpenVINO di Intel per gli sviluppatori, e da Dmitriy Pastushenkov, AI PC Evangelist con oltre 20 anni di esperienza nell'automazione industriale e nell'IA. Durante l'evento, Adrian ha dichiarato: «È un grande evento oggi, non solo perché Ultralytics ha presentato una nuova versione di YOLO, ma anche perché possiamo mostrare questo nuovo modello in esecuzione sul nostro nuovo hardware, insieme a una nuova versione di OpenVINO».

In questo articolo esamineremo i punti salienti dell'intervento di Intel a YV24, parlando dell'AI PC di Intel, della serie Intel Core Ultra 200V e della loro integrazione con i modelli Ultralytics YOLO tramite il toolkit OpenVINO.

Tecnologie di IA nel 2024#

Dmitriy ha aperto il keynote illustrando le principali differenze tra l'IA tradizionale e l'IA generativa. L'attenzione si è concentrata sull'evoluzione di queste tecnologie e dei relativi casi d'uso nel 2024. Le tecniche di IA tradizionale, come la computer vision e l'elaborazione del linguaggio naturale, sono essenziali per attività quali la stima della posa, il rilevamento degli oggetti e il riconoscimento vocale. L'IA generativa, invece, rappresenta una nuova generazione di tecnologie di IA che comprende applicazioni come chatbot, generazione di immagini da testo, scrittura di codice e persino generazione di video da testo.

Fig. 1. Adrian e Dmitriy di Intel sul palco di YV24 mentre discutono dei casi d’uso dell’IA.

Dmitriy ha evidenziato la differenza di scala tra i due approcci. Ha spiegato che, mentre i modelli di IA tradizionale contano milioni di parametri, quelli di IA generativa operano su una scala molto più ampia. Spesso questi modelli comprendono miliardi o addirittura trilioni di parametri, con requisiti computazionali molto più elevati.

Il PC con IA di Intel: una nuova frontiera dell’hardware per l’IA#

Dmitriy ha presentato il PC con IA di Intel come una nuova soluzione hardware progettata per affrontare le crescenti difficoltà legate all’esecuzione efficiente sia dei modelli di IA tradizionale sia di quelli di IA generativa. Il PC con IA di Intel è una macchina potente ed efficiente dal punto di vista energetico. È in grado di eseguire localmente un’ampia gamma di modelli di IA, senza ricorrere all’elaborazione nel cloud.

L'elaborazione locale aiuta a mantenere privati i dati sensibili. Quando i modelli di IA possono funzionare senza connessione a Internet, è più facile affrontare le preoccupazioni etiche del settore in materia di privacy e sicurezza.

Il processore della serie Intel Core Ultra 200V è il fulcro dell'AI PC di Intel. Integra tre componenti chiave: l'unità centrale di elaborazione (CPU), l'unità di elaborazione grafica (GPU) e l'unità di elaborazione neurale (NPU). Ognuna svolge un ruolo specifico nella gestione di diversi tipi di carichi di lavoro di IA. La CPU è ideale per attività più semplici e a bassa latenza che richiedono risposte rapide, mentre la GPU è ottimizzata per operazioni a elevata capacità di elaborazione, come l'esecuzione di modelli di IA. La NPU, progettata per garantire efficienza energetica, è adatta ad attività prolungate come il rilevamento degli oggetti in tempo reale con modelli come YOLO11.

È stato sottolineato che la CPU può raggiungere 5 TOPS (trilioni di operazioni al secondo), la GPU fino a 67 TOPS e la NPU offre un modo efficiente dal punto di vista energetico per eseguire continuamente attività di IA senza esaurire le risorse del sistema.

Progressi di Intel nell'AI: serie Intel Core Ultra 200V#

Il processore della serie Intel Core Ultra 200V integra tutti e tre i motori di IA — NPU, CPU e GPU — in un unico chip compatto. Il design lo rende adatto a dispositivi compatti come i notebook.

Il processore include anche RAM integrata, riducendo la necessità di schede grafiche separate. Questo aiuta a ridurre il consumo energetico e mantiene compatto il dispositivo. Dmitriy ha sottolineato anche la flessibilità del processore. Gli utenti possono decidere se eseguire i modelli di AI sulla CPU, sulla GPU o sulla NPU, a seconda dell'attività. Per esempio, il rilevamento degli oggetti con i modelli YOLO11 può essere eseguito su uno qualsiasi di questi motori, mentre attività più complesse, come la generazione di immagini da testo, possono utilizzare contemporaneamente GPU e NPU per ottenere prestazioni migliori.

Durante la presentazione, Dmitriy ha tirato fuori il chip dalla tasca, mostrando chiaramente quanto sia piccolo, nonostante sia in grado di gestire attività di AI così avanzate. È stato un modo divertente e memorabile per mostrare come Intel stia portando potenti funzionalità di AI su dispositivi più portatili e pratici.

Fig. 2. Il processore Intel Core Ultra 200V sta in una tasca.

Ottimizzazione dei modelli di AI con Intel OpenVINO#

Dopo aver presentato l'hardware più recente di Intel, Dmitriy è passato allo stack software di Intel per l'IA. Ha introdotto OpenVINO, il framework open source di Intel progettato per ottimizzare e distribuire modelli di IA in modo efficiente su diversi dispositivi. OpenVINO non si limita alle attività visive: supporta anche modelli di IA per l'elaborazione del linguaggio naturale, l'elaborazione audio, i Transformer e molto altro.

OpenVINO è compatibile con framework diffusi come PyTorch, TensorFlow e ONNX, e gli sviluppatori possono integrarlo facilmente nei propri flussi di lavoro. Una delle funzionalità chiave messe in evidenza è stata la quantizzazione. La quantizzazione comprime i pesi del modello per ridurne le dimensioni, consentendo ai modelli di grandi dimensioni di funzionare senza problemi sui dispositivi locali senza ricorrere al cloud. OpenVINO è compatibile con diversi framework e funziona su CPU, GPU, NPU, FPGA e persino dispositivi ARM; supporta inoltre Windows, Linux e macOS. Dmitriy ha anche mostrato al pubblico quanto sia semplice iniziare a usare OpenVINO.

Fig. 3. Dmitriy illustra come iniziare a usare OpenVINO.

Integrare Ultralytics con Intel OpenVINO#

Nella seconda parte dell'intervento, Adrian ha preso la parola e ha spiegato l'integrazione tra i modelli Ultralytics YOLO e il toolkit OpenVINO di Intel, che semplifica la distribuzione dei modelli YOLO. Ha illustrato passo dopo passo quanto sia rapido e semplice esportare un modello YOLO in formato OpenVINO utilizzando il pacchetto Python Ultralytics. Questa integrazione semplifica notevolmente l'ottimizzazione dei modelli per l'hardware Intel e permette agli sviluppatori di sfruttare al meglio entrambe le piattaforme.

Fig. 4. Adrian spiega come Ultralytics semplifica l'esportazione del tuo modello nel formato OpenVINO.

Adrian ha mostrato che, una volta addestrato un modello Ultralytics YOLO, gli utenti possono esportarlo con pochi semplici flag della riga di comando. Per esempio, possono specificare se esportare il modello in virgola mobile, per ottenere la massima precisione, oppure in forma quantizzata, per migliorare velocità ed efficienza. Ha inoltre evidenziato che gli sviluppatori possono gestire questo processo direttamente tramite codice, utilizzando opzioni come la quantizzazione INT8 per aumentare le prestazioni senza sacrificare troppa precisione.

Demo di AI in tempo reale su Intel AI PC#

Per mettere in pratica la teoria, il team Intel ha presentato una dimostrazione in tempo reale del rilevamento degli oggetti, eseguendo YOLO11 sull'AI PC di Intel. Adrian ha mostrato come il sistema gestisse il modello sui diversi processori: 36 fotogrammi al secondo (FPS) sulla CPU con un modello in virgola mobile, oltre 100 FPS sulla GPU integrata e 70 FPS con la versione quantizzata INT8. La dimostrazione ha mostrato l'efficienza con cui l'AI PC di Intel può gestire attività di IA complesse.

Ha inoltre fatto notare che il sistema può eseguire i modelli in parallelo, usando insieme CPU, GPU e NPU per attività in cui tutti i dati o i fotogrammi video sono disponibili in anticipo. Questa funzionalità è utile per elaborare carichi pesanti, come i video. Il sistema può suddividere il carico di lavoro tra diversi processori, rendendo l'elaborazione più rapida ed efficiente.

In conclusione, Adrian ha detto che gli utenti potevano provare alcune demo a casa, comprese soluzioni per il conteggio delle persone e la gestione intelligente delle code. Ha poi mostrato una demo bonus in cui gli utenti potevano inserire prompt per generare immagini oniriche in tempo reale sulla GPU. La demo ha dimostrato la versatilità dell'AI PC di Intel sia per le attività di IA tradizionale sia per i progetti creativi di IA generativa.

Rilevamento degli oggetti in tempo reale con Intel OpenVINO#

All'evento, Intel aveva uno stand in cui ha presentato una demo di rilevamento degli oggetti in tempo reale con Ultralytics YOLO11, in esecuzione su Intel AI PC. I partecipanti hanno potuto vedere il modello in azione, ottimizzato con OpenVINO e distribuito sul processore Intel Core Ultra 200V.

Fig. 5. I partecipanti hanno potuto assistere a una demo in tempo reale allo stand Intel OpenVINO.

Allo stand Intel, Dmitriy ha raccontato: «È la mia prima volta a YOLO Vision e sono felice di essere a Madrid. Presentiamo il modello YOLO11 di Ultralytics, in esecuzione sul processore Intel Core Ultra 200V. Offre prestazioni eccellenti e usiamo OpenVINO per ottimizzare e distribuire il modello. Collaborare con Ultralytics ed eseguire il modello sul più recente hardware Intel, sfruttando CPU, GPU e NPU, è stato molto semplice». Allo stand erano disponibili anche simpatici omaggi, come magliette e quaderni che i partecipanti potevano portare a casa.

Punti chiave#

L'intervento tecnico di Intel a YV24, dedicato ai processori Intel Core Ultra 200V Series, ha mostrato come il toolkit OpenVINO ottimizzi modelli di AI come Ultralytics YOLO11. Questa integrazione consente agli utenti di eseguire i modelli YOLO direttamente sui propri dispositivi, offrendo prestazioni eccellenti per attività di computer vision come il rilevamento degli oggetti. Il vantaggio principale è che gli utenti non devono affidarsi ai servizi cloud.

Sviluppatori e appassionati di IA possono eseguire e perfezionare i modelli YOLO, sfruttando appieno hardware come CPU, GPU e NPU per applicazioni in tempo reale. Il toolkit Intel OpenVINO, insieme ai modelli Ultralytics YOLO, apre nuove possibilità per portare capacità avanzate di IA direttamente sui dispositivi personali, offrendo una valida opzione agli sviluppatori che creano applicazioni di IA per diversi settori.

Visita il nostro repository GitHub per scoprire i nostri contributi e partecipare alla nostra community. Scopri come utilizziamo l'IA per fare la differenza in settori come la produzione e la sanità.