Eseguire i modelli Ultralytics YOLO sul tuo AI PC di Intel con OpenVINO

YOLO Vision 2024 (YV24), l'evento ibrido annuale di Ultralytics, ha riunito appassionati di IA, sviluppatori ed esperti da tutto il mondo per esplorare le ultime innovazioni nella computer vision. YV24 è stata un'ottima opportunità e piattaforma per discutere di nuove scoperte. L'evento ha visto la partecipazione di attori chiave del settore IA che hanno presentato le loro ultime innovazioni. Tra questi c'era Intel, che ha preso parte all'evento presentando un intervento sul suo nuovo rivoluzionario PC IA e sull'integrazione di Intel OpenVINO con i modelli Ultralytics YOLO, come Ultralytics YOLO11.

Il talk è stato tenuto da Adrian Boguszewski, un Software Evangelist che ha co-autore del dataset LandCover.ai e che forma gli sviluppatori sul toolkit OpenVINO di Intel, e da Dmitriy Pastushenkov, un AI PC Evangelist con oltre 20 anni di esperienza nell'automazione industriale e nell'IA. Durante l'evento, Adrian ha condiviso il suo entusiasmo dicendo: "Questo è un grande evento oggi, non solo perché Ultralytics ha rilasciato una nuova versione di YOLO, ma anche perché siamo in grado di presentare questo nuovo modello in esecuzione sul nostro nuovo hardware, oltre a una nuova versione di OpenVINO."

In questo articolo, daremo uno sguardo ai punti salienti del talk di Intel allo YV24, approfondendo i dettagli del loro PC IA, la serie Intel Core Ultra 200V, e come si integrano con i modelli Ultralytics YOLO utilizzando il toolkit OpenVINO. Iniziamo!

Link to this sectionTecnologie IA all'avanguardia nel 2024#

Dmitriy ha iniziato il keynote approfondendo le differenze chiave tra l'IA tradizionale e l'IA generativa. L'attenzione si è concentrata su come queste tecnologie e i loro casi d'uso si stiano evolvendo nel 2024. Le tecniche di IA tradizionale come la computer vision e l'elaborazione del linguaggio naturale sono state essenziali per attività come la stima della posa, il rilevamento di oggetti e il riconoscimento vocale. L'IA generativa, tuttavia, rappresenta una nuova ondata di tecnologia IA che coinvolge applicazioni come chatbot, generazione da testo a immagine, scrittura di codice e persino generazione da testo a video.

Fig 1. Adrian e Dmitriy di Intel, sul palco dello YV24, discutono di casi d'uso dell'IA.

Dmitriy ha sottolineato la differenza di scala tra le due. Ha spiegato che, mentre i modelli IA tradizionali consistono in milioni di parametri, i modelli di IA generativa operano su una scala molto più ampia. I modelli di IA generativa spesso coinvolgono miliardi o addirittura trilioni di parametri, rendendoli molto più esigenti dal punto di vista computazionale.

Link to this sectionIl PC IA di Intel: una nuova frontiera dell'hardware IA#

Dmitriy ha introdotto il PC IA di Intel come una nuova soluzione hardware progettata per affrontare le crescenti sfide dell'esecuzione efficiente di modelli IA sia tradizionali che generativi. Il PC IA di Intel è una macchina potente ed efficiente dal punto di vista energetico. È in grado di eseguire un'ampia gamma di modelli IA localmente, senza la necessità di elaborazione basata sul cloud.

L'elaborazione locale aiuta a mantenere privati i dati sensibili. Quando i modelli IA possono operare indipendentemente dalle connessioni Internet, le preoccupazioni etiche dei settori riguardo alla privacy e alla sicurezza vengono risolte.

La forza trainante dietro il PC IA di Intel è il processore Intel Core Ultra 200V Series. Questo processore incorpora tre componenti chiave: l'unità centrale di elaborazione (CPU), l'unità di elaborazione grafica (GPU) e l'unità di elaborazione neurale (NPU). Ognuno svolge un ruolo specifico nella gestione di diversi tipi di carichi di lavoro IA. La CPU è ideale per attività più piccole a bassa latenza che richiedono risposte rapide, mentre la GPU è ottimizzata per operazioni ad alta velocità come l'esecuzione di modelli IA. La NPU, progettata per l'efficienza energetica, è particolarmente adatta per attività a lungo termine come il rilevamento di oggetti in tempo reale con modelli come YOLO11.

È stato sottolineato che la CPU può fornire fino a 5 TOPS (trilioni di operazioni al secondo), la GPU fino a 67 TOPS e la NPU fornisce un modo efficiente dal punto di vista energetico per eseguire attività IA continuamente senza consumare le risorse del sistema.

Link to this sectionI progressi dell'IA di Intel: la serie Intel Core Ultra 200V#

Il processore Intel Core Ultra 200V Series integra tutti e tre i motori IA (NPU, CPU e GPU) in un singolo chip compatto. Il suo design è perfettamente adatto per dispositivi compatti come i notebook, senza sacrificare le prestazioni.

Il processore include anche RAM integrata, riducendo la necessità di schede grafiche separate. Questo aiuta a ridurre il consumo energetico e mantiene il dispositivo compatto. Dmitriy ha anche enfatizzato la flessibilità del processore. Gli utenti possono decidere se eseguire i modelli IA sulla CPU, GPU o NPU, a seconda dell'attività. Ad esempio, il rilevamento di oggetti con modelli YOLO11 può essere eseguito su uno qualsiasi di questi motori, mentre attività più complesse, come la generazione da testo a immagine, possono utilizzare sia la GPU che la NPU contemporaneamente per prestazioni migliori.

Durante la presentazione, Dmitriy ha estratto il chip dalla tasca, dando a tutti una chiara idea di quanto sia davvero piccolo, nonostante la sua capacità di gestire attività IA così avanzate. È stato un modo divertente e memorabile per mostrare come Intel stia portando potenti funzionalità IA a dispositivi più portatili e pratici.

Fig 2. Il processore Intel Core Ultra 200V può entrare in una tasca.

Link to this sectionOttimizzazione dei modelli IA con Intel OpenVINO#

Dopo aver mostrato gli ultimi progressi hardware di Intel, Dmitriy è passato allo stack software di Intel che supporta l'IA. Ha introdotto OpenVINO, il framework open-source di Intel progettato per ottimizzare e distribuire modelli IA in modo efficiente su diversi dispositivi. OpenVINO va oltre le attività visive, estendendo il suo supporto a modelli IA utilizzati per l'elaborazione del linguaggio naturale, l'elaborazione audio, i transformer e altro ancora.

OpenVINO è compatibile con piattaforme popolari come PyTorch, TensorFlow e ONNX, e gli sviluppatori possono facilmente incorporarlo nei loro flussi di lavoro. Una caratteristica chiave a cui ha richiamato l'attenzione è stata la quantizzazione. La quantizzazione comprime i pesi del modello per ridurne le dimensioni, in modo che i modelli di grandi dimensioni possano essere eseguiti senza problemi su dispositivi locali senza bisogno del cloud. OpenVINO funziona su più framework, eseguito su CPU, GPU, NPU, FPGA o persino dispositivi ARM, e supporta Windows, Linux e macOS. Dmitriy ha anche guidato il pubblico attraverso quanto sia facile iniziare con OpenVINO.

Fig 3. Dmitriy che spiega come iniziare con OpenVINO.

Link to this sectionIntegrazione di Ultralytics con Intel OpenVINO#

Nella seconda parte del talk, il microfono è stato passato ad Adrian, che ha spiegato la perfetta integrazione tra i modelli Ultralytics YOLO e il toolkit OpenVINO di Intel, semplificando il processo di distribuzione dei modelli YOLO. Ha fornito una spiegazione passo dopo passo su come esportare un modello YOLO utilizzando il pacchetto Python di Ultralytics nel formato OpenVINO in modo rapido e semplice. Questa integrazione rende molto più facile per gli sviluppatori ottimizzare i loro modelli per l'hardware Intel e ottenere il massimo da entrambe le piattaforme.

Fig 4. Adrian che spiega come Ultralytics semplifica l'esportazione del tuo modello nel formato OpenVINO.

Adrian ha dimostrato che, una volta che un modello Ultralytics YOLO è addestrato, gli utenti possono esportarlo utilizzando alcuni semplici flag della riga di comando. Ad esempio, gli utenti possono specificare se desiderano esportare il modello come versione a virgola mobile per la massima precisione o come versione quantizzata per una migliore velocità ed efficienza. Ha anche evidenziato come gli sviluppatori possano gestire questo processo direttamente tramite codice, utilizzando opzioni come la quantizzazione INT8 per migliorare le prestazioni senza sacrificare troppa accuratezza.

Link to this sectionDemo di IA in tempo reale sul PC IA di Intel#

Mettendo in pratica tutta questa teoria, il team Intel ha presentato una demo in tempo reale del rilevamento di oggetti eseguendo YOLO11 sul PC IA di Intel. Adrian ha mostrato come il sistema gestiva il modello su diversi processori, raggiungendo 36 frame al secondo (FPS) sulla CPU con un modello a virgola mobile, oltre 100 FPS sulla GPU integrata e 70 FPS con la versione quantizzata INT8. Sono stati in grado di mostrare quanto efficientemente il PC IA di Intel possa gestire complesse attività IA.

Ha anche sottolineato che il sistema può eseguire modelli in parallelo, utilizzando CPU, GPU e NPU insieme per attività in cui tutti i dati o i frame video sono disponibili in anticipo. Questo è utile quando si elaborano carichi pesanti come i video. Il sistema può suddividere il carico di lavoro tra diversi processori, rendendolo più veloce ed efficiente.

Per concludere, Adrian ha menzionato che gli utenti possono provare le demo a casa, incluse soluzioni come il conteggio delle persone e la gestione intelligente delle code. Ha poi mostrato una demo bonus in cui gli utenti potevano inserire prompt per generare immagini oniriche in tempo reale sulla GPU. Ha dimostrato la versatilità del PC IA di Intel sia per le tradizionali attività IA che per progetti creativi di IA generativa.

Link to this sectionRilevamento di oggetti in tempo reale con Intel OpenVINO#

All'evento, Intel aveva uno stand dove mostrava una demo di rilevamento di oggetti in tempo reale utilizzando YOLO11, in esecuzione sul loro PC IA di Intel. I partecipanti hanno potuto vedere il modello in azione, ottimizzato con OpenVINO, e distribuito sul processore Intel Core Ultra 200V.

Fig 5. I partecipanti hanno avuto l'opportunità di vedere una demo in tempo reale allo stand Intel OpenVINO.

Allo stand Intel, Dmitriy ha condiviso: "Questa è la mia prima volta a YOLO Vision e sono felice di essere a Madrid. Stiamo presentando il modello YOLO11 di Ultralytics, in esecuzione sul processore Intel Core Ultra 200V. Mostra prestazioni eccellenti e utilizziamo OpenVINO per ottimizzare e distribuire il modello. È stato molto facile collaborare con Ultralytics ed eseguire il modello sull'ultimo hardware Intel, utilizzando CPU, GPU e NPU". Lo stand aveva anche alcuni simpatici gadget, come magliette e taccuini che i partecipanti potevano portare a casa.

Link to this sectionPunti chiave#

Il talk tecnico di Intel allo YV24, che ha presentato i processori Intel Core Ultra 200V Series, ha mostrato come il toolkit OpenVINO ottimizzi i modelli IA come Ultralytics YOLO11. Questa integrazione consente agli utenti di eseguire i modelli YOLO direttamente sui propri dispositivi, offrendo grandi prestazioni per attività di computer vision come il rilevamento di oggetti. Il vantaggio principale è che gli utenti non devono fare affidamento sui servizi cloud.

Gli sviluppatori e gli appassionati di IA possono eseguire e perfezionare facilmente i modelli YOLO, utilizzando appieno hardware come CPU, GPU e NPU per applicazioni in tempo reale. Il toolkit Intel OpenVINO, in combinazione con i modelli Ultralytics YOLO, apre nuove possibilità per portare funzionalità IA avanzate direttamente sui dispositivi personali, rendendolo un'opzione ideale per gli sviluppatori desiderosi di guidare le innovazioni dell'IA in vari settori.

Collaboriamo e innoviamo! Visita il nostro repository GitHub per esplorare i nostri contributi e interagire con la nostra community. Scopri come stiamo usando l'IA per avere un impatto in settori come la produzione e l'assistenza sanitaria.