9 ottobre 2024
Rivedi il talk di Dmitriy Pastushenkov e Adrian Boguszewski al YOLO Vision 2024 sull'ottimizzazione dei modelli YOLO con Intel OpenVino e sull'esecuzione di inferenze in tempo reale su un AI PC Intel.
YOLO Vision 2024 (YV24), l'evento ibrido annuale di Ultralytics, ha riunito appassionati di AI, sviluppatori ed esperti da tutto il mondo per esplorare le ultime innovazioni nella computer vision. YV24 è stata una grande opportunità e piattaforma per discutere di nuove scoperte. L'evento ha visto la partecipazione di figure chiave nel settore dell'AI che hanno presentato le loro ultime innovazioni. Tra questi, Intel, che ha partecipato all'evento presentando un keynote sul suo nuovo e rivoluzionario AI PC e sull'integrazione di Intel OpenVino con i modelli Ultralytics YOLO come Ultralytics YOLO11.
Il talk è stato condotto da Adrian Boguszewski, Software Evangelist e coautore del dataset LandCover.ai, che si occupa di formare gli sviluppatori sul toolkit OpenVINO di Intel, e da Dmitriy Pastushenkov, AI PC Evangelist con oltre 20 anni di esperienza nell'automazione industriale e nell'AI. Durante l'evento, Adrian ha espresso il suo entusiasmo dicendo: "Questo è un grande evento oggi, non solo perché Ultralytics ha rilasciato una nuova versione di YOLO, ma anche perché siamo in grado di presentare questo nuovo modello in esecuzione sul nostro nuovo hardware, così come una nuova versione di OpenVINO."
In questo articolo, daremo un'occhiata ai punti salienti del talk di Intel allo YV24, approfondendo i dettagli del loro AI PC, l'Intel Core Ultra Serie 200V, e come si integrano con i modelli Ultralytics YOLO utilizzando il toolkit OpenVINO. Iniziamo!
Dmitriy ha iniziato il keynote illustrando le principali differenze tra l'AI tradizionale e l'AI generativa. L'attenzione si è concentrata su come queste tecnologie e i loro casi d'uso si stanno evolvendo nel 2024. Le tecniche di AI tradizionali come la computer vision e l'elaborazione del linguaggio naturale sono state essenziali per task come la pose estimation, l'object detection e il riconoscimento vocale. L'AI generativa, tuttavia, rappresenta una nuova ondata di tecnologia AI che include applicazioni come chatbot, generazione di testo in immagini, scrittura di codice e persino testo in video.
Dmitriy ha evidenziato la differenza di scala tra i due. Ha spiegato che, mentre i modelli di IA tradizionali sono costituiti da milioni di parametri, i modelli di IA generativa operano su una scala molto più ampia. I modelli di IA generativa spesso coinvolgono miliardi o addirittura trilioni di parametri, rendendoli molto più impegnativi dal punto di vista computazionale.
Dmitriy ha presentato l'Intel AI PC come una nuova soluzione hardware progettata per affrontare le crescenti sfide dell'esecuzione efficiente di modelli di IA tradizionali e generativi. L'Intel AI PC è una macchina potente ed efficiente dal punto di vista energetico, in grado di eseguire localmente un'ampia gamma di modelli di IA, senza la necessità di elaborazione basata su cloud.
L'elaborazione locale aiuta a mantenere la riservatezza dei dati sensibili. Quando i modelli di IA possono operare indipendentemente dalle connessioni Internet, si risponde alle preoccupazioni etiche del settore in materia di privacy e sicurezza.
La forza trainante dell'Intel AI PC è il processore Intel Core Ultra serie 200V. Questo processore incorpora tre componenti chiave: la Central Processing Unit (CPU), la Graphics Processing Unit (GPU) e la Neural Processing Unit (NPU). Ognuno svolge un ruolo specifico nella gestione di diversi tipi di carichi di lavoro di IA. La CPU è ideale per attività più piccole e a bassa latenza che richiedono risposte rapide, mentre la GPU è ottimizzata per operazioni ad alta produttività come l'esecuzione di modelli di IA. La NPU, progettata per l'efficienza energetica, è adatta per attività di lunga durata come il rilevamento di oggetti in tempo reale con modelli come YOLO11.
È stato evidenziato che la CPU può fornire fino a 5 TOPS (Trilioni di Operazioni al Secondo), la GPU fino a 67 TOPS e la NPU fornisce un modo efficiente dal punto di vista energetico per eseguire continuamente attività di IA senza esaurire le risorse del sistema.
Il processore Intel Core Ultra serie 200V integra tutti e tre i motori di IA - NPU, CPU e GPU - in un unico piccolo chip. Il suo design è perfettamente adatto a dispositivi compatti come i notebook, senza sacrificare le prestazioni.
Il processore include anche RAM integrata, riducendo la necessità di schede grafiche separate. Questo aiuta a ridurre il consumo di energia e mantiene il dispositivo compatto. Dmitriy ha anche sottolineato la flessibilità del processore. Gli utenti possono decidere se eseguire modelli di IA sulla CPU, GPU o NPU, a seconda dell'attività. Ad esempio, il rilevamento di oggetti con i modelli YOLO11 può essere eseguito su uno qualsiasi di questi motori, mentre attività più complesse, come la generazione di testo in immagine, possono utilizzare sia la GPU che la NPU contemporaneamente per ottenere prestazioni migliori.
Durante la presentazione, Dmitriy ha tirato fuori il chip dalla tasca, dando a tutti un'idea chiara di quanto sia piccolo in realtà, nonostante la sua capacità di gestire attività di IA così avanzate. È stato un modo divertente e memorabile per mostrare come Intel stia portando potenti capacità di IA a dispositivi più portatili e pratici.
Dopo aver presentato le ultime innovazioni hardware di Intel, Dmitriy è passato allo stack software di Intel che supporta l'AI. Ha introdotto OpenVINO, il framework open source di Intel progettato per ottimizzare e distribuire modelli di AI in modo efficiente su diversi dispositivi. OpenVINO va oltre le attività visive, estendendo il suo supporto ai modelli di AI utilizzati per l'elaborazione del linguaggio naturale, l'elaborazione audio, i transformer, ecc.
OpenVINO è compatibile con piattaforme popolari come PyTorch, TensorFlow e ONNX, e gli sviluppatori possono integrarlo facilmente nei loro flussi di lavoro. Una caratteristica fondamentale su cui ha attirato l'attenzione è stata la quantizzazione. La quantizzazione comprime i pesi del modello per ridurne le dimensioni, in modo che i modelli di grandi dimensioni possano essere eseguiti senza problemi su dispositivi locali senza la necessità del cloud. OpenVINO funziona su più framework, eseguendo su CPU, GPU, NPU, FPGA o anche dispositivi ARM, e supporta Windows, Linux e macOS. Dmitriy ha anche illustrato al pubblico quanto sia facile iniziare con OpenVINO.
Nella seconda parte del discorso, il microfono è passato ad Adrian, che ha spiegato l'integrazione perfetta tra i modelli YOLO di Ultralytics e il toolkit OpenVINO di Intel, semplificando il processo di distribuzione dei modelli YOLO. Ha fornito una spiegazione dettagliata di come l'esportazione di un modello YOLO utilizzando il pacchetto Python Ultralytics nel formato OpenVINO sia rapida e semplice. Questa integrazione rende molto più facile per gli sviluppatori ottimizzare i propri modelli per l'hardware Intel e ottenere il massimo da entrambe le piattaforme.
Adrian ha dimostrato che una volta che un modello YOLO di Ultralytics è stato addestrato, gli utenti possono esportarlo utilizzando alcuni semplici flag da riga di comando. Ad esempio, gli utenti possono specificare se desiderano esportare il modello come versione a virgola mobile per la massima precisione o come versione quantizzata per una migliore velocità ed efficienza. Ha anche evidenziato come gli sviluppatori possono gestire questo processo direttamente tramite codice, utilizzando opzioni come la quantizzazione INT8 per migliorare le prestazioni senza sacrificare troppa accuratezza.
Mettendo in pratica tutta questa teoria, il team Intel ha presentato una demo in tempo reale di object detection eseguendo YOLO11 sull'Intel AI PC. Adrian ha mostrato come il sistema gestiva il modello su diversi processori, raggiungendo 36 frame al secondo (FPS) sulla CPU con un modello a virgola mobile, oltre 100 FPS sulla GPU integrata e 70 FPS con la versione quantizzata INT8. Sono stati in grado di mostrare quanto efficientemente l'Intel AI PC può gestire compiti complessi di AI.
Ha anche sottolineato che il sistema può eseguire modelli in parallelo, utilizzando CPU, GPU e NPU insieme per attività in cui tutti i dati o i frame video sono disponibili in anticipo. Questo è utile quando si elaborano carichi pesanti come i video. Il sistema può dividere il carico di lavoro tra diversi processori, rendendolo più veloce ed efficiente.
Per concludere, Adrian ha menzionato che gli utenti potevano provare le demo a casa, incluse soluzioni come il conteggio delle persone e la gestione intelligente delle code. Ha poi mostrato una demo bonus in cui gli utenti potevano inserire prompt per generare immagini oniriche in tempo reale sulla GPU. Ha dimostrato la versatilità dell'Intel AI PC sia per le attività di AI tradizionali che per i progetti di AI generativa e creativa.
All'evento, Intel aveva uno stand dove esponeva una demo di object detection in tempo reale utilizzando YOLO11, in esecuzione sul loro Intel AI PC. I partecipanti hanno potuto vedere il modello in azione, ottimizzato con OpenVINO e distribuito sul processore Intel Core Ultra 200V.
Allo stand Intel, Dmitry ha condiviso: "È la mia prima volta a YOLO Vision e sono felice di essere a Madrid. Stiamo presentando il modello YOLO11 di Ultralytics, in esecuzione sul processore Intel Core Ultra 200V. Mostra prestazioni eccellenti e utilizziamo OpenVINO per ottimizzare e distribuire il modello. È stato molto facile collaborare con Ultralytics ed eseguire il modello sull'ultimo hardware Intel, utilizzando CPU, GPU e NPU." Lo stand aveva anche alcuni divertenti omaggi, come magliette e quaderni da portare a casa per i partecipanti.
Il tech talk di Intel allo YV24, con i processori Intel Core Ultra serie 200V, ha mostrato come il toolkit OpenVINO ottimizza i modelli di AI come Ultralytics YOLO11. Questa integrazione consente agli utenti di eseguire i modelli YOLO direttamente sui propri dispositivi, offrendo ottime prestazioni per attività di computer vision come l'object detection. Il vantaggio principale è che gli utenti non devono fare affidamento sui servizi cloud.
Sviluppatori e appassionati di AI possono eseguire e ottimizzare senza sforzo i modelli YOLO, sfruttando appieno hardware come CPU, GPU e NPU per applicazioni in tempo reale. Il toolkit Intel OpenVINO, in combinazione con i modelli YOLO di Ultralytics, apre nuove possibilità per portare funzionalità avanzate di AI direttamente sui dispositivi personali, rendendola un'opzione ideale per gli sviluppatori desiderosi di guidare le innovazioni dell'AI in vari settori.
Collaboriamo e innoviamo! Visita il nostro repository GitHub per scoprire i nostri contributi e interagire con la nostra community. Scopri come stiamo utilizzando l'AI per avere un impatto in settori come il manufacturing e la sanità.
