Accelerare Ultralytics YOLO26 con OpenVINO su Intel Core Ultra Series 3 (Panther Lake)

Negli ultimi anni, l'IA e la visione artificiale sono passate dall'essere sperimentali a diventare una parte fondamentale delle operazioni aziendali quotidiane. Infatti, i sondaggi mostrano che circa 88% delle organizzazioni utilizza già l'IA in almeno una parte della propria attività.

Tuttavia, trasformare tale adozione in valore reale, sia nei sistemi di produzione che nei progetti personali, dipende spesso da quanto bene i modelli funzionano effettivamente una volta distribuiti. In molti scenari reali, i modelli di visione artificiale come Ultralytics YOLO26 vengono distribuiti su dispositivi edge e su una vasta gamma di hardware, spesso CPU, GPU integrate o NPU, piuttosto che su GPU di fascia alta.

È qui che le prestazioni possono iniziare a variare e dove l'ottimizzazione diventa fondamentale. Un modello che funziona bene in un ambiente potrebbe avere difficoltà in un altro se non è correttamente ottimizzato per l'hardware sottostante.

Per semplificare questo aspetto, il pacchetto Python di Ultralytics supporta l'esportazione dei modelli YOLO26 in formati ottimizzati come OpenVINO, in modo che possano funzionare senza problemi sull'hardware Intel senza richiedere modifiche al tuo flusso di lavoro.

Ad esempio, quando un modello YOLO26 viene esportato nel formato OpenVINO, può essere eseguito in modo più efficiente sui processori Intel Core Ultra Series 3, con velocità di inferenza su GPU che migliorano fino a tre volte.

In questo articolo, esploreremo come l'integrazione aggiornata di Ultralytics e OpenVINO renda più semplice distribuire modelli YOLO26 su hardware Intel Core Ultra Series 3. Cominciamo!

Link to this sectionUna panoramica dell'integrazione Ultralytics x OpenVINO#

Il pacchetto Python di Ultralytics fornisce un'interfaccia unica per l'addestramento, l'esecuzione dell'inferenza e la distribuzione dei modelli Ultralytics YOLO come YOLO26. Supporta una serie di integrazioni che aiutano nelle diverse fasi del flusso di lavoro dell'IA di visione, dall'addestramento e sperimentazione fino alla distribuzione e ottimizzazione.

Una delle integrazioni focalizzate sulla distribuzione è con il toolkit OpenVINO, che ti consente di esportare modelli YOLO26 in un formato ottimizzato per l'hardware Intel. Questo processo converte i modelli YOLO in un formato che viene eseguito in modo più efficiente su CPU, GPU e NPU Intel, inclusi i sistemi alimentati dai processori Intel® Core™ Ultra™.

Ciò rende più snello eseguire i modelli su diversi dispositivi Intel senza doverli regolare manualmente per ogni configurazione. Che tu stia lavorando su una macchina locale, un dispositivo edge o una distribuzione più ampia, lo stesso modello esportato può essere riutilizzato.

Ciò che rende questa integrazione particolarmente pratica è come si adatta perfettamente al flusso di lavoro esistente di Ultralytics. Puoi esportare un modello utilizzando la stessa interfaccia che usi per l'addestramento e l'inferenza, senza bisogno di strumenti aggiuntivi o configurazioni complesse.

Una volta esportato, il modello può essere utilizzato per l'inferenza tramite il pacchetto Python di Ultralytics o l'OpenVINO Runtime, a seconda di quanta flessibilità e controllo ti servono.

Link to this sectionUno sguardo più da vicino a OpenVINO e all'hardware Intel Panther Lake per l'inferenza IA#

Prima di vedere con quanta efficienza un modello YOLO26 esportato possa essere eseguito su hardware Intel, facciamo un passo indietro per capire come OpenVINO e l'hardware Intel lavorino insieme per abilitare un'inferenza efficiente.

OpenVINO è un toolkit open-source progettato per ottimizzare ed eseguire l'inferenza IA su hardware Intel, inclusi CPU, GPU integrate e NPU. Fornisce un runtime unificato, quindi lo stesso modello può essere eseguito su queste diverse unità di calcolo senza dover essere riscritto.

Fig 1. OpenVINO semplifica la distribuzione dei modelli su molteplici target hardware. (Fonte)

Sui nuovi processori Intel® Core™ Ultra™ Series 3 (nome in codice Panther Lake), i carichi di lavoro IA vengono eseguiti su più unità di calcolo all'interno dello stesso processore. Ogni chip combina core CPU per attività generiche, una GPU integrata per l'elaborazione parallela e una NPU dedicata progettata specificamente per l'inferenza IA.

OpenVINO fornisce un'API unificata che ti permette di puntare a una qualsiasi di queste unità di calcolo, che sia CPU, GPU o NPU, senza cambiare il tuo codice. Puoi semplicemente specificare su quale dispositivo eseguire l'inferenza in fase di runtime, rendendo immediato passare da uno all'altro a seconda delle tue esigenze di prestazioni ed efficienza.

Link to this sectionBenchmark di YOLO26 sulla serie Intel® Core™ Ultra™#

Mentre esplori l'integrazione tra Ultralytics e OpenVINO, potresti chiederti: che tipo di guadagni nelle prestazioni del modello puoi aspettarti dall'esportazione di YOLO26 nel formato OpenVINO?

La differenza nella velocità di inferenza diventa chiara quando si esegue il benchmark dei modelli YOLO26 su diversi formati e livelli di precisione. Ad esempio, quando si esegue la variante nano di YOLO26 (YOLO26n) su un Intel Core Ultra X7 358H, un processore Panther Lake, il tempo di inferenza scende da 25,18 ms per immagine in PyTorch a precisione FP32 a 2,64 ms con OpenVINO alla stessa precisione utilizzando la NPU integrata.

È più veloce della baseline originale PyTorch FP32, il che può fare una differenza notevole nelle applicazioni in tempo reale e edge dove la latenza è critica. Questi guadagni diventano ancora più evidenti quando si esegue lo stesso modello sulla GPU integrata Intel Arc.

Fig 2. Benchmark dell'inferenza di YOLO26 su GPU Intel Panther Lake utilizzando OpenVINO (Fonte)

Fig 3. Benchmark dell'inferenza di YOLO26 su NPU Intel Panther Lake utilizzando OpenVINO (Fonte)

Link to this sectionEsplorazione di due modi per esportare Ultralytics YOLO26 nel formato OpenVINO#

Esistono due modi principali per esportare i modelli YOLO26 nel formato OpenVINO. Puoi utilizzare il pacchetto Python di Ultralytics o esportare direttamente tramite Ultralytics Platform, uno spazio di lavoro end-to-end per creare e gestire i flussi di lavoro di visione artificiale in un unico luogo. Successivamente, esamineremo entrambi gli approcci.

Link to this sectionUtilizzo del pacchetto Python di Ultralytics per esportare YOLO26#

Il pacchetto Python di Ultralytics fornisce un modo semplice per esportare i modelli YOLO26 nel formato OpenVINO all'interno di un flusso di lavoro basato su codice. Poiché la stessa interfaccia viene utilizzata per l'addestramento e l'inferenza, l'esportazione di un modello si inserisce naturalmente nelle pipeline esistenti senza richiedere strumenti aggiuntivi.

Per iniziare, puoi installare il pacchetto Ultralytics. Questo può essere fatto eseguendo il comando “pip install ultralytics” in un terminale o prompt dei comandi. Se lavori in un ambiente interattivo come Jupyter Notebook o Google Colab, puoi eseguire lo stesso comando anteponendo un punto esclamativo.

Una volta installato, puoi caricare un modello YOLO26 addestrato ed esportarlo direttamente nel formato OpenVINO. Come mostrato di seguito, un modello YOLO26n pre-addestrato (yolo26n.pt) viene caricato e quindi convertito nel formato OpenVINO utilizzando il metodo di esportazione.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="openvino")

Dopo aver eseguito il codice, il modello convertito viene salvato in una nuova directory, dove può essere utilizzato per la distribuzione.

Link to this sectionEsportazione di YOLO26 su Ultralytics Platform#

Se cerchi un approccio più semplice, senza codice, puoi esportare i modelli YOLO26 direttamente tramite Ultralytics Platform. La piattaforma riunisce l'intero flusso di lavoro di visione artificiale in un unico spazio di lavoro, rendendo facile passare dall'addestramento alla distribuzione senza ulteriori configurazioni.

Una volta che il tuo modello è pronto, puoi aprirlo all'interno della piattaforma e passare alla scheda Esporta. Da lì, puoi selezionare OpenVINO come formato di esportazione e opzionalmente regolare le impostazioni come la dimensione dell'immagine o la precisione.

Fig 4. Uno sguardo all'esportazione di YOLO26 all'interno di Ultralytics Platform

La piattaforma gestisce la conversione automaticamente, quindi non c'è bisogno di gestire script, dipendenze o configurazioni ambientali. Dopo che l'esportazione è completa, il modello ottimizzato può essere scaricato e utilizzato per la distribuzione su CPU, GPU e NPU Intel.

Link to this sectionOpzioni di distribuzione abilitate dall'integrazione Ultralytics x OpenVINO#

Una volta che un modello YOLO26 è stato esportato nel formato OpenVINO, ci sono un paio di modi per eseguire l'inferenza a seconda del tuo flusso di lavoro e del livello di controllo necessario. Puoi utilizzare il pacchetto Python di Ultralytics per un approccio più semplice e integrato o utilizzare il runtime nativo di OpenVINO per una maggiore flessibilità e controllo.

Link to this sectionEsecuzione dell'inferenza con il pacchetto Python di Ultralytics#

Una volta che il tuo modello è stato esportato nel formato OpenVINO, puoi eseguire l'inferenza utilizzando il pacchetto Python di Ultralytics. Questo approccio è ideale per test rapidi e una distribuzione snella, poiché utilizza la stessa interfaccia dell'addestramento e dell'esportazione.

Con questo approccio, puoi caricare il modello OpenVINO esportato dalla sua directory ed eseguire l'inferenza su un input come un'immagine o un video. Puoi anche scegliere su quale dispositivo eseguire l'inferenza specificando opzioni come "intel:cpu", "intel:gpu" o "intel:npu", a seconda dell'hardware disponibile sul tuo sistema.

Il frammento di codice qui sotto mostra come caricare il modello esportato ed eseguire l'inferenza su un'immagine puntando alla GPU. Dopo che l'inferenza è completa, l'immagine di output viene salvata nella directory “runs/detect/predict”.

ov_model = YOLO("yolo26n_openvino_model/")

results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Link to this sectionSfruttare il pacchetto nativo OpenVINO per l'inferenza#

Se hai bisogno di maggiore controllo su come il tuo modello viene eseguito in produzione, puoi utilizzare il runtime nativo di OpenVINO per l'inferenza. Questo metodo è utile quando si integrano i modelli in applicazioni più grandi o quando desideri perfezionare il modo in cui l'inferenza viene eseguita su hardware specifico.

OpenVINO fornisce un modo unificato per eseguire i modelli su CPU, GPU e NPU Intel, insieme a funzionalità come l'esecuzione asincrona e l'uso efficiente delle risorse di calcolo disponibili. Per configurarlo, puoi lavorare direttamente con i file del modello esportati, incluso il file .xml che definisce la struttura del modello e il file .bin che contiene i pesi addestrati.

A seconda del tuo caso d'uso, puoi anche regolare impostazioni come la dimensione dell'input o i passaggi di pre-elaborazione. La configurazione dell'inferenza comporta l'inizializzazione del runtime di OpenVINO, il caricamento e la compilazione del modello per un dispositivo target, la preparazione dei dati di input e quindi l'esecuzione dell'inferenza.

Fig 5. Un esempio di una tipica pipeline di inferenza con OpenVINO (Fonte)

Ciò ti consente di controllare come il modello viene eseguito e come si adatta alla tua distribuzione complessiva. Per saperne di più sulla configurazione e l'esecuzione dell'inferenza con il runtime di OpenVINO, puoi esplorare la documentazione ufficiale di Ultralytics.

Link to this sectionApplicazioni reali di YOLO26 su hardware Intel#

Il valore reale dell'integrazione tra Ultralytics e OpenVINO si manifesta in produzione, dove un'inferenza affidabile e a bassa latenza può fare una differenza tangibile. Ecco uno sguardo ad alcuni settori chiave in cui questa integrazione guida risultati significativi:

• Produzione: Esportando YOLO26 in OpenVINO, i sistemi delle linee di produzione possono rilevare automaticamente difetti visivi come componenti mancanti, disallineamenti o danni superficiali su hardware Intel, aiutando a migliorare la qualità del prodotto e ridurre errori costosi.

• Sanità: I sistemi di imaging medico e di monitoraggio dei pazienti possono eseguire modelli YOLO26 esportati localmente su hardware Intel, supportando rigorosi requisiti di privacy dei dati pur mantenendo prestazioni di inferenza affidabili.

• Città intelligenti: Il monitoraggio del traffico e l'analisi della folla possono essere distribuiti utilizzando modelli YOLO26 esportati su telecamere edge basate su Intel, abilitando insight in tempo reale come il conteggio dei veicoli, il tracciamento dei pedoni e il rilevamento degli incidenti.

• Automobilistico: La bassa latenza e l'efficienza energetica sono fondamentali nel monitoraggio del conducente e nel rilevamento all'interno dell'abitacolo, rendendo l'hardware Intel abbinato ai modelli YOLO26 esportati una soluzione ideale per i sistemi automobilistici integrati.

Se vuoi saperne di più su questa integrazione, unisciti a noi per la serie di workshop Intel OpenVINO DevCon, “From Annotation to Deployment: Building an Object Detection Pipeline with Geti, YOLO26, and OpenVINO™”, dove il nostro Partnership and Ecosystem Manager, Francesco Mattioli, si unirà all'AI Software Evangelist di Intel, Adrian Boguszewski, per una dimostrazione dal vivo e una guida su come costruire pipeline di visione artificiale pronte per la produzione per scenari industriali reali. Il workshop presenterà un flusso di lavoro completo ed end-to-end per il rilevamento di oggetti, dalla creazione del dataset e l'addestramento del modello fino all'ottimizzazione e alla distribuzione edge.

Link to this sectionVantaggi dell'utilizzo del formato di esportazione OpenVINO#

Ecco alcuni dei vantaggi chiave dell'utilizzo del formato di esportazione OpenVINO:

• Accessibile e facile da integrare: Con un'API unificata e oltre 80 notebook tutorial, OpenVINO rende più semplice passare dalla sperimentazione alla distribuzione senza introdurre complessità significative.

• Esegui lo stesso modello su hardware diversi: OpenVINO ti consente di utilizzare un singolo modello esportato su hardware Intel supportato, distribuendolo su CPU, GPU o NPU senza doverlo riscrivere o adattare per ogni dispositivo.

• Ottimizzazione integrata durante l'esportazione: L'esportazione in OpenVINO converte i modelli dai framework più popolari come PyTorch e TensorFlow in un formato ottimizzato pronto per l'inferenza, eliminando la necessità di passaggi di conversione separati.

• Migliore utilizzo delle risorse hardware: OpenVINO supporta l'inferenza asincrona e il bilanciamento del carico su hardware Intel, contribuendo a migliorare l'efficienza nelle applicazioni del mondo reale.

Link to this sectionEsecuzione di YOLO26 con ExecuTorch e il backend OpenVINO#

Se stai distribuendo YOLO26 in ambienti di produzione più esigenti, c'è un'altra opzione disponibile che combina l'efficienza on-device con una compressione avanzata del modello.

ExecuTorch, il framework di inferenza on-device di PyTorch, supporta un backend OpenVINO che ti consente di distribuire YOLO26 su hardware Intel attraverso un diverso percorso di esportazione e runtime.

Funziona così: ExecuTorch gestisce l'esportazione del modello e l'esecuzione del runtime, mentre OpenVINO funge da livello di accelerazione hardware sottostante, gestendo il calcolo effettivo su CPU, GPU o NPU Intel. I due lavorano insieme in modo da ottenere la portabilità e l'efficienza on-device di ExecuTorch combinate con le ottimizzazioni specifiche per l'hardware fornite da OpenVINO.

Per saperne di più su come funziona e come iniziare con YOLO26 su ExecuTorch e il backend OpenVINO, dai un'occhiata al blog Intel che copre gli ultimi aggiornamenti di ExecuTorch e OpenVINO.

Link to this sectionPunti chiave#

L'esportazione dei modelli YOLO26 tramite l'integrazione tra Ultralytics e OpenVINO migliora le prestazioni su hardware Intel senza aggiungere complessità al tuo flusso di lavoro. Puoi passare dall'addestramento alla distribuzione senza rielaborare la tua pipeline. Complessivamente, questo fornisce un modo diretto per eseguire i modelli in modo efficiente su CPU, GPU e NPU Intel nelle applicazioni reali.

Unisciti alla nostra community ed esplora il nostro repository GitHub per saperne di più sull'IA di visione. Dai un'occhiata alle nostre opzioni di licenza per avviare i tuoi progetti di visione artificiale. Interessato a innovazioni come l'IA nella produzione o la visione artificiale nell'industria automobilistica? Visita le nostre pagine delle soluzioni per scoprire di più.