Accelerare Ultralytics YOLO26 con OpenVINO su Intel Core Ultra Series 3 (Panther Lake)

Negli ultimi anni, l’AI e la computer vision sono passate dall’essere sperimentali a diventare una componente fondamentale delle attività aziendali quotidiane. In effetti, i sondaggi mostrano che circa l’88% delle organizzazioni utilizza già l’AI in almeno un’area della propria attività.

Tuttavia, trasformare questa adozione in valore concreto, sia nei sistemi di produzione sia nei progetti personali, dipende spesso da quanto bene funzionano effettivamente i modelli una volta distribuiti. In molti scenari reali, i modelli di computer vision come Ultralytics YOLO26 vengono distribuiti su dispositivi edge e su una vasta gamma di hardware, spesso CPU, GPU integrate o NPU, anziché su GPU di fascia alta.

È qui che le prestazioni possono iniziare a variare e l’ottimizzazione diventa fondamentale. Un modello che funziona bene in un ambiente potrebbe avere difficoltà in un altro se non è ottimizzato correttamente per l’hardware sottostante.

Per semplificare questo processo, il pacchetto Python di Ultralytics supporta l’esportazione dei modelli YOLO26 in formati ottimizzati come OpenVINO, così puoi eseguirli in modo fluido su hardware Intel senza modificare il tuo workflow.

Ad esempio, quando un modello Ultralytics YOLO26 viene esportato nel formato OpenVINO, può funzionare in modo più efficiente sui processori Intel Core Ultra Series 3, con velocità di inferenza sulla GPU migliorate fino a tre volte.

In questo articolo vedremo come l’integrazione aggiornata tra Ultralytics e OpenVINO semplifica la distribuzione dei modelli YOLO26 sull’hardware Intel Core Ultra Series 3. Iniziamo!

Panoramica dell’integrazione tra Ultralytics e OpenVINO#

Il pacchetto Python di Ultralytics fornisce un’unica interfaccia per addestrare, eseguire l’inferenza e distribuire modelli Ultralytics YOLO come YOLO26. Supporta diverse integrazioni che facilitano le varie fasi del workflow di vision AI, dall’addestramento e dalla sperimentazione fino alla distribuzione e all’ottimizzazione.

Una delle integrazioni orientate alla distribuzione è quella con il toolkit OpenVINO, che ti consente di esportare i modelli Ultralytics YOLO26 in un formato ottimizzato per l’hardware Intel. Questo processo converte i modelli YOLO in un formato che funziona in modo più efficiente su CPU, GPU e NPU Intel, inclusi i sistemi basati sui processori Intel® Core™ Ultra™ series.

Questo semplifica l’esecuzione dei modelli su diversi dispositivi Intel senza doverli adattare manualmente a ogni configurazione. Che tu stia lavorando su una macchina locale, un dispositivo edge o una distribuzione più ampia, puoi riutilizzare lo stesso modello esportato.

Ciò che rende questa integrazione particolarmente pratica è la sua perfetta compatibilità con il workflow Ultralytics esistente. Puoi esportare un modello usando la stessa interfaccia che utilizzi per l’addestramento e l’inferenza, senza strumenti aggiuntivi o configurazioni complesse.

Una volta esportato, il modello può essere utilizzato per l’inferenza tramite il pacchetto Python di Ultralytics oppure tramite OpenVINO Runtime, a seconda del livello di controllo e flessibilità di cui hai bisogno.

Uno sguardo più approfondito a OpenVINO e all’hardware Intel Panther Lake per l’inferenza AI#

Prima di vedere con quale efficienza un modello Ultralytics YOLO26 esportato può funzionare su hardware Intel, facciamo un passo indietro e cerchiamo di capire come OpenVINO e l’hardware Intel collaborano per abilitare un’inferenza efficiente.

OpenVINO è un toolkit open source progettato per ottimizzare ed eseguire l’inferenza AI su hardware Intel, incluse CPU, GPU integrate e NPU. Fornisce un runtime unificato, così lo stesso modello può essere eseguito su queste diverse unità di calcolo senza dover essere riscritto.

Fig. 1. OpenVINO semplifica la distribuzione dei modelli su più destinazioni hardware. (Fonte)

Sui nuovi processori Intel® Core™ Ultra™ Series 3 (nome in codice Panther Lake), i workload AI vengono eseguiti su più unità di calcolo all’interno dello stesso processore. Ogni chip combina core CPU per le attività generiche, una GPU integrata per l’elaborazione parallela e una NPU dedicata, progettata specificamente per l’inferenza AI.

OpenVINO fornisce un’API unificata che ti permette di utilizzare una qualsiasi di queste unità di calcolo, CPU, GPU o NPU, senza modificare il codice. Ti basta specificare su quale dispositivo eseguire l’inferenza al runtime, rendendo semplice passare dall’uno all’altro in base alle tue esigenze di prestazioni ed efficienza.

Benchmark di Ultralytics YOLO26 sulla serie Intel® Core™ Ultra™#

Mentre esplori l’integrazione tra Ultralytics e OpenVINO, potresti chiederti: quali miglioramenti nelle prestazioni del modello puoi aspettarti esportando YOLO26 nel formato OpenVINO?

La differenza nella velocità di inferenza diventa evidente eseguendo il benchmark dei modelli YOLO26 con formati e livelli di precisione diversi. Ad esempio, eseguendo la variante nano di YOLO26 (YOLO26n) su un Intel Core Ultra X7 358H, un processore Panther Lake, il tempo di inferenza scende da 25,18 ms per immagine in PyTorch con precisione FP32 a 2,64 ms con OpenVINO alla stessa precisione, utilizzando la NPU integrata.

È più veloce della baseline originale PyTorch FP32, una differenza significativa nelle applicazioni real-time ed edge in cui la latenza è fondamentale. Questi miglioramenti diventano ancora più evidenti eseguendo lo stesso modello sulla GPU Intel Arc integrata.

Fig. 2. Benchmark dell’inferenza di Ultralytics YOLO26 sulla GPU Intel Panther Lake con OpenVINO (Fonte)

Fig. 3. Benchmark dell’inferenza di Ultralytics YOLO26 sulla NPU Intel Panther Lake con OpenVINO (Fonte)

Esplorazione di due modi per esportare Ultralytics YOLO26 nel formato OpenVINO#

Esistono due modi principali per esportare i modelli YOLO26 nel formato OpenVINO. Puoi utilizzare il pacchetto Python di Ultralytics oppure esportare direttamente tramite Ultralytics Platform, un workspace end-to-end per creare e gestire i workflow di computer vision in un unico ambiente. Di seguito illustreremo entrambi gli approcci.

Utilizzo del pacchetto Python di Ultralytics per esportare YOLO26#

Il pacchetto Python di Ultralytics offre un modo semplice per esportare i modelli YOLO26 nel formato OpenVINO all’interno di un workflow basato sul codice. Poiché la stessa interfaccia viene utilizzata per l’addestramento e l’inferenza, l’esportazione di un modello si integra naturalmente nelle pipeline esistenti senza richiedere strumenti aggiuntivi.

Per iniziare, puoi installare il pacchetto Ultralytics. Ti basta eseguire il comando “pip install ultralytics” in un terminale o in un prompt dei comandi. Se lavori in un ambiente interattivo come Jupyter Notebook o Google Colab, puoi eseguire lo stesso comando anteponendo un punto esclamativo.

Una volta installato il pacchetto, puoi caricare un modello YOLO26 addestrato ed esportarlo direttamente nel formato OpenVINO. Come mostrato di seguito, viene caricato un modello YOLO26n pre-addestrato (yolo26n.pt), che viene poi convertito nel formato OpenVINO usando il metodo export.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="openvino")

Dopo l’esecuzione del codice, il modello convertito viene salvato in una nuova directory, dove può essere utilizzato per la distribuzione.

Esportazione di YOLO26 su Ultralytics Platform#

Se cerchi un approccio più semplice e senza codice, puoi esportare i modelli YOLO26 direttamente tramite Ultralytics Platform. La piattaforma riunisce l’intero workflow di computer vision in un unico workspace, semplificando il passaggio dall’addestramento alla distribuzione senza configurazioni aggiuntive.

Quando il modello è pronto, puoi aprirlo nella piattaforma e accedere alla scheda Export. Da qui puoi selezionare OpenVINO come formato di esportazione e regolare facoltativamente impostazioni come la dimensione dell’immagine o la precisione.

Fig. 4. Panoramica dell’esportazione di YOLO26 in Ultralytics Platform

La piattaforma gestisce automaticamente la conversione, quindi non devi occuparti di script, dipendenze o configurazione dell’ambiente. Una volta completata l’esportazione, il modello ottimizzato può essere scaricato e utilizzato per la distribuzione su CPU, GPU e NPU Intel.

Opzioni di distribuzione abilitate dall’integrazione tra Ultralytics e OpenVINO#

Una volta esportato un modello YOLO26 nel formato OpenVINO, puoi eseguire l’inferenza in diversi modi, a seconda del tuo workflow e del livello di controllo necessario. Puoi utilizzare il pacchetto Python di Ultralytics per un approccio più semplice e integrato, oppure il runtime OpenVINO nativo per una maggiore flessibilità e controllo.

Esecuzione dell’inferenza con il pacchetto Python di Ultralytics#

Dopo aver esportato il modello nel formato OpenVINO, puoi eseguire l’inferenza usando il pacchetto Python di Ultralytics. Questo approccio è ideale per test rapidi e distribuzioni semplificate, poiché utilizza la stessa interfaccia dell’addestramento e dell’esportazione.

Con questo approccio puoi caricare il modello OpenVINO esportato dalla relativa directory ed eseguire l’inferenza su un input, ad esempio un’immagine o un video. Puoi anche scegliere il dispositivo su cui eseguire l’inferenza specificando opzioni come "intel:cpu", "intel:gpu" o "intel:npu", in base all’hardware disponibile nel sistema.

Il frammento di codice seguente mostra come caricare il modello esportato ed eseguire l’inferenza su un’immagine utilizzando la GPU. Al termine dell’inferenza, l’immagine di output viene salvata nella directory “runs/detect/predict”.

ov_model = YOLO("yolo26n_openvino_model/")

results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Utilizzo del pacchetto OpenVINO nativo per l’inferenza#

Se hai bisogno di un controllo maggiore sul funzionamento del modello in produzione, puoi utilizzare il runtime OpenVINO nativo per l’inferenza. Questo metodo è utile quando integri i modelli in applicazioni più grandi o vuoi ottimizzare il modo in cui l’inferenza viene eseguita su hardware specifico.

OpenVINO offre un modo unificato per eseguire i modelli su CPU, GPU e NPU Intel, insieme a funzionalità come l’esecuzione asincrona e l’utilizzo efficiente delle risorse di calcolo disponibili. Per configurarlo, puoi lavorare direttamente con i file del modello esportato, incluso il file .xml che definisce la struttura del modello e il file .bin che contiene i pesi addestrati.

A seconda del tuo caso d’uso, puoi anche regolare impostazioni come la dimensione dell’input o i passaggi di preprocessing. La configurazione dell’inferenza prevede l’inizializzazione del runtime OpenVINO, il caricamento e la compilazione del modello per un dispositivo di destinazione, la preparazione dei dati di input e infine l’esecuzione dell’inferenza.

Fig. 5. Esempio di una tipica pipeline di inferenza con OpenVINO (Fonte)

Questo ti permette di controllare il modo in cui il modello viene eseguito e il modo in cui si integra nella distribuzione complessiva. Per saperne di più sulla configurazione e sull’esecuzione dell’inferenza con il runtime OpenVINO, puoi consultare la documentazione ufficiale di Ultralytics.

Applicazioni reali di Ultralytics YOLO26 su hardware Intel#

Il valore concreto dell’integrazione tra Ultralytics e OpenVINO emerge in produzione, dove un’inferenza affidabile e a bassa latenza può fare una differenza tangibile. Ecco alcuni settori chiave in cui questa integrazione produce risultati significativi:

• Produzione: esportando Ultralytics YOLO26 in OpenVINO, i sistemi delle linee produttive possono rilevare automaticamente difetti visivi come componenti mancanti, disallineamenti o danni superficiali su hardware Intel, contribuendo a migliorare la qualità dei prodotti e a ridurre gli errori costosi.

• Sanità: i sistemi di imaging medico e monitoraggio dei pazienti possono eseguire localmente i modelli Ultralytics YOLO26 esportati su hardware Intel, supportando rigorosi requisiti di privacy dei dati e mantenendo prestazioni di inferenza affidabili.

• Città intelligenti: il monitoraggio del traffico e l’analisi della folla possono essere implementati utilizzando modelli Ultralytics YOLO26 esportati su telecamere edge basate su Intel, abilitando insight in tempo reale come il conteggio dei veicoli, il tracciamento dei pedoni e il rilevamento degli incidenti.

• Settore automobilistico: la bassa latenza e l’efficienza energetica sono fondamentali per il monitoraggio del conducente e il rilevamento nell’abitacolo, rendendo l’hardware Intel abbinato ai modelli Ultralytics YOLO26 esportati una soluzione adatta ai sistemi automobilistici embedded.

Se vuoi saperne di più su questa integrazione, partecipa alla serie di workshop OpenVINO DevCon di Intel, “Dall’annotazione alla distribuzione: creazione di una pipeline di rilevamento degli oggetti con Geti, Ultralytics YOLO26 e OpenVINO™”, dove il nostro Partnership and Ecosystem Manager, Francesco Mattioli, affiancherà l’AI Software Evangelist di Intel, Adrian Boguszewski, in una dimostrazione dal vivo e una guida pratica alla creazione di pipeline di computer vision pronte per la produzione in scenari industriali reali. Il workshop presenterà un workflow completo end-to-end per il rilevamento degli oggetti, dalla creazione del dataset e dall’addestramento del modello fino all’ottimizzazione e alla distribuzione edge.

Vantaggi dell’utilizzo del formato di esportazione OpenVINO#

Ecco alcuni dei principali vantaggi dell’utilizzo del formato di esportazione OpenVINO:

• Accessibile e facile da integrare: con un’API unificata e oltre 80 notebook tutorial, OpenVINO semplifica il passaggio dalla sperimentazione alla distribuzione senza introdurre una complessità significativa.

• Esegui lo stesso modello su hardware diverso: OpenVINO ti permette di utilizzare un singolo modello esportato sull’hardware Intel supportato, distribuendolo su CPU, GPU o NPU senza doverlo riscrivere o adattare per ogni dispositivo.

• Ottimizzazione integrata durante l’esportazione: l’esportazione in OpenVINO converte i modelli dai framework più diffusi, come PyTorch e TensorFlow, in un formato ottimizzato e pronto per l’inferenza, eliminando la necessità di passaggi di conversione separati.

• Migliore utilizzo delle risorse hardware: OpenVINO supporta l’inferenza asincrona e il bilanciamento del carico sull’hardware Intel, contribuendo a migliorare l’efficienza nelle applicazioni reali.

Esecuzione di Ultralytics YOLO26 con ExecuTorch e il backend OpenVINO#

Se distribuisci Ultralytics YOLO26 in ambienti di produzione più impegnativi, è disponibile un’altra opzione che combina l’efficienza on-device con una compressione avanzata del modello.

ExecuTorch, il framework di PyTorch per l’inferenza on-device, supporta un backend OpenVINO che ti permette di distribuire Ultralytics YOLO26 su hardware Intel attraverso un percorso diverso di esportazione e runtime.

Il funzionamento è il seguente: ExecuTorch gestisce l’esportazione del modello e l’esecuzione tramite runtime, mentre OpenVINO agisce come livello di accelerazione hardware sottostante, gestendo i calcoli effettivi su CPU, GPU o NPU Intel. I due componenti collaborano per offrirti la portabilità e l’efficienza on-device di ExecuTorch, combinate con le ottimizzazioni specifiche per l’hardware fornite da OpenVINO.

Per saperne di più sul funzionamento e su come iniziare a utilizzare Ultralytics YOLO26 con ExecuTorch e il backend OpenVINO, consulta il blog di Intel che illustra gli ultimi aggiornamenti su ExecuTorch e OpenVINO.

Punti chiave#

L’esportazione dei modelli YOLO26 tramite l’integrazione tra Ultralytics e OpenVINO migliora le prestazioni sull’hardware Intel senza aggiungere complessità al tuo workflow. Puoi passare dall’addestramento alla distribuzione senza rielaborare la pipeline. Nel complesso, questa integrazione offre un modo semplice per eseguire i modelli in modo efficiente su CPU, GPU e NPU Intel nelle applicazioni reali.

Unisciti alla nostra community ed esplora il nostro repository GitHub per saperne di più sulla Vision AI. Dai un’occhiata alle nostre opzioni di licenza per dare il via ai tuoi progetti di computer vision. Ti interessano innovazioni come l’AI nella produzione o la computer vision nel settore automobilistico? Visita le nostre pagine dedicate alle soluzioni per saperne di più.