Distribuisci Ultralytics YOLO11 con OpenVINO™ in modo semplice

L'adozione dell'AI dipende dall'accessibilità delle soluzioni di AI, e una parte fondamentale consiste nel renderle facili da distribuire sull'hardware che le persone già possiedono. Eseguire modelli di AI su GPU (unità di elaborazione grafica) è un'ottima scelta in termini di prestazioni e capacità di elaborazione parallela.

Tuttavia, nella realtà non tutti hanno accesso a GPU di fascia alta, soprattutto negli ambienti edge o sui comuni laptop. Per questo è così importante ottimizzare i modelli affinché funzionino in modo efficiente su hardware più diffuso, come le unità centrali di elaborazione (CPU), le GPU integrate e le unità di elaborazione neurale (NPU).

La computer vision, ad esempio, è un ramo dell'AI che consente alle macchine di analizzare e comprendere immagini e flussi video in tempo reale. I modelli di AI visiva come Ultralytics YOLO11 supportano attività fondamentali come il rilevamento di oggetti e la segmentazione di istanze, alla base di applicazioni che spaziano dall'analisi del commercio al dettaglio alla diagnostica medica.

Fig. 1. Uso di Ultralytics YOLO11 per rilevare e segmentare oggetti in un negozio al dettaglio.

Per rendere la computer vision più accessibile a tutti, Ultralytics ha rilasciato un'integrazione aggiornata con il toolkit OpenVINO, un progetto open source per ottimizzare ed eseguire l'inferenza AI su CPU, GPU e NPU.

Con questa integrazione, è più facile esportare e distribuire modelli YOLO11, con un'inferenza fino a 3× più veloce su CPU e prestazioni accelerate su GPU e NPU Intel. In questo articolo vedremo come usare il pacchetto Python di Ultralytics per esportare i modelli YOLO11 nel formato OpenVINO e usarli per l'inferenza. Iniziamo!

Panoramica di Ultralytics YOLO11#

Prima di approfondire i dettagli dell'integrazione OpenVINO supportata da Ultralytics, vediamo più da vicino perché YOLO11 è un modello di computer vision affidabile e d'impatto. YOLO11 è il modello più recente della serie Ultralytics YOLO e offre miglioramenti significativi sia in termini di velocità sia di accuratezza.

Uno dei suoi punti di forza principali è l'efficienza. Per esempio, Ultralytics YOLO11m ha il 22% di parametri in meno rispetto a Ultralytics YOLOv8m, ma raggiunge una precisione media media (mAP) superiore sul dataset COCO. Ciò significa che è più veloce e rileva gli oggetti con maggiore accuratezza, risultando ideale per le applicazioni in tempo reale in cui prestazioni e reattività sono fondamentali.

Fig. 2 Benchmark delle prestazioni di Ultralytics YOLO11.

Oltre al rilevamento degli oggetti, YOLO11 supporta diverse attività di computer vision avanzate, come la segmentazione delle istanze, la stima della posa, la classificazione delle immagini, il tracciamento degli oggetti e il rilevamento di riquadri di delimitazione orientati. YOLO11 è anche facile da usare per gli sviluppatori: il pacchetto Python di Ultralytics offre un'interfaccia semplice e coerente per addestrare, valutare e distribuire i modelli.

Inoltre, il pacchetto Python di Ultralytics supporta varie integrazioni e diversi formati di esportazione, tra cui OpenVINO, ONNX e TorchScript, permettendoti di integrare facilmente YOLO11 in diverse pipeline di distribuzione. Che tu lavori con infrastrutture cloud, dispositivi edge o sistemi embedded, il processo di esportazione è semplice e adattabile alle esigenze del tuo hardware.

Che cos'è OpenVINO™?#

OpenVINO™ (inferenza visiva aperta e ottimizzazione delle reti neurali) è un toolkit open source per ottimizzare e distribuire l'inferenza AI su un'ampia gamma di hardware. Consente agli sviluppatori di eseguire in modo efficiente applicazioni di inferenza ad alte prestazioni su diverse piattaforme Intel, tra cui CPU, GPU integrate e discrete, NPU e array di gate programmabili sul campo (FPGA).

OpenVINO offre un'interfaccia di runtime unificata che astrae le differenze hardware tramite plugin specifici per ciascun dispositivo. In questo modo, gli sviluppatori possono scrivere il codice una sola volta e distribuirlo su diversi dispositivi Intel usando un'API coerente.

Ecco alcune delle funzionalità principali che rendono OpenVINO un'ottima scelta per la distribuzione:

• Convertitore di modelli: questo strumento converte e prepara modelli provenienti da framework diffusi, come PyTorch, ONNX, TensorFlow, PaddlePaddle e altri, affinché possano essere ottimizzati per un'inferenza efficiente sull'hardware Intel.
• Esecuzione eterogenea: non devi riscrivere il codice per i diversi dispositivi Intel. OpenVINO semplifica l'esecuzione dello stesso modello su qualsiasi hardware supportato, dalle CPU alle GPU.
• Supporto alla quantizzazione: il toolkit supporta formati a precisione ridotta come FP16 (predefinito) e INT8, che aiutano a ridurre le dimensioni dei modelli e ad accelerare l'inferenza senza compromettere significativamente l'accuratezza.

Fig. 3 OpenVINO offre opzioni di distribuzione diversificate.

Alla scoperta dell'integrazione Ultralytics x OpenVINO#

Ora che abbiamo visto cos'è OpenVINO e perché è importante, vediamo come esportare i modelli Ultralytics YOLO11 nel formato OpenVINO ed eseguire inferenze efficienti sull'hardware Intel.

Passaggio 1: installa il pacchetto Python di Ultralytics#

Per esportare un modello nel formato OpenVINO, devi prima installare il pacchetto Python di Ultralytics. Questo pacchetto offre tutto ciò che ti serve per addestrare, valutare ed esportare i modelli YOLO, compreso YOLO11.

Puoi installarlo eseguendo il comando "pip install ultralytics" nel terminale o nel prompt dei comandi. Se lavori in un ambiente interattivo come Jupyter Notebook o Google Colab, aggiungi semplicemente un punto esclamativo prima del comando.

Inoltre, se riscontri problemi durante l'installazione o l'esportazione, la documentazione di Ultralytics e le guide alla risoluzione dei problemi sono ottime risorse per aiutarti a riprendere il lavoro.

Passaggio 2: esporta il tuo modello Ultralytics YOLO11 nel formato OpenVINO#

Una volta configurato il pacchetto Ultralytics, il passaggio successivo consiste nel caricare il modello YOLO11 e convertirlo in un formato compatibile con OpenVINO.

Nell'esempio seguente usiamo un modello YOLO11 preaddestrato (“yolo11n.pt”). La funzionalità di esportazione lo converte nel formato OpenVINO. Dopo aver eseguito questo codice, il modello convertito verrà salvato in una nuova directory denominata “yolo11n_openvino_model”.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Passaggio 3: esegui l'inferenza con il modello esportato#

Una volta esportato il modello YOLO11 nel formato OpenVINO, puoi eseguire inferenze in due modi: usando il pacchetto Python di Ultralytics oppure il runtime nativo di OpenVINO.

Usare il pacchetto Python di Ultralytics#

Il modello YOLO11 esportato può essere distribuito facilmente usando il pacchetto Python di Ultralytics, come mostrato nel frammento di codice seguente. Questo metodo è ideale per sperimentare rapidamente e semplificare la distribuzione sull'hardware Intel.

Puoi anche specificare il dispositivo da usare per l'inferenza, ad esempio "intel:cpu", "intel:gpu" o "intel:npu", a seconda dell'hardware Intel disponibile sul tuo sistema.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Dopo aver eseguito il codice precedente, l'immagine di output verrà salvata nella directory "runs/detect/predict".

Fig. 4. Uso del modello Ultralytics YOLO11 esportato per rilevare oggetti in un'immagine.

Usare il runtime nativo di OpenVINO#

Se cerchi un modo personalizzabile per eseguire l'inferenza, soprattutto in ambienti di produzione, il runtime OpenVINO ti offre un maggiore controllo sull'esecuzione del modello. Supporta funzionalità avanzate come l'esecuzione asincrona (esecuzione parallela di più richieste di inferenza) e il bilanciamento del carico (distribuzione efficiente dei carichi di lavoro di inferenza sull'hardware Intel).

Per usare il runtime nativo, ti servono i file del modello esportato: un file .xml (che definisce l'architettura della rete) e un file .bin (che contiene i pesi appresi dal modello). Puoi anche configurare parametri aggiuntivi, come le dimensioni dell'input o le fasi di preelaborazione, in base alla tua applicazione.

Un tipico flusso di distribuzione prevede l'inizializzazione del core OpenVINO, il caricamento e la compilazione del modello per un dispositivo di destinazione, la preparazione dell'input e l'esecuzione dell'inferenza. Per esempi dettagliati e istruzioni passo passo, consulta la documentazione ufficiale di Ultralytics su OpenVINO.

Perché scegliere l'integrazione Ultralytics x OpenVINO?#

Esplorando le integrazioni Ultralytics, noterai che il pacchetto Python di Ultralytics supporta l'esportazione dei modelli YOLO11 in vari formati, come TorchScript, CoreML, TensorRT e ONNX. Perché, allora, scegliere l'integrazione OpenVINO?

Ecco alcuni motivi per cui il formato di esportazione OpenVINO è ideale per distribuire modelli sull'hardware Intel:

• Miglioramenti delle prestazioni: puoi ottenere un'inferenza fino a 3× più veloce sulle CPU Intel, con un'accelerazione aggiuntiva disponibile su GPU integrate e NPU.
• Non serve riaddestrare: puoi esportare direttamente in formato OpenVINO i tuoi modelli Ultralytics YOLO11 esistenti, senza modificarli né riaddestrarli.
• Progettato per scalare: lo stesso modello esportato può essere distribuito su dispositivi edge a basso consumo e su infrastrutture cloud su larga scala, semplificando la distribuzione dell'AI scalabile.

Puoi anche valutare i benchmark prestazionali del modello Ultralytics YOLO11 su diverse piattaforme Intel® nell'OpenVINO™ Model Hub. L'OpenVINO Model Hub è una risorsa che consente agli sviluppatori di valutare modelli AI sull'hardware Intel e scoprire i vantaggi prestazionali di OpenVINO su CPU Intel, GPU integrate, NPU e GPU discrete.

Fig. 5. OpenVINO™ Model Hub: benchmark prestazionali del modello Ultralytics YOLO11 su diverse piattaforme Intel®.

Applicazioni di Ultralytics YOLO11 e del formato di esportazione OpenVINO#

Grazie all'integrazione OpenVINO, distribuire i modelli Ultralytics YOLO11 sull'hardware Intel in contesti reali diventa molto più semplice.

Un ottimo esempio è la vendita al dettaglio intelligente, dove Ultralytics YOLO11 può aiutare a rilevare in tempo reale gli scaffali vuoti, monitorare i prodotti in esaurimento e analizzare gli spostamenti dei clienti nel negozio. Questo consente ai rivenditori di migliorare la gestione delle scorte e ottimizzare la disposizione dei negozi per coinvolgere maggiormente gli acquirenti.

Analogamente, nelle città intelligenti, YOLO11 può essere usato per monitorare il traffico contando i veicoli, tracciando i pedoni e rilevando in tempo reale le infrazioni al semaforo rosso. Queste informazioni possono contribuire a ottimizzare il flusso del traffico, migliorare la sicurezza stradale e supportare sistemi automatizzati di controllo delle infrazioni.

Fig. 6 Conteggio dei veicoli con YOLO11.

Un altro caso d'uso interessante è l'ispezione industriale, dove Ultralytics YOLO11 può essere distribuito sulle linee di produzione per rilevare automaticamente difetti visivi, come componenti mancanti, disallineamenti o danni superficiali. Questo aumenta l'efficienza, riduce i costi e contribuisce a migliorare la qualità dei prodotti.

Fattori chiave da considerare quando usi il toolkit OpenVINO#

Quando distribuisci i modelli Ultralytics YOLO11 con OpenVINO, tieni presenti alcuni aspetti importanti per ottenere i risultati migliori:

• Verifica la compatibilità hardware: assicurati che il tuo hardware Intel, che si tratti di una CPU, una GPU integrata o una NPU, sia supportato da OpenVINO, così che il modello possa funzionare in modo efficiente.
• Installa i driver corretti: se usi GPU o NPU Intel, verifica che tutti i driver necessari siano installati correttamente e aggiornati.
• Comprendi i compromessi legati alla precisione: OpenVINO supporta modelli con precisione FP32, FP16 e INT8. Ognuna comporta un compromesso tra velocità e accuratezza, quindi è importante scegliere l'opzione giusta in base ai tuoi obiettivi prestazionali e all'hardware disponibile.

Punti chiave#

Esportare Ultralytics YOLO11 nel formato OpenVINO semplifica l'esecuzione di modelli di computer vision rapidi ed efficienti sull'hardware Intel. Puoi distribuirli su CPU, GPU e NPU senza doverli riaddestrare o modificare il codice. È un ottimo modo per migliorare le prestazioni mantenendo tutto semplice e scalabile.

Grazie al supporto integrato nel pacchetto Python di Ultralytics, esportare ed eseguire inferenze con OpenVINO è semplice. Bastano pochi passaggi per ottimizzare il modello ed eseguirlo su diverse piattaforme Intel. Che tu lavori alla vendita al dettaglio intelligente, al monitoraggio del traffico o all'ispezione industriale, questo flusso di lavoro ti aiuta a passare dallo sviluppo alla distribuzione in modo rapido e sicuro.

Unisciti alla community YOLO e dai un'occhiata al repository GitHub di Ultralytics per saperne di più sulle integrazioni d'impatto supportate da Ultralytics. Inoltre, consulta le opzioni di licenza di Ultralytics per iniziare subito a lavorare con la computer vision!

Iscriviti al nostro prossimo webinar per vedere l'integrazione Ultralytics × OpenVINO in azione e visita il sito web di OpenVINO per scoprire gli strumenti per ottimizzare e distribuire l'AI su larga scala.