Distribuisci senza problemi Ultralytics YOLO11 utilizzando OpenVINO™

L'adozione dell'IA dipende dall'accessibilità delle soluzioni IA, e una parte importante consiste nel renderle facili da distribuire sull'hardware che le persone già possiedono. Eseguire modelli IA su GPU (unità di elaborazione grafica) è un'ottima opzione in termini di prestazioni e potenza di calcolo parallelo.

Tuttavia, la realtà è che non tutti hanno accesso a GPU di fascia alta, specialmente in ambienti edge o su laptop di uso quotidiano. Ecco perché è così importante ottimizzare i modelli per funzionare in modo efficiente su hardware più ampiamente disponibile come CPU (unità di elaborazione centrale), GPU integrate e NPU (unità di elaborazione neurale).

La computer vision, per esempio, è un ramo dell'intelligenza artificiale che consente alle macchine di analizzare e comprendere immagini e flussi video in tempo reale. I modelli di Vision AI come Ultralytics YOLO11 supportano attività chiave come il rilevamento di oggetti e la segmentazione delle istanze, alimentando applicazioni che vanno dall'analisi retail alla diagnostica medica.

Fig 1. Utilizzo di Ultralytics YOLO11 per rilevare e segmentare oggetti in un negozio al dettaglio.

Per rendere la computer vision più ampiamente accessibile, Ultralytics ha rilasciato un'integrazione aggiornata con il toolkit OpenVINO, che è un open-source project per l'ottimizzazione e l'esecuzione dell'inferenza AI su CPU, GPU e NPU.

Con questa integrazione, è più semplice esportare e distribuire modelli YOLO11 con un'inferenza fino a 3 volte più veloce sulle CPU e prestazioni accelerate su GPU e NPU Intel. In questo articolo, vedremo come utilizzare il pacchetto Python di Ultralytics per esportare i modelli YOLO11 nel formato OpenVINO e utilizzarli per l'inferenza. Iniziamo!

Una panoramica di Ultralytics YOLO11#

Prima di immergerci nei dettagli dell'integrazione OpenVINO supportata da Ultralytics, diamo un'occhiata più da vicino a ciò che rende YOLO11 un modello di visione artificiale affidabile e di impatto. YOLO11 è l'ultimo modello della serie Ultralytics YOLO, che offre miglioramenti significativi sia in velocità che in precisione.

Uno dei suoi punti di forza è l'efficienza. Ad esempio, Ultralytics YOLO11m ha il 22% di parametri in meno rispetto a Ultralytics YOLOv8m, pur ottenendo una mean average precision (mAP) superiore sul dataset COCO. Ciò significa che è più veloce ed esegue rilevamenti di oggetti con maggiore precisione, rendendolo ideale per applicazioni in tempo reale dove le prestazioni e la reattività sono fondamentali.

Fig 2. Benchmark delle prestazioni di Ultralytics YOLO11.

Oltre al rilevamento di oggetti, YOLO11 supporta varie attività avanzate di computer vision come la segmentazione delle istanze, la stima della posa, la classificazione delle immagini, il tracciamento degli oggetti e il rilevamento di bounding box orientati. YOLO11 è anche a misura di sviluppatore, grazie al pacchetto Python di Ultralytics che fornisce un'interfaccia semplice e coerente per l'addestramento, la valutazione e la distribuzione dei modelli.

In aggiunta a ciò, il pacchetto Python di Ultralytics supporta varie integrazioni e molteplici formati di esportazione, tra cui OpenVINO, ONNX, TorchScript, consentendoti di integrare facilmente YOLO11 in diversi pipeline di distribuzione. Che tu stia puntando a infrastrutture cloud, dispositivi edge o sistemi embedded, il processo di esportazione è semplice e adattabile alle tue esigenze hardware.

Cos'è OpenVINO™?#

OpenVINO™ (Open Visual Inference and Neural Network Optimization) è un toolkit open-source per ottimizzare e distribuire l'inferenza IA su un'ampia gamma di hardware. Consente agli sviluppatori di eseguire applicazioni di inferenza ad alte prestazioni in modo efficiente su varie piattaforme Intel, tra cui CPU, GPU integrate e discrete, NPU e field-programmable gate array (FPGA).

OpenVINO fornisce un'interfaccia di runtime unificata che astrae le differenze hardware attraverso plugin specifici per i dispositivi. Ciò significa che puoi scrivere il codice una volta e distribuirlo su molteplici target hardware Intel utilizzando un'API coerente.

Ecco alcune delle caratteristiche chiave che rendono OpenVINO un'ottima scelta per la distribuzione:

• Convertitore di modelli: Questo strumento converte e prepara i modelli da framework popolari come PyTorch, ONNX, TensorFlow, PaddlePaddle e altri, in modo che possano essere ottimizzati per un'inferenza efficiente su hardware Intel.
• Esecuzione eterogenea: Non è necessario riscrivere il codice per hardware Intel differenti. OpenVINO semplifica l'esecuzione dello stesso modello su qualsiasi hardware supportato, dalle CPU alle GPU.
• Supporto per la quantizzazione: Il toolkit supporta formati a precisione ridotta come FP16 (predefinito) e INT8, che aiutano a ridurre le dimensioni del modello e ad accelerare l'inferenza senza compromettere significativamente la precisione.

Fig 3. OpenVINO consente diverse opzioni di distribuzione.

Esplorando l'integrazione Ultralytics x OpenVINO#

Ora che abbiamo esplorato cos'è OpenVINO e la sua importanza, parliamo di come esportare i modelli Ultralytics YOLO11 nel formato OpenVINO ed eseguire un'inferenza efficiente su hardware Intel.

Passaggio 1: Installa il pacchetto Python di Ultralytics#

Per esportare un modello nel formato OpenVINO, dovrai prima installare il pacchetto Python di Ultralytics. Questo pacchetto fornisce tutto il necessario per addestrare, valutare ed esportare i modelli YOLO, incluso YOLO11.

Puoi installarlo eseguendo il comando "pip install ultralytics" nel tuo terminale o prompt dei comandi. Se lavori in un ambiente interattivo come Jupyter Notebook o Google Colab, aggiungi semplicemente un punto esclamativo prima del comando.

Inoltre, se riscontri problemi durante l'installazione o l'esportazione, la documentazione di Ultralytics e le guide alla risoluzione dei problemi sono ottime risorse per aiutarti a rimetterti in carreggiata.

Passaggio 2: Esporta il tuo modello Ultralytics YOLO11 nel formato OpenVINO#

Una volta configurato il pacchetto Ultralytics, il passaggio successivo consiste nel caricare il tuo modello YOLO11 e convertirlo in un formato compatibile con OpenVINO.

Nell'esempio seguente, utilizziamo un modello YOLO11 pre-addestrato (“yolo11n.pt”). La funzionalità di esportazione viene utilizzata per convertirlo nel formato OpenVINO. Dopo aver eseguito questo codice, il modello convertito verrà salvato in una nuova directory chiamata “yolo11n_openvino_model”.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Passaggio 3: Esegui l'inferenza con il modello esportato#

Una volta che il tuo modello YOLO11 è stato esportato nel formato OpenVINO, puoi eseguire inferenze in due modi: utilizzando il pacchetto Python di Ultralytics o il runtime nativo di OpenVINO.

Utilizzando il pacchetto Python di Ultralytics#

Il modello YOLO11 esportato può essere facilmente distribuito utilizzando il pacchetto Python di Ultralytics, come mostrato nello snippet di codice seguente. Questo metodo è ideale per una sperimentazione rapida e una distribuzione ottimizzata su hardware Intel.

Puoi anche specificare quale dispositivo utilizzare per l'inferenza, come "intel:cpu", "intel:gpu" o "intel:npu", a seconda dell'hardware Intel disponibile sul tuo sistema.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Dopo aver eseguito il codice sopra, l'immagine di output verrà salvata nella directory "runs/detect/predict".

Fig 4. Utilizzo del modello Ultralytics YOLO11 esportato per rilevare oggetti in un'immagine.

Utilizzando il runtime nativo di OpenVINO#

Se cerchi un modo personalizzabile per eseguire l'inferenza, specialmente in ambienti di produzione, il runtime di OpenVINO ti offre maggiore controllo su come viene eseguito il modello. Supporta funzionalità avanzate come l'esecuzione asincrona (eseguendo più richieste di inferenza in parallelo) e il bilanciamento del carico (distribuendo i carichi di lavoro di inferenza in modo efficiente sull'hardware Intel).

Per utilizzare il runtime nativo, avrai bisogno dei file del modello esportati: un file .xml (che definisce l'architettura della rete) e un file .bin (che memorizza i pesi addestrati del modello). Puoi anche configurare parametri aggiuntivi come le dimensioni di input o i passaggi di pre-elaborazione a seconda della tua applicazione.

Un flusso di distribuzione tipico include l'inizializzazione del core OpenVINO, il caricamento e la compilazione del modello per un dispositivo di destinazione, la preparazione dell'input e l'esecuzione dell'inferenza. Per esempi dettagliati e una guida passo-passo, fai riferimento alla documentazione ufficiale di Ultralytics OpenVINO.

Perché scegliere l'integrazione Ultralytics x OpenVINO?#

Esplorando le integrazioni di Ultralytics, noterai che il pacchetto Python di Ultralytics supporta l'esportazione di modelli YOLO11 in una varietà di formati come TorchScript, CoreML, TensorRT e ONNX. Quindi, perché scegliere l'integrazione OpenVINO?

Ecco alcuni motivi per cui il formato di esportazione OpenVINO è un'ottima scelta per la distribuzione di modelli su hardware Intel:

• Guadagni di prestazioni: Puoi sperimentare un'inferenza fino a 3 volte più veloce su CPU Intel, con ulteriore accelerazione disponibile su GPU integrate e NPU.
• Nessun riaddestramento necessario: puoi esportare i tuoi modelli Ultralytics YOLO11 esistenti direttamente nel formato OpenVINO senza modificarli o riaddestrarli.
• Progettato per scalare: Lo stesso modello esportato può essere distribuito su dispositivi edge a bassa potenza e infrastrutture cloud su larga scala, semplificando la distribuzione AI scalabile.

Puoi anche valutare i benchmark delle prestazioni per il modello Ultralytics YOLO11 su una gamma di piattaforme Intel® sull'OpenVINO™ Model Hub. L'OpenVINO Model Hub è una risorsa per gli sviluppatori per valutare i modelli di IA su hardware Intel e scoprire il vantaggio in termini di prestazioni di OpenVINO su CPU, GPU integrate, NPU e grafiche discrete Intel.

Fig 5. OpenVINO™ Model Hub: Benchmark delle prestazioni per il modello Ultralytics YOLO11 su una gamma di piattaforme Intel®.

Applicazioni di Ultralytics YOLO11 e del formato di esportazione OpenVINO#

Con l'aiuto dell'integrazione con OpenVINO, distribuire i modelli Ultralytics YOLO11 su hardware Intel in situazioni reali diventa molto più semplice.

Un ottimo esempio è il retail intelligente, in cui Ultralytics YOLO11 può aiutare a rilevare scaffali vuoti in tempo reale, tracciare quali prodotti stanno per esaurirsi e analizzare come i clienti si muovono all'interno del negozio. Ciò consente ai rivenditori di migliorare la gestione dell'inventario e ottimizzare la disposizione del negozio per un maggiore coinvolgimento degli acquirenti.

Allo stesso modo, nelle smart cities, YOLO11 può essere utilizzato per monitorare il traffico contando i veicoli, tracciando i pedoni e rilevando le infrazioni per passaggio col rosso in tempo reale. Questi insight possono supportare l'ottimizzazione del flusso del traffico, migliorare la sicurezza stradale e assistere i sistemi di controllo automatizzati.

Fig 6. Conteggio dei veicoli tramite YOLO11.

Un altro caso d'uso interessante è l'ispezione industriale, in cui Ultralytics YOLO11 può essere distribuito sulle linee di produzione per rilevare automaticamente difetti visivi come componenti mancanti, disallineamenti o danni superficiali. Questo aumenta l'efficienza, riduce i costi e supporta una migliore qualità del prodotto.

Fattori chiave da considerare quando si utilizza il toolkit OpenVINO#

Durante la distribuzione dei modelli Ultralytics YOLO11 con OpenVINO, ecco alcune cose importanti da tenere a mente per ottenere i risultati migliori:

• Verifica la compatibilità dell'hardware: Assicurati che il tuo hardware Intel, che si tratti di una CPU, di una GPU integrata o di una NPU, sia supportato da OpenVINO in modo che il modello possa essere eseguito in modo efficiente.
• Installa i driver corretti: Se stai utilizzando GPU o NPU Intel, ricontrolla che tutti i driver richiesti siano correttamente installati e aggiornati.
• Comprendi i compromessi relativi alla precisione: OpenVINO supporta le precisioni dei modelli FP32, FP16 e INT8. Ognuna di esse comporta un compromesso tra velocità e accuratezza, quindi è importante scegliere l'opzione giusta in base ai tuoi obiettivi di performance e all'hardware disponibile.

Punti chiave#

Esportare Ultralytics YOLO11 nel formato OpenVINO rende facile eseguire modelli di visione artificiale veloci ed efficienti su hardware Intel. Puoi distribuire su CPU, GPU e NPU senza dover riaddestrare o modificare il tuo codice. È un ottimo modo per aumentare le prestazioni mantenendo le cose semplici e scalabili.

Grazie al supporto integrato nel pacchetto Python di Ultralytics, esportare ed eseguire l'inferenza con OpenVINO è semplice. In pochi passaggi, puoi ottimizzare il tuo modello ed eseguirlo su una varietà di piattaforme Intel. Che tu stia lavorando su retail intelligente, monitoraggio del traffico o ispezione industriale, questo workflow ti aiuta a passare dallo sviluppo alla distribuzione con velocità e sicurezza.

Unisciti alla community di YOLO e dai un'occhiata al repository GitHub di Ultralytics per saperne di più sulle integrazioni di impatto supportate da Ultralytics. Inoltre, dai un'occhiata alle opzioni di licensing di Ultralytics per iniziare subito con la computer vision!

Registrati al nostro prossimo webinar per vedere l'integrazione tra Ultralytics e OpenVINO in azione e visita il sito web di OpenVINO per esplorare gli strumenti per ottimizzare e distribuire l'IA su scala.