Distribuisci senza problemi Ultralytics YOLO11 utilizzando OpenVINO™

L'adozione dell'IA dipende dall'accessibilità delle soluzioni IA, e una parte importante consiste nel renderle facili da distribuire sull'hardware che le persone già possiedono. Eseguire modelli IA su GPU (unità di elaborazione grafica) è un'ottima opzione in termini di prestazioni e potenza di calcolo parallelo.

Tuttavia, la realtà è che non tutti hanno accesso a GPU di fascia alta, specialmente in ambienti edge o su laptop di uso quotidiano. Ecco perché è così importante ottimizzare i modelli per funzionare in modo efficiente su hardware più ampiamente disponibile come CPU (unità di elaborazione centrale), GPU integrate e NPU (unità di elaborazione neurale).

La visione artificiale, ad esempio, è un ramo dell'IA che consente alle macchine di analizzare e comprendere immagini e flussi video in tempo reale. I modelli di Vision AI come Ultralytics YOLO11 supportano attività chiave come il rilevamento di oggetti e la segmentazione di istanze che alimentano applicazioni dal retail analytics alla diagnostica medica.

Fig 1. Utilizzo di Ultralytics YOLO11 per rilevare e segmentare oggetti in un negozio al dettaglio.

Per rendere la visione artificiale più accessibile, Ultralytics ha rilasciato un'integrazione aggiornata con il toolkit OpenVINO, un progetto open-source per ottimizzare ed eseguire l'inferenza IA su CPU, GPU e NPU.

Con questa integrazione, è più facile esportare e distribuire modelli YOLO11 con un'inferenza fino a 3 volte più veloce su CPU e prestazioni accelerate su GPU e NPU Intel. In questo articolo, vedremo come utilizzare il pacchetto Python di Ultralytics per esportare modelli YOLO11 nel formato OpenVINO e utilizzarlo per l'inferenza. Cominciamo!

Link to this sectionUna panoramica di Ultralytics YOLO11#

Prima di immergerci nei dettagli dell'integrazione OpenVINO supportata da Ultralytics, diamo un'occhiata più da vicino a ciò che rende YOLO11 un modello di visione artificiale affidabile e di impatto. YOLO11 è l'ultimo modello della serie Ultralytics YOLO, che offre miglioramenti significativi sia in velocità che in precisione.

Uno dei suoi punti di forza è l'efficienza. Ad esempio, Ultralytics YOLO11m ha il 22% di parametri in meno rispetto a Ultralytics YOLOv8m, pur ottenendo una mean average precision (mAP) superiore sul dataset COCO. Ciò significa che è più veloce ed esegue rilevamenti di oggetti con maggiore precisione, rendendolo ideale per applicazioni in tempo reale dove le prestazioni e la reattività sono fondamentali.

Fig 2. Benchmark delle prestazioni di Ultralytics YOLO11.

Oltre al rilevamento di oggetti, YOLO11 supporta varie attività di visione artificiale avanzate come la segmentazione di istanze, la stima della posa, la classificazione delle immagini, il tracciamento di oggetti e il rilevamento di bounding box orientati. YOLO11 è anche facile da usare per gli sviluppatori, grazie al pacchetto Python di Ultralytics che fornisce un'interfaccia semplice e coerente per addestrare, valutare e distribuire i modelli.

Inoltre, il pacchetto Python di Ultralytics supporta varie integrazioni e molteplici formati di esportazione, inclusi OpenVINO, ONNX e TorchScript, permettendoti di integrare facilmente YOLO11 in vari workflow di distribuzione. Che tu stia puntando a infrastrutture cloud, dispositivi edge o sistemi embedded, il processo di esportazione è semplice e adattabile alle tue esigenze hardware.

Link to this sectionCos'è OpenVINO™?#

OpenVINO™ (Open Visual Inference and Neural Network Optimization) è un toolkit open-source per ottimizzare e distribuire l'inferenza IA su un'ampia gamma di hardware. Consente agli sviluppatori di eseguire applicazioni di inferenza ad alte prestazioni in modo efficiente su varie piattaforme Intel, tra cui CPU, GPU integrate e discrete, NPU e field-programmable gate array (FPGA).

OpenVINO fornisce un'interfaccia di runtime unificata che astrae le differenze hardware attraverso plugin specifici per i dispositivi. Ciò significa che puoi scrivere il codice una volta e distribuirlo su molteplici target hardware Intel utilizzando un'API coerente.

Ecco alcune delle caratteristiche chiave che rendono OpenVINO un'ottima scelta per la distribuzione:

• Model converter: Questo strumento converte e prepara i modelli da framework popolari come PyTorch, ONNX, TensorFlow, PaddlePaddle e altri, affinché possano essere ottimizzati per un'inferenza efficiente su hardware Intel.
• Esecuzione eterogenea: Non è necessario riscrivere il codice per hardware Intel differenti. OpenVINO semplifica l'esecuzione dello stesso modello su qualsiasi hardware supportato, dalle CPU alle GPU.
• Supporto per la quantizzazione: Il toolkit supporta formati a precisione ridotta come FP16 (predefinito) e INT8, che aiutano a ridurre le dimensioni del modello e ad accelerare l'inferenza senza compromettere significativamente la precisione.

Fig 3. OpenVINO abilita diverse opzioni di distribuzione.

Link to this sectionEsplorando l'integrazione Ultralytics x OpenVINO#

Ora che abbiamo esplorato cos'è OpenVINO e la sua importanza, parliamo di come esportare i modelli YOLO11 nel formato OpenVINO ed eseguire un'inferenza efficiente su hardware Intel.

Link to this sectionPassaggio 1: Installa il pacchetto Python di Ultralytics#

Per esportare un modello nel formato OpenVINO, dovrai prima installare il pacchetto Python di Ultralytics. Questo pacchetto fornisce tutto ciò di cui hai bisogno per addestrare, valutare ed esportare i modelli YOLO, incluso YOLO11.

Puoi installarlo eseguendo il comando "pip install ultralytics" nel tuo terminale o prompt dei comandi. Se lavori in un ambiente interattivo come Jupyter Notebook o Google Colab, aggiungi semplicemente un punto esclamativo prima del comando.

Inoltre, se riscontri problemi durante l'installazione o l'esportazione, la documentazione di Ultralytics e le guide alla risoluzione dei problemi sono ottime risorse per aiutarti a tornare operativo.

Link to this sectionPassaggio 2: Esporta il tuo modello YOLO11 nel formato OpenVINO#

Una volta configurato il pacchetto Ultralytics, il passaggio successivo consiste nel caricare il tuo modello YOLO11 e convertirlo in un formato compatibile con OpenVINO.

Nell'esempio seguente, utilizziamo un modello YOLO11 pre-addestrato (“yolo11n.pt”). La funzionalità di esportazione viene utilizzata per convertirlo nel formato OpenVINO. Dopo aver eseguito questo codice, il modello convertito verrà salvato in una nuova directory chiamata “yolo11n_openvino_model”.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Link to this sectionPassaggio 3: Esegui l'inferenza con il modello esportato#

Una volta che il tuo modello YOLO11 è stato esportato nel formato OpenVINO, puoi eseguire inferenze in due modi: utilizzando il pacchetto Python di Ultralytics o il runtime nativo di OpenVINO.

Link to this sectionUtilizzando il pacchetto Python di Ultralytics#

Il modello YOLO11 esportato può essere facilmente distribuito utilizzando il pacchetto Python di Ultralytics, come mostrato nello snippet di codice seguente. Questo metodo è ideale per una sperimentazione rapida e una distribuzione ottimizzata su hardware Intel.

Puoi anche specificare quale dispositivo utilizzare per l'inferenza, come "intel:cpu", "intel:gpu" o "intel:npu", a seconda dell'hardware Intel disponibile sul tuo sistema.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Dopo aver eseguito il codice sopra, l'immagine di output verrà salvata nella directory "runs/detect/predict".

Fig 4. Utilizzo del modello YOLO11 esportato per rilevare oggetti in un'immagine.

Link to this sectionUtilizzando il runtime nativo di OpenVINO#

Se cerchi un modo personalizzabile per eseguire l'inferenza, specialmente in ambienti di produzione, il runtime di OpenVINO ti offre maggiore controllo su come viene eseguito il modello. Supporta funzionalità avanzate come l'esecuzione asincrona (eseguendo più richieste di inferenza in parallelo) e il bilanciamento del carico (distribuendo i carichi di lavoro di inferenza in modo efficiente sull'hardware Intel).

Per utilizzare il runtime nativo, avrai bisogno dei file del modello esportati: un file .xml (che definisce l'architettura della rete) e un file .bin (che memorizza i pesi addestrati del modello). Puoi anche configurare parametri aggiuntivi come le dimensioni di input o i passaggi di pre-elaborazione a seconda della tua applicazione.

Un tipico flusso di distribuzione include l'inizializzazione del core di OpenVINO, il caricamento e la compilazione del modello per un dispositivo target, la preparazione dell'input e l'esecuzione dell'inferenza. Per esempi dettagliati e una guida passo passo, consulta la documentazione ufficiale Ultralytics su OpenVINO.

Link to this sectionPerché scegliere l'integrazione Ultralytics x OpenVINO?#

Esplorando le integrazioni di Ultralytics, noterai che il pacchetto Python di Ultralytics supporta l'esportazione di modelli YOLO11 in una varietà di formati come TorchScript, CoreML, TensorRT e ONNX. Quindi, perché scegliere l'integrazione OpenVINO?

Ecco alcuni motivi per cui il formato di esportazione OpenVINO è un'ottima scelta per la distribuzione di modelli su hardware Intel:

• Guadagni di prestazioni: Puoi ottenere fino a 3 volte più velocità nell'inferenza su CPU Intel, con ulteriore accelerazione disponibile su GPU integrate e NPU.
• Nessuna necessità di riaddestramento: Puoi esportare i tuoi modelli YOLO11 esistenti direttamente nel formato OpenVINO senza modificarli o riaddestrarli.
• Progettato per la scalabilità: Lo stesso modello esportato può essere distribuito su dispositivi edge a basso consumo e su infrastrutture cloud su larga scala, semplificando la distribuzione IA scalabile.

Puoi anche valutare i benchmark delle prestazioni per il modello YOLO11 su una gamma di piattaforme Intel® sull'OpenVINO™ Model Hub. L'OpenVINO Model Hub è una risorsa per gli sviluppatori per valutare modelli IA su hardware Intel e scoprire il vantaggio prestazionale di OpenVINO su CPU Intel, GPU integrate, NPU e grafica discreta.

Fig 5. OpenVINO™ Model Hub: Benchmark delle prestazioni per il modello YOLO11 su una gamma di piattaforme Intel®.

Link to this sectionApplicazioni di YOLO11 e del formato di esportazione OpenVINO#

Con l'aiuto dell'integrazione OpenVINO, distribuire modelli YOLO11 su hardware Intel in situazioni reali diventa molto più semplice.

Un ottimo esempio è il retail intelligente, dove YOLO11 può aiutare a rilevare scaffali vuoti in tempo reale, monitorare quali prodotti stanno scarseggiando e analizzare come i clienti si muovono all'interno del negozio. Ciò consente ai rivenditori di migliorare la gestione dell'inventario e ottimizzare il layout dei negozi per un miglior coinvolgimento degli acquirenti.

Analogamente, nelle città intelligenti, YOLO11 può essere utilizzato per monitorare il traffico contando i veicoli, tracciando i pedoni e rilevando le violazioni dei semafori in tempo reale. Questi insight possono supportare l'ottimizzazione del flusso del traffico, migliorare la sicurezza stradale e assistere nei sistemi di controllo automatizzati.

Fig 6. Conteggio dei veicoli utilizzando YOLO11.

Un altro caso d'uso interessante è l'ispezione industriale, dove YOLO11 può essere distribuito sulle linee di produzione per rilevare automaticamente difetti visivi come componenti mancanti, disallineamenti o danni superficiali. Questo aumenta l'efficienza, riduce i costi e supporta una migliore qualità del prodotto.

Link to this sectionFattori chiave da considerare quando si utilizza il toolkit OpenVINO#

Durante la distribuzione di modelli YOLO11 con OpenVINO, ecco alcune cose importanti da tenere a mente per ottenere i migliori risultati:

• Controlla la compatibilità hardware: Assicurati che il tuo hardware Intel, che sia una CPU, una GPU integrata o una NPU, sia supportato da OpenVINO in modo che il modello possa essere eseguito in modo efficiente.
• Installa i driver corretti: Se stai utilizzando GPU o NPU Intel, ricontrolla che tutti i driver richiesti siano correttamente installati e aggiornati.
• Comprendi i compromessi sulla precisione: OpenVINO supporta le precisioni del modello FP32, FP16 e INT8. Ognuna comporta un compromesso tra velocità e precisione, quindi è importante scegliere l'opzione giusta in base ai tuoi obiettivi di performance e all'hardware disponibile.

Link to this sectionPunti chiave#

Esportare Ultralytics YOLO11 nel formato OpenVINO rende facile eseguire modelli di visione artificiale veloci ed efficienti su hardware Intel. Puoi distribuire su CPU, GPU e NPU senza dover riaddestrare o modificare il tuo codice. È un ottimo modo per aumentare le prestazioni mantenendo le cose semplici e scalabili.

Grazie al supporto integrato nel pacchetto Python di Ultralytics, esportare ed eseguire l'inferenza con OpenVINO è semplice. In pochi passaggi, puoi ottimizzare il tuo modello ed eseguirlo su una varietà di piattaforme Intel. Che tu stia lavorando su retail intelligente, monitoraggio del traffico o ispezione industriale, questo workflow ti aiuta a passare dallo sviluppo alla distribuzione con velocità e sicurezza.

Unisciti alla YOLO community e dai un'occhiata al repository GitHub di Ultralytics per saperne di più sulle integrazioni di impatto supportate da Ultralytics. Inoltre, dai un'occhiata alle opzioni di licenza Ultralytics per iniziare oggi stesso con la visione artificiale!

Registrati al nostro prossimo webinar per vedere l'integrazione Ultralytics × OpenVINO in azione e visita il sito web di OpenVINO per esplorare gli strumenti per ottimizzare e distribuire l'IA su larga scala.