Distribuisci senza problemi Ultralytics YOLO11 utilizzando OpenVINO™
Scopri come esportare Ultralytics YOLO11 nel formato OpenVINO™ consenta un'inferenza velocissima sull'hardware Intel®, migliorando velocità, scalabilità e accuratezza.
L'adozione dell'AI dipende dall'accessibilità delle soluzioni di AI, e una parte importante consiste nel renderle facili da implementare sull'hardware che le persone già possiedono. Eseguire modelli di AI su GPU (unità di elaborazione grafica) è un'ottima opzione in termini di prestazioni e potenza di elaborazione parallela.
Tuttavia, la realtà è che non tutti hanno accesso a GPU di fascia alta, soprattutto negli ambienti edge o sui laptop di uso quotidiano. Per questo è così importante ottimizzare i modelli affinché funzionino in modo efficiente su hardware più ampiamente disponibile, come CPU (unità centrali di elaborazione), GPU integrate e NPU (unità di elaborazione neurale).
La visione artificiale, ad esempio, è un ramo dell'AI che consente alle macchine di analizzare e comprendere immagini e flussi video in tempo reale. I modelli di AI per la visione, come Ultralytics YOLO11, supportano attività fondamentali come il rilevamento degli oggetti e la segmentazione delle istanze, alla base di applicazioni che spaziano dall'analisi del retail alla diagnostica medica.
Fig. 1 Utilizzo di Ultralytics YOLO11 per rilevare e segmentare oggetti in un negozio al dettaglio.
Per rendere la visione artificiale più accessibile, Ultralytics ha rilasciato un'integrazione aggiornata con il toolkit OpenVINO, un progetto open source per ottimizzare ed eseguire l'inferenza AI su CPU, GPU e NPU.
Con questa integrazione, è più facile esportare e implementare i modelli YOLO11, ottenendo un'inferenza fino a 3× più veloce sulle CPU e prestazioni accelerate sulle GPU e NPU Intel. In questo articolo vedremo come utilizzare il pacchetto Python di Ultralytics per esportare i modelli YOLO11 nel formato OpenVINO e usarlo per l'inferenza. Iniziamo!
Panoramica di Ultralytics YOLO11#
Prima di esaminare i dettagli dell'integrazione OpenVINO supportata da Ultralytics, analizziamo più da vicino ciò che rende YOLO11 un modello di visione artificiale affidabile e di grande impatto. YOLO11 è il modello più recente della serie Ultralytics YOLO e offre miglioramenti significativi sia in termini di velocità che di accuratezza.
Uno dei suoi principali punti di forza è l'efficienza. Ad esempio, Ultralytics YOLO11m ha il 22% di parametri in meno rispetto a Ultralytics YOLOv8m, ma raggiunge una precisione media aggregata (mAP) più elevata sul dataset COCO. Ciò significa che funziona più velocemente e rileva anche gli oggetti con maggiore accuratezza, rendendolo ideale per le applicazioni in tempo reale in cui prestazioni e reattività sono fondamentali.
Fig. 2 Benchmark delle prestazioni di Ultralytics YOLO11.
Oltre al rilevamento degli oggetti, YOLO11 supporta diverse attività avanzate di visione artificiale, tra cui segmentazione delle istanze, stima della posa, classificazione delle immagini, tracciamento degli oggetti e rilevamento di bounding box orientati. YOLO11 è inoltre facile da usare per gli sviluppatori: il pacchetto Python di Ultralytics offre un'interfaccia semplice e coerente per addestrare, valutare e implementare i modelli.
Inoltre, il pacchetto Python di Ultralytics supporta diverse integrazioni e numerosi formati di esportazione, tra cui OpenVINO, ONNX e TorchScript, consentendoti di integrare facilmente YOLO11 in diverse pipeline di deployment. Che tu stia utilizzando un'infrastruttura cloud, dispositivi edge o sistemi embedded, il processo di esportazione è semplice e adattabile alle esigenze del tuo hardware.
Che cos'è OpenVINO™?#
OpenVINO™ (Inferenza visiva aperta e ottimizzazione delle reti neurali) è un toolkit open source per ottimizzare e implementare l'inferenza AI su un'ampia gamma di hardware. Consente agli sviluppatori di eseguire in modo efficiente applicazioni di inferenza ad alte prestazioni su diverse piattaforme Intel, tra cui CPU, GPU integrate e discrete, NPU e FPGA (array di gate programmabili sul campo).
OpenVINO fornisce un'interfaccia runtime unificata che astrae le differenze hardware tramite plugin specifici per dispositivo. Ciò significa che gli sviluppatori possono scrivere il codice una sola volta e implementarlo su più target hardware Intel utilizzando un'API coerente.
Ecco alcune delle funzionalità principali che rendono OpenVINO un'ottima scelta per il deployment:
- Convertitore di modelli: questo strumento converte e prepara i modelli provenienti da framework popolari come PyTorch, ONNX, TensorFlow, PaddlePaddle e altri, così da poterli ottimizzare per un'inferenza efficiente sull'hardware Intel.
- Esecuzione eterogenea: non devi riscrivere il codice per i diversi hardware Intel. OpenVINO semplifica l'esecuzione dello stesso modello su qualsiasi hardware supportato, dalle CPU alle GPU.
- Supporto alla quantizzazione: il toolkit supporta formati a precisione ridotta come FP16 (predefinito) e INT8, che aiutano a ridurre le dimensioni del modello e ad accelerare l'inferenza senza influire significativamente sull'accuratezza.
Fig. 3 OpenVINO abilita diverse opzioni di deployment.
Esplorazione dell'integrazione Ultralytics x OpenVINO#
Ora che abbiamo esaminato cos'è OpenVINO e la sua importanza, vediamo come esportare i modelli Ultralytics YOLO11 nel formato OpenVINO ed eseguire un'inferenza efficiente sull'hardware Intel.
Passaggio 1: installa il pacchetto Ultralytics per Python#
Per esportare un modello nel formato OpenVINO, devi prima installare il pacchetto Python di Ultralytics. Questo pacchetto offre tutto ciò che ti serve per addestrare, valutare ed esportare i modelli YOLO, incluso YOLO11.
Puoi installarlo eseguendo il comando "pip install ultralytics" nel terminale o nel prompt dei comandi. Se lavori in un ambiente interattivo come Jupyter Notebook o Google Colab, aggiungi semplicemente un punto esclamativo prima del comando.
Inoltre, se riscontri problemi durante l'installazione o l'esportazione, la documentazione di Ultralytics e le guide alla risoluzione dei problemi sono ottime risorse per aiutarti a riprendere il lavoro.
Passaggio 2: esporta il tuo modello Ultralytics YOLO11 nel formato OpenVINO#
Dopo aver configurato il pacchetto Ultralytics, il passaggio successivo consiste nel caricare il modello YOLO11 e convertirlo in un formato compatibile con OpenVINO.
Nell'esempio seguente utilizziamo un modello YOLO11 preaddestrato (“yolo11n.pt”). La funzionalità di esportazione viene utilizzata per convertirlo nel formato OpenVINO. Dopo aver eseguito questo codice, il modello convertito verrà salvato in una nuova directory denominata “yolo11n_openvino_model”.
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="openvino")Passaggio 3: esegui l'inferenza con il modello esportato#
Dopo aver esportato il modello YOLO11 nel formato OpenVINO, puoi eseguire l'inferenza in due modi: utilizzando il pacchetto Python di Ultralytics oppure il runtime OpenVINO nativo.
Utilizzo del pacchetto Python di Ultralytics#
Il modello YOLO11 esportato può essere facilmente implementato utilizzando il pacchetto Python di Ultralytics, come mostrato nel frammento di codice seguente. Questo metodo è ideale per sperimentare rapidamente e semplificare il deployment sull'hardware Intel.
Puoi anche specificare quale dispositivo utilizzare per l'inferenza, ad esempio "intel:cpu", "intel:gpu" o "intel:npu", in base all'hardware Intel disponibile sul tuo sistema.
ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")Dopo aver eseguito il codice precedente, l'immagine di output verrà salvata nella directory "runs/detect/predict".
Fig. 4. Utilizzo del modello Ultralytics YOLO11 esportato per rilevare oggetti in un'immagine.
Utilizzo del runtime OpenVINO nativo#
Se cerchi un modo personalizzabile per eseguire l'inferenza, soprattutto in ambienti di produzione, il runtime OpenVINO ti offre un maggiore controllo sull'esecuzione del modello. Supporta funzionalità avanzate come l'esecuzione asincrona (esecuzione parallela di più richieste di inferenza) e il bilanciamento del carico (distribuzione efficiente dei carichi di lavoro di inferenza sull'hardware Intel).
Per utilizzare il runtime nativo, ti servono i file del modello esportato: un file .xml (che definisce l'architettura della rete) e un file .bin (che contiene i pesi addestrati del modello). Puoi anche configurare parametri aggiuntivi, come le dimensioni dell'input o i passaggi di preprocessing, a seconda della tua applicazione.
Un tipico flusso di deployment comprende l'inizializzazione del core OpenVINO, il caricamento e la compilazione del modello per un dispositivo target, la preparazione dell'input e l'esecuzione dell'inferenza. Per esempi dettagliati e istruzioni passo passo, consulta la documentazione ufficiale di Ultralytics OpenVINO.
Perché scegliere l'integrazione Ultralytics x OpenVINO?#
Esplorando le integrazioni di Ultralytics, noterai che il pacchetto Python di Ultralytics supporta l'esportazione dei modelli YOLO11 in diversi formati, come TorchScript, CoreML, TensorRT e ONNX. Perché, quindi, scegliere l'integrazione OpenVINO?
Ecco alcuni motivi per cui il formato di esportazione OpenVINO è particolarmente adatto al deployment dei modelli sull'hardware Intel:
- Miglioramenti delle prestazioni: puoi ottenere un'inferenza fino a 3× più veloce sulle CPU Intel, con un'accelerazione aggiuntiva disponibile sulle GPU integrate e sulle NPU.
- Nessun nuovo addestramento necessario: puoi esportare direttamente i tuoi modelli Ultralytics YOLO11 esistenti nel formato OpenVINO senza modificarli o addestrarli nuovamente.
- Progettato per la scalabilità: lo stesso modello esportato può essere implementato su dispositivi edge a basso consumo e su infrastrutture cloud su larga scala, semplificando il deployment dell'AI scalabile.
Puoi anche valutare i benchmark delle prestazioni del modello Ultralytics YOLO11 su diverse piattaforme Intel® nell'OpenVINO™ Model Hub. L'OpenVINO Model Hub è una risorsa che consente agli sviluppatori di valutare i modelli di AI sull'hardware Intel e scoprire i vantaggi prestazionali di OpenVINO su CPU Intel, GPU integrate, NPU e schede grafiche discrete.
Fig. 5. OpenVINO™ Model Hub: benchmark delle prestazioni del modello Ultralytics YOLO11 su diverse piattaforme Intel®.
Applicazioni di Ultralytics YOLO11 e del formato di esportazione OpenVINO#
Grazie all'integrazione OpenVINO, implementare i modelli Ultralytics YOLO11 sull'hardware Intel in situazioni reali diventa molto più semplice.
Un ottimo esempio è il retail intelligente, dove Ultralytics YOLO11 può aiutare a rilevare in tempo reale gli scaffali vuoti, monitorare quali prodotti stanno per esaurirsi e analizzare come i clienti si muovono nel negozio. Ciò consente ai rivenditori di migliorare la gestione dell'inventario e ottimizzare la disposizione dei negozi per coinvolgere maggiormente gli acquirenti.
Analogamente, nelle città intelligenti YOLO11 può essere utilizzato per monitorare il traffico contando i veicoli, monitorando i pedoni e rilevando in tempo reale le infrazioni semaforiche. Queste informazioni possono supportare l'ottimizzazione del flusso del traffico, migliorare la sicurezza stradale e contribuire ai sistemi automatizzati di controllo.
Fig. 6 Conteggio dei veicoli con YOLO11.
Un altro caso d'uso interessante è l'ispezione industriale, in cui Ultralytics YOLO11 può essere implementato sulle linee di produzione per rilevare automaticamente difetti visivi come componenti mancanti, disallineamenti o danni superficiali. Ciò aumenta l'efficienza, riduce i costi e favorisce una migliore qualità dei prodotti.
Fattori chiave da considerare quando utilizzi il toolkit OpenVINO#
Durante il deployment dei modelli Ultralytics YOLO11 con OpenVINO, ecco alcuni aspetti importanti da tenere presenti per ottenere i risultati migliori:
- Verifica la compatibilità dell'hardware: assicurati che il tuo hardware Intel, che si tratti di una CPU, di una GPU integrata o di una NPU, sia supportato da OpenVINO affinché il modello possa funzionare in modo efficiente.
- Installa i driver corretti: se utilizzi GPU o NPU Intel, verifica che tutti i driver richiesti siano installati correttamente e aggiornati.
- Comprendi i compromessi della precisione: OpenVINO supporta le precisioni FP32, FP16 e INT8 per i modelli. Ognuna comporta un compromesso tra velocità e accuratezza, quindi è importante scegliere l'opzione corretta in base ai tuoi obiettivi prestazionali e all'hardware disponibile.
Punti chiave#
Esportare Ultralytics YOLO11 nel formato OpenVINO semplifica l'esecuzione di modelli di AI per la visione veloci ed efficienti sull'hardware Intel. Puoi eseguire il deployment su CPU, GPU e NPU senza dover effettuare un nuovo addestramento o modificare il codice. È un ottimo modo per migliorare le prestazioni mantenendo il tutto semplice e scalabile.
Grazie al supporto integrato nel pacchetto Python di Ultralytics, esportare ed eseguire l'inferenza con OpenVINO è semplice. In pochi passaggi puoi ottimizzare il modello ed eseguirlo su diverse piattaforme Intel. Che tu stia lavorando nel retail intelligente, nel monitoraggio del traffico o nell'ispezione industriale, questo workflow ti aiuta a passare dallo sviluppo al deployment con rapidità e sicurezza.
Unisciti alla community YOLO e dai un'occhiata al repository GitHub di Ultralytics per saperne di più sulle integrazioni di grande impatto supportate da Ultralytics. Consulta anche le opzioni di licenza Ultralytics per iniziare oggi stesso a utilizzare la visione artificiale!
Registrati al nostro prossimo webinar per vedere l'integrazione Ultralytics × OpenVINO in azione e visita il sito web di OpenVINO per scoprire gli strumenti per ottimizzare e implementare l'AI su larga scala.
