20 maggio 2025
Scopri come esportare i modelli Ultralytics YOLO utilizzando l'integrazione TensorRT per prestazioni AI più veloci ed efficienti sulle GPU NVIDIA per applicazioni in tempo reale.
Considera un'auto a guida autonoma che si muove in una strada trafficata con solo millisecondi per rilevare un pedone che scende dal marciapiede. Allo stesso tempo, potrebbe aver bisogno di riconoscere un segnale di stop parzialmente nascosto da un albero o reagire rapidamente a un veicolo vicino che sterza nella sua corsia. In tali situazioni, la velocità e le risposte in tempo reale sono fondamentali.
È qui che l'intelligenza artificiale (AI), in particolare la computer vision, una branca dell'AI che aiuta le macchine a interpretare i dati visivi, gioca un ruolo chiave. Affinché le soluzioni di computer vision funzionino in modo affidabile in ambienti reali, spesso hanno bisogno di elaborare le informazioni rapidamente, gestire più attività contemporaneamente e utilizzare la memoria in modo efficiente.
Un modo per raggiungere questo obiettivo è attraverso l'accelerazione hardware, utilizzando dispositivi specializzati come le unità di elaborazione grafica (GPU) per eseguire i modelli più velocemente. Le GPU NVIDIA sono particolarmente note per tali attività, grazie alla loro capacità di fornire bassa latenza ed elevata produttività.
Tuttavia, eseguire un modello su una GPU così com'è non garantisce sempre prestazioni ottimali. I modelli di Vision AI richiedono in genere un'ottimizzazione per sfruttare appieno le capacità dei dispositivi hardware. Per ottenere le massime prestazioni con hardware specifico, dobbiamo compilare il modello per utilizzare il set specifico di istruzioni per l'hardware.
Ad esempio, TensorRT è un formato di esportazione e una libreria di ottimizzazione sviluppata da NVIDIA per migliorare le prestazioni su macchine di fascia alta. Utilizza tecniche avanzate per ridurre significativamente il tempo di inferenza mantenendo la precisione.
In questo articolo, esploreremo l'integrazione di TensorRT supportata da Ultralytics e illustreremo come esportare il tuo modello YOLO11 per un deployment più rapido ed efficiente su hardware NVIDIA. Iniziamo!
TensorRT è un toolkit sviluppato da NVIDIA per aiutare i modelli di IA a funzionare più velocemente e in modo più efficiente sulle GPU NVIDIA. È progettato per applicazioni reali in cui la velocità e le prestazioni contano davvero, come le auto a guida autonoma e il controllo qualità nella produzione e nel settore farmaceutico.
TensorRT include strumenti come compilatori e ottimizzatori di modelli che possono operare dietro le quinte per garantire che i tuoi modelli vengano eseguiti con bassa latenza e possano gestire una maggiore velocità di elaborazione.
L'integrazione di TensorRT supportata da Ultralytics funziona ottimizzando il tuo modello YOLO per funzionare in modo più efficiente sulle GPU utilizzando metodi come la riduzione della precisione. Questo si riferisce all'utilizzo di formati a bit inferiori, come floating-point a 16 bit (FP16) o integer a 8 bit (INT8), per rappresentare i dati del modello, il che riduce l'utilizzo della memoria e accelera il calcolo con un impatto minimo sull'accuratezza.
Inoltre, i livelli di rete neurale compatibili vengono fusi nei modelli TensorRT ottimizzati per ridurre l'utilizzo della memoria, con conseguente inferenza più rapida ed efficiente.
Prima di discutere come è possibile esportare YOLO11 utilizzando l'integrazione TensorRT, diamo un'occhiata ad alcune caratteristiche chiave del formato del modello TensorRT:
Esportare modelli Ultralytics YOLO come Ultralytics YOLO11 nel formato di modello TensorRT è semplice. Vediamo insieme i passaggi necessari.
Per iniziare, puoi installare il pacchetto Python Ultralytics utilizzando un gestore di pacchetti come 'pip'. Questo può essere fatto eseguendo il comando "pip install ultralytics" nel prompt dei comandi o nel terminale.
Dopo aver installato correttamente il pacchetto Python Ultralytics, è possibile addestrare, testare, ottimizzare, esportare e distribuire modelli per varie attività di computer vision, come il rilevamento di oggetti, la classificazione e la segmentazione di istanze. Durante l'installazione del pacchetto, in caso di difficoltà, è possibile consultare la guida ai problemi comuni per soluzioni e suggerimenti.
Per il passaggio successivo, avrai bisogno di un dispositivo NVIDIA. Utilizza il seguente frammento di codice per caricare ed esportare YOLOv11 nel formato del modello TensorRT. Carica una variante nano pre-addestrata del modello YOLO11 (yolo11n.pt) e la esporta come file engine TensorRT (yolo11n.engine), rendendola pronta per la distribuzione su dispositivi NVIDIA.
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="engine") Dopo aver convertito il modello in formato TensorRT, è possibile distribuirlo per diverse applicazioni.
L'esempio seguente mostra come caricare il modello YOLO11 esportato (yolo11n.engine) ed eseguire un'inferenza. L'inferenza implica l'utilizzo del modello addestrato per fare previsioni su nuovi dati. In questo caso, utilizzeremo un'immagine di input di un cane per testare il modello.
tensorrt_model = YOLO("yolo11n.engine")
results = tensorrt_model("https://images.pexels.com/photos/1254140/pexels-photo-1254140.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2.jpg", save=True)Quando si esegue questo codice, l'immagine di output seguente verrà salvata nella cartella runs/detect/predict.
Il pacchetto Python di Ultralytics supporta varie integrazioni che consentono di esportare i modelli YOLO in diversi formati come TorchScript, CoreML, ONNX e TensorRT. Quindi, quando dovresti scegliere di utilizzare l'integrazione TensorRT?
Ecco alcuni fattori che distinguono il formato del modello TensorRT dalle altre opzioni di integrazione per l'export:
I modelli Ultralytics YOLO esportati nel formato TensorRT possono essere implementati in un'ampia gamma di scenari reali. Questi modelli ottimizzati sono particolarmente utili dove sono fondamentali prestazioni AI rapide ed efficienti. Esploriamo alcuni esempi interessanti di come possono essere utilizzati.
Una vasta gamma di attività nei negozi al dettaglio, come la scansione di codici a barre, la pesatura dei prodotti o l'imballaggio degli articoli, sono ancora gestite manualmente dal personale. Tuttavia, fare affidamento esclusivamente sui dipendenti può rallentare le operazioni e portare alla frustrazione dei clienti, soprattutto alla cassa. Le lunghe code sono scomode sia per gli acquirenti che per i proprietari dei negozi. I banchi di self-checkout intelligenti sono un'ottima soluzione a questo problema.
Questi contatori utilizzano la visione artificiale e le GPU per accelerare il processo, contribuendo a ridurre i tempi di attesa. La visione artificiale consente a questi sistemi di vedere e comprendere il loro ambiente attraverso attività come il rilevamento di oggetti. Modelli avanzati come YOLO11, se ottimizzati con strumenti come TensorRT, possono funzionare molto più velocemente sui dispositivi GPU.
Questi modelli esportati sono adatti per configurazioni di vendita al dettaglio intelligenti che utilizzano dispositivi hardware compatti ma potenti come NVIDIA Jetson Nano, progettati specificamente per applicazioni AI edge.
Un modello di computer vision come YOLO11 può essere addestrato su misura per rilevare prodotti difettosi nell'industria manifatturiera. Una volta addestrato, il modello può essere esportato nel formato TensorRT per l'implementazione in strutture dotate di sistemi AI ad alte prestazioni.
Mentre i prodotti si muovono lungo i nastri trasportatori, le telecamere catturano immagini e il modello YOLO11, in esecuzione in formato TensorRT, le analizza in tempo reale per individuare i difetti. Questa configurazione consente alle aziende di individuare rapidamente e con precisione i problemi, riducendo gli errori e migliorando l'efficienza.
Allo stesso modo, settori come quello farmaceutico stanno utilizzando questi tipi di sistemi per identificare i difetti negli imballaggi medici. Infatti, il mercato globale dei sistemi intelligenti di rilevamento dei difetti è destinato a crescere fino a 5 miliardi di dollari entro il 2026.
Sebbene l'integrazione di TensorRT porti in tavola molti vantaggi, come velocità di inferenza più elevate e latenza ridotta, ecco alcune limitazioni da tenere a mente:
L'esportazione di modelli Ultralytics YOLO nel formato TensorRT li rende significativamente più veloci ed efficienti, rendendoli ideali per attività in tempo reale come il rilevamento di difetti nelle fabbriche, l'alimentazione di sistemi di checkout intelligenti o il monitoraggio di aree urbane trafficate.
Questa ottimizzazione aiuta i modelli a funzionare meglio sulle GPU NVIDIA, accelerando le previsioni e riducendo l'utilizzo di memoria e potenza. Nonostante alcune limitazioni, l'aumento delle prestazioni rende l'integrazione di TensorRT un'ottima scelta per chiunque stia costruendo sistemi di computer vision ad alta velocità su hardware NVIDIA.
Vuoi saperne di più sull'IA? Esplora il nostro repository GitHub, entra in contatto con la nostra community e dai un'occhiata alle nostre opzioni di licenza per dare il via al tuo progetto di computer vision. Scopri di più sulle innovazioni come l'IA nella produzione e la computer vision nel settore della logistica nelle nostre pagine dedicate alle soluzioni.
.webp)
