Esportare Ultralytics YOLO su LiteRT

In Ultralytics, notiamo un crescente spostamento verso l'esecuzione di modelli di computer vision direttamente sui dispositivi in cui sono necessari, invece di affidarsi a una connessione al cloud. Le app mobili, i sistemi embedded, i sensori IoT e gli strumenti basati su browser hanno sempre più bisogno di eseguire inferenze localmente, spesso su hardware con budget limitati di energia e calcolo. Ecco perché siamo entusiasti di annunciare che i modelli Ultralytics YOLO ora possono essere esportati direttamente in LiteRT.

Soddisfare tale richiesta richiede un formato di modello che funzioni in tutti questi ambienti senza costringere gli sviluppatori a mantenere pipeline di esportazione separate per ciascuno di essi.

Questa funzionalità esisteva già tramite un pacchetto di terze parti non ufficiale, ma questa nuova integrazione è il risultato di una collaborazione ufficiale con Google. Abbiamo lavorato a stretto contatto con il team di LiteRT per creare una pipeline end-to-end per l'esportazione dei modelli Ultralytics YOLO in TFLite tramite LiteRT. Con questa integrazione, un singolo modello Ultralytics YOLO esportato si distribuisce su ambienti mobile, embedded, edge e browser, unificando ciò che i vecchi formati di esportazione TFLite e TF.js gestivano separatamente in un unico formato semplificato.

Link to this sectionCos'è LiteRT?#

LiteRT (abbreviazione di Lite Runtime) è il runtime ad alte prestazioni di Google per l'IA on-device. È la nuova generazione e il nuovo nome di TensorFlow Lite (TFLite) ed esegue lo stesso formato di modello .tflite che gli sviluppatori già conoscono.

LiteRT è un framework open-source progettato specificamente per l'inferenza on-device, nota anche come edge computing. Fornisce agli sviluppatori gli strumenti per eseguire modelli addestrati su dispositivi mobili, embedded e IoT, computer tradizionali e, tramite LiteRT.js, direttamente nei browser web e Node.js. Il formato di esportazione LiteRT ottimizza i modelli per attività come object detection, segmentation, pose estimation e classification in modo che vengano eseguiti velocemente e offline su un'ampia gamma di dispositivi.

Link to this sectionPerché esportare i modelli Ultralytics YOLO in LiteRT?#

Un unico formato di modello ora copre ogni obiettivo di distribuzione:

• Mobile ed embedded. Android, iOS, Desktop, Linux embedded e microcontrollori (MCU).

• Acceleratori Edge. Compatibile con Coral Edge TPU per un'ulteriore accelerazione.

• Browser e Node.js. LiteRT.js esegue lo stesso modello .tflite sul web con accelerazione WebGPU/WASM, sostituendo la necessità di una separata esportazione TensorFlow.js.

• Desktop

Questo consolidamento è importante perché elimina una reale fonte di attrito nelle distribuzioni in produzione. Invece di mantenere una pipeline di esportazione per mobile, un'altra per il browser e una terza per gli acceleratori edge, i team ora possono esportare una volta e distribuire ovunque LiteRT sia in esecuzione.

Link to this sectionCaratteristiche principali dei modelli LiteRT#

• Ottimizzazione on-device. Riduce la latenza elaborando i dati localmente, migliora la privacy non trasmettendo dati personali e riduce al minimo le dimensioni del modello per risparmiare spazio.

• Supporto multipiattaforma. Funziona su Android, iOS, Linux embedded, microcontrollori e moderni browser web.

• Accelerazione hardware. Sfrutta XNNPACK su CPU e l'accelerazione GPU tramite OpenCL, Metal e WebGPU. L'accelerazione GPU viene eseguita in FP16 per impostazione predefinita per una maggiore velocità.

• Quantizzazione. Supporta FP32, INT8 statico, attivazione INT16 statica e INT8 dinamico per comprimere i modelli e velocizzare l'inferenza con una perdita di precisione minima.

• Supporto linguistico diversificato. Compatibile con Java/Kotlin, Swift, Objective-C, C++, Python e JavaScript.

Link to this sectionIniziare con l'esportazione LiteRT#

Il pacchetto Python di Ultralytics e la piattaforma Ultralytics forniscono un ambiente completo e unificato per addestrare, valutare e distribuire modelli YOLO in tutte e cinque le attività di computer vision. Il formato di esportazione LiteRT supporta le modalità Export, Predict e Validate, quindi un modello può essere esportato e quindi utilizzato immediatamente per l'inferenza o la convalida della precisione localmente.

L'esportazione di un modello richiede un solo comando:

from ultralytics import YOLO

\# Load a YOLO26 model
model \= YOLO("yolo26n.pt")

\# Export the model to LiteRT format
model.export(format="litert") \# creates 'yolo26n.tflite'

Per i team che distribuiscono su hardware limitato, LiteRT supporta anche l'esportazione quantizzata, consentendo di comprimere i modelli per un'inferenza più rapida con una perdita di precisione minima:

from ultralytics import YOLO

model \= YOLO("yolo26n.pt")

\# Dynamic INT8: int8 weights, FP32 activations \- no calibration data needed
model.export(format="litert", quantize="w8a32")

\# Static INT8: int8 weights \+ int8 activations \- needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml")

Una volta esportato, il modello può essere caricato ed eseguito direttamente per l'inferenza:

from ultralytics import YOLO

\# Load the exported LiteRT model
model \= YOLO("yolo26n.tflite")

\# Run inference
results \= model("https://ultralytics.com/images/bus.jpg")

L'esportazione LiteRT è attualmente supportata su Linux x86_64 e macOS. Il modello .tflite esportato viene eseguito su ogni piattaforma supportata da LiteRT, inclusi dispositivi mobili, embedded, edge e browser.

Fig 1. Confronto delle prestazioni tra ONNX e LiteRT.

L'immagine sopra presenta un confronto del tempo medio di inferenza per rilevamento, segmentazione e stima della posa su YOLO26n, eseguito nel browser tramite @ultralytics/yolo, il pacchetto npm di Ultralytics per l'inferenza lato client su WebGPU/WASM tramite ONNX Runtime Web. Benchmarked su un Apple MacBook Pro 2024 (Apple Silicon M4) in un ambiente browser controllato.

Link to this sectionPortare Ultralytics YOLO all'edge#

Con LiteRT, la distribuzione dei modelli Ultralytics YOLO su ambienti mobile, embedded, edge e browser non richiede più pipeline di esportazione separate per ogni destinazione. Un'esportazione, un formato di modello e un percorso coerente dall'addestramento alla produzione, ovunque sia necessario eseguire l'inferenza.

Sei curioso riguardo alla vision AI? Scopri le nostre opzioni di licenza per portare la computer vision nei tuoi progetti. Visita il nostro repository GitHub per esplorare l'intera gamma di integrazioni di esportazione di Ultralytics e dai un'occhiata alla piattaforma Ultralytics per iniziare a costruire i tuoi flussi di lavoro di vision AI end-to-end.