Esportare Ultralytics YOLO su LiteRT

In Ultralytics stiamo assistendo a una crescente tendenza all'esecuzione di computer vision models direttamente sui dispositivi in cui sono necessari, invece di affidarsi a una connessione al cloud. Le app mobili, i sistemi embedded, i sensori IoT e gli strumenti basati su browser devono eseguire sempre più spesso l'inferenza localmente, spesso su hardware con budget di alimentazione e calcolo limitati.Per questo motivo siamo entusiasti di annunciare che i modelli di Ultralytics YOLO possono ora essere esportati direttamente in LiteRT.

Soddisfare tale richiesta richiede un formato di modello che funzioni in tutti questi ambienti senza costringere gli sviluppatori a mantenere pipeline di esportazione separate per ciascuno di essi.

Questa funzionalità esisteva già tramite un pacchetto di terze parti non ufficiale, ma questa nuova integrazione è il risultato di una collaborazione ufficiale con Google. Abbiamo lavorato a stretto contatto con il team di LiteRT per creare una pipeline end-to-end per l'esportazione dei modelli Ultralytics YOLO in TFLite tramite LiteRT. Con questa integrazione, un singolo modello Ultralytics YOLO esportato si distribuisce su ambienti mobile, embedded, edge e browser, unificando ciò che i vecchi formati di esportazione TFLite e TF.js gestivano separatamente in un unico formato semplificato.

Cos'è LiteRT?#

LiteRT (abbreviazione di Lite Runtime) è il runtime ad alte prestazioni di Google per l'IA on-device. È la nuova generazione e il nuovo nome di TensorFlow Lite (TFLite) ed esegue lo stesso formato di modello .tflite che gli sviluppatori già conoscono.

LiteRT è un framework open-source progettato specificamente per l'inferenza on-device, nota anche come edge computing. Offre agli sviluppatori gli strumenti per eseguire modelli addestrati su dispositivi mobili, embedded e IoT, computer tradizionali e, tramite LiteRT.js, direttamente nei browser web e in Node.js. Il formato di esportazione LiteRT ottimizza i modelli per attività come object detection, segmentation, pose estimation e classification, in modo che vengano eseguiti rapidamente e offline su un'ampia gamma di dispositivi.

Perché esportare i modelli Ultralytics YOLO in LiteRT?#

Un unico formato di modello ora copre ogni obiettivo di distribuzione:

• Mobile ed embedded. Android, iOS, Desktop, Linux embedded e microcontrollori (MCU).

• Acceleratori edge. Compatibili con Coral Edge TPU per un'ulteriore accelerazione.

• Browser e Node.js. LiteRT.js esegue lo stesso modello .tflite sul web con accelerazione WebGPU/WASM, sostituendo la necessità di una separata esportazione TensorFlow.js.

• Desktop

Questo consolidamento è importante perché elimina una reale fonte di attrito nelle distribuzioni in produzione. Invece di mantenere una pipeline di esportazione per mobile, un'altra per il browser e una terza per gli acceleratori edge, i team ora possono esportare una volta e distribuire ovunque LiteRT sia in esecuzione.

Caratteristiche principali dei modelli LiteRT#

• Ottimizzazione on-device. Riduce la latenza elaborando i dati localmente, migliora la privacy non trasmettendo dati personali e riduce al minimo le dimensioni del modello per risparmiare spazio.

• Supporto multipiattaforma. Funziona su Android, iOS, Linux embedded, microcontrollori e moderni browser web.

• Accelerazione hardware. Sfrutta XNNPACK su CPU e l'accelerazione GPU tramite OpenCL, Metal e WebGPU. L'accelerazione GPU viene eseguita in FP16 per impostazione predefinita per una maggiore velocità.

• Quantizzazione. Supporta FP32, INT8 statico, attivazione INT16 statica e INT8 dinamico per comprimere i modelli e velocizzare l'inferenza con una perdita di precisione minima.

• Supporto linguistico diversificato. Compatibile con Java/Kotlin, Swift, Objective-C, C++, Python e JavaScript.

Iniziare con l'esportazione LiteRT#

Il Ultralytics Python package e Ultralytics Platform offrono un ambiente completo e unificato per l'addestramento, la valutazione e il deployment dei modelli YOLO in tutte e cinque le attività di computer vision. Il formato di esportazione LiteRT supporta le modalità Export, Predict e Validate, consentendo di esportare un modello e di utilizzarlo immediatamente per l'inferenza o la validazione della precisione in locale.

L'esportazione di un modello richiede un solo comando:

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert") # creates 'yolo26n.tflite'

Per i team che distribuiscono su hardware limitato, LiteRT supporta anche l'esportazione quantizzata, consentendo di comprimere i modelli per un'inferenza più rapida con una perdita di precisione minima:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Dynamic INT8: int8 weights, FP32 activations - no calibration data needed
model.export(format="litert", quantize="w8a32")

# Static INT8: int8 weights + int8 activations - needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml")

Una volta esportato, il modello può essere caricato ed eseguito direttamente per l'inferenza:

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

L'esportazione LiteRT è attualmente supportata su Linux x86_64 e macOS. Il modello .tflite esportato viene eseguito su ogni piattaforma supportata da LiteRT, inclusi dispositivi mobili, embedded, edge e browser.

Fig 1. Confronto delle prestazioni tra ONNX e LiteRT.

L'immagine sopra mostra un confronto del tempo medio di inferenza per detection, segmentation e pose estimation su YOLO26n, in esecuzione nel browser tramite @ultralytics/yolo, il pacchetto npm di Ultralytics per l'inferenza lato client su WebGPU/WASM tramite ONNX Runtime Web. Testato su un Apple MacBook Pro 2024 (Apple Silicon M4) in un ambiente browser controllato.

Portare Ultralytics YOLO all'edge#

Con LiteRT, la distribuzione dei modelli Ultralytics YOLO su ambienti mobile, embedded, edge e browser non richiede più pipeline di esportazione separate per ogni destinazione. Un'esportazione, un formato di modello e un percorso coerente dall'addestramento alla produzione, ovunque sia necessario eseguire l'inferenza.

Curioso riguardo alla visione artificiale? Scopri le nostre licensing options per portare la computer vision nei tuoi progetti. Visita il nostro GitHub repository per esplorare l'intera gamma di integrazioni di esportazione di Ultralytics e dai un'occhiata a Ultralytics Platform per iniziare a creare i tuoi flussi di lavoro di visione artificiale end-to-end.