Exporter Ultralytics YOLO vers LiteRT

Chez Ultralytics, nous constatons un virage croissant vers l'exécution de modèles de vision par ordinateur directement sur les appareils où ils sont nécessaires, plutôt que de dépendre d'une connexion au cloud. Les applications mobiles, les systèmes embarqués, les capteurs IoT et les outils basés sur le navigateur ont de plus en plus besoin d'exécuter l'inférence localement, souvent sur du matériel avec des budgets d'énergie et de calcul serrés. C'est pourquoi nous sommes ravis d'annoncer que les modèles Ultralytics YOLO peuvent désormais être exportés directement vers LiteRT.

Répondre à cette demande nécessite un format de modèle qui s'adapte à tous ces environnements sans forcer les développeurs à maintenir des pipelines d'exportation distincts pour chacun d'entre eux.

Cette fonctionnalité existait auparavant via un package tiers non officiel, mais cette nouvelle intégration est le fruit d'une collaboration officielle avec Google. Nous avons travaillé en étroite collaboration avec l'équipe LiteRT pour créer un pipeline de bout en bout permettant d'exporter les modèles Ultralytics YOLO vers TFLite via LiteRT. Grâce à cette intégration, un seul modèle Ultralytics YOLO exporté se déploie sur les environnements mobiles, embarqués, edge et navigateur, unifiant ce que les anciens formats d'exportation TFLite et TF.js géraient auparavant séparément en un seul format rationalisé.

Link to this sectionQu'est-ce que LiteRT ?#

LiteRT (abréviation de Lite Runtime) est le moteur d'exécution haute performance de Google pour l'IA sur appareil. Il s'agit de la nouvelle génération et du nouveau nom de TensorFlow Lite (TFLite), et il exécute le même format de modèle .tflite que les développeurs connaissent déjà.

LiteRT est un framework open source conçu spécifiquement pour l'inférence sur appareil, également connu sous le nom d'edge computing. Il offre aux développeurs les outils nécessaires pour exécuter des modèles entraînés sur des appareils mobiles, embarqués et IoT, des ordinateurs traditionnels et, via LiteRT.js, directement dans les navigateurs Web et Node.js. Le format d'exportation LiteRT optimise les modèles pour des tâches telles que la détection d'objets, la segmentation, l'estimation de pose et la classification afin qu'ils s'exécutent rapidement et hors ligne sur une large gamme d'appareils.

Link to this sectionPourquoi exporter des modèles Ultralytics YOLO vers LiteRT ?#

Un seul format de modèle couvre désormais toutes les cibles de déploiement :

• Mobile et embarqué. Android, iOS, bureau, Linux embarqué et microcontrôleurs (MCU).

• Accélérateurs edge. Compatible avec le Coral Edge TPU pour une accélération supplémentaire.

• Navigateur et Node.js. LiteRT.js exécute le même modèle .tflite sur le Web avec l'accélération WebGPU/WASM, remplaçant le besoin d'une exportation TensorFlow.js distincte.

• Bureau

Cette consolidation est importante car elle supprime une réelle source de friction dans les déploiements en production. Au lieu de maintenir un pipeline d'exportation pour le mobile, un autre pour le navigateur et un troisième pour les accélérateurs edge, les équipes peuvent désormais exporter une seule fois et déployer partout où LiteRT s'exécute.

Link to this sectionFonctionnalités clés des modèles LiteRT#

• Optimisation sur appareil. Réduit la latence en traitant les données localement, améliore la confidentialité en ne transmettant pas de données personnelles et minimise la taille du modèle pour économiser de l'espace.

• Prise en charge multiplateforme. S'exécute sur Android, iOS, Linux embarqué, microcontrôleurs et navigateurs Web modernes.

• Accélération matérielle. Tire parti de XNNPACK sur CPU, et de l'accélération GPU via OpenCL, Metal et WebGPU. L'accélération GPU s'exécute par défaut en FP16 pour plus de vitesse.

• Quantification. Prend en charge FP32, INT8 statique, activation INT16 statique et INT8 dynamique pour compresser les modèles et accélérer l'inférence avec une perte de précision minimale.

• Prise en charge de divers langages. Compatible avec Java/Kotlin, Swift, Objective-C, C++, Python et JavaScript.

Link to this sectionDémarrer avec l'exportation LiteRT#

Le package Python Ultralytics et la plateforme Ultralytics offrent un environnement complet et unifié pour l'entraînement, l'évaluation et le déploiement de modèles YOLO sur les cinq tâches de vision par ordinateur. Le format d'exportation LiteRT prend en charge les modes Export, Predict et Validate, de sorte qu'un modèle peut être exporté puis immédiatement utilisé localement pour l'inférence ou la validation de la précision.

L'exportation d'un modèle prend une seule commande :

from ultralytics import YOLO

\# Load a YOLO26 model
model \= YOLO("yolo26n.pt")

\# Export the model to LiteRT format
model.export(format="litert") \# creates 'yolo26n.tflite'

Pour les équipes déployant sur du matériel contraint, LiteRT prend également en charge l'exportation quantifiée, permettant aux modèles d'être compressés pour une inférence plus rapide avec une perte de précision minimale :

from ultralytics import YOLO

model \= YOLO("yolo26n.pt")

\# Dynamic INT8: int8 weights, FP32 activations \- no calibration data needed
model.export(format="litert", quantize="w8a32")

\# Static INT8: int8 weights \+ int8 activations \- needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml")

Une fois exporté, le modèle peut être chargé et exécuté directement pour l'inférence :

from ultralytics import YOLO

\# Load the exported LiteRT model
model \= YOLO("yolo26n.tflite")

\# Run inference
results \= model("https://ultralytics.com/images/bus.jpg")

L'exportation LiteRT est actuellement prise en charge sur Linux x86_64 et macOS. Le modèle .tflite exporté s'exécute lui-même sur toutes les plateformes prises en charge par LiteRT, y compris le mobile, l'embarqué, l'edge et le navigateur.

Fig 1. Comparaison des performances entre ONNX et LiteRT.

L'image ci-dessus présente une comparaison du temps moyen d'inférence pour la détection, la segmentation et l'estimation de pose sur YOLO26n, exécuté dans le navigateur via @ultralytics/yolo, le package npm d'Ultralytics pour l'inférence côté client sur WebGPU/WASM via ONNX Runtime Web. Benchmarqué sur un Apple MacBook Pro 2024 (Apple Silicon M4) dans un environnement de navigateur contrôlé.

Link to this sectionAmener Ultralytics YOLO à l'edge#

Avec LiteRT, le déploiement de modèles Ultralytics YOLO sur les environnements mobiles, embarqués, edge et navigateurs ne nécessite plus de pipelines d'exportation séparés pour chaque cible. Une seule exportation, un seul format de modèle et un chemin cohérent de l'entraînement à la production, partout où l'inférence doit avoir lieu.

Curieux de l'IA visuelle ? Découvre nos options de licence pour intégrer la vision par ordinateur à tes projets. Visite notre répertoire GitHub pour explorer toute la gamme des intégrations d'exportation d'Ultralytics, et consulte la plateforme Ultralytics pour commencer à créer tes propres flux de travail d'IA visuelle de bout en bout.