Déployer des modèles Ultralytics YOLOv8 quantifiés sur des appareils edge avec DeGirum

Bienvenue dans le récapitulatif d'une autre conférence riche en enseignements de notre événement YOLO VISION 2023 (YV23), qui s'est tenu au dynamique Google for Startups Campus de Madrid. Cette conférence a été présentée par Shashi Chilappagar, architecte en chef et cofondateur de DeGirum. Elle portait sur l'univers fascinant de la quantification et du déploiement de modèles quantifiés, en explorant les principaux défis, les solutions et les perspectives d'avenir.

Introduction à la quantification et au déploiement de modèles quantifiés#

Shashi a présenté une vue d'ensemble complète de la quantification, en soulignant son importance pour optimiser les modèles Ultralytics YOLO en vue de leur déploiement sur des appareils edge. Des notions fondamentales aux différentes approches pour améliorer la quantification, les participants ont acquis de précieuses connaissances sur les subtilités du portage et du déploiement des modèles.

Les défis liés à la quantification des modèles YOLO#

La quantification pose souvent des difficultés, en particulier avec les modèles YOLO dans TFLite. Notre public a découvert la baisse significative de précision observée lorsque toutes les sorties sont quantifiées avec la même échelle et le même point zéro, ce qui met en lumière la complexité du maintien de la précision des modèles au cours du processus de quantification.

Améliorer la quantification des modèles YOLO#

Heureusement, des solutions permettent de relever ces défis. Le fork de DeGirum propose une approche adaptée à la quantification en séparant les sorties et en optimisant le décodage des boîtes englobantes. Grâce à ces améliorations, la précision du modèle quantifié augmente considérablement par rapport au niveau de référence.

Des architectures de modèles mieux adaptées à la quantification#

L'exploration de nouvelles architectures de modèles est essentielle pour réduire au minimum la perte liée à la quantification. Les participants ont découvert que le remplacement de SiLU par l'activation ReLU6 bornée entraîne une perte de quantification minimale, avec des résultats prometteurs pour préserver la précision des modèles quantifiés.

Déployer des modèles quantifiés#

Le déploiement de modèles quantifiés n'a jamais été aussi simple : cinq lignes de code suffisent pour exécuter n'importe quel modèle sur la plateforme cloud de DeGirum. Une démonstration de code en direct a montré la simplicité de la détection d'objets avec un modèle Ultralytics YOLOv5 quantifié, mettant en évidence l'intégration fluide des modèles quantifiés dans des applications concrètes.

Dans cette optique, Ultralytics propose différentes options de déploiement des modèles, permettant aux utilisateurs finaux de déployer efficacement leurs applications sur des appareils embarqués et edge. Les différents formats d'exportation incluent OpenVINO, TorchScript, TensorRT, CoreML, TFLite et TFLite Edge TPU, offrant polyvalence et compatibilité.

Cette intégration avec des applications tierces pour le déploiement permet aux utilisateurs d'évaluer les performances de nos modèles dans des scénarios réels.

Utiliser différents modèles sur différents matériels#

Les participants ont également découvert la polyvalence du déploiement de différents modèles sur diverses plateformes matérielles, démontrant comment une seule base de code peut prendre en charge plusieurs modèles sur différents accélérateurs. Des exemples d'exécution de différentes tâches de détection sur diverses plateformes matérielles ont illustré la flexibilité et l'évolutivité de notre approche.

Ressources et documentation#

Pour mieux accompagner les participants, nous avons présenté une section complète consacrée aux ressources, donnant accès à notre plateforme cloud, à des exemples, à la documentation et à bien d'autres contenus. Notre objectif est de veiller à ce que chacun dispose des outils et du soutien nécessaires pour réussir à déployer efficacement des modèles quantifiés.

Pour conclure#

À mesure que le domaine de la quantification évolue, il est essentiel de rester informé et impliqué. Nous nous engageons à fournir un soutien et des ressources continus pour t'aider à avancer dans cette aventure passionnante. Découvre la conférence complète Regarder la conférence complète !

Rejoins-nous tandis que nous continuons à explorer les dernières tendances et innovations en apprentissage automatique et en intelligence artificielle. Ensemble, nous façonnons l'avenir de la technologie et contribuons à faire évoluer positivement le monde.