Déploiement de modèles Ultralytics YOLOv8 quantifiés sur des appareils edge avec DeGirum

Bienvenue dans le récapitulatif d'une autre conférence enrichissante de notre événement YOLO VISION 2023 (YV23), qui s'est tenu au dynamique Google for Startups Campus à Madrid. Cette présentation a été donnée par Shashi Chilappagar, architecte en chef et cofondateur de DeGirum. Il a exploré le monde fascinant de la quantification et du déploiement de modèles quantifiés, en étudiant les défis clés, les solutions et les possibilités futures.

Link to this sectionIntroduction à la quantification et au déploiement de modèles quantifiés#

Shashi a fourni un aperçu complet de la quantification, soulignant son importance pour l'optimisation des modèles Ultralytics YOLO pour un déploiement sur des périphériques de périphérie. De la discussion sur les bases à l'exploration d'approches pour améliorer la quantification, les participants ont obtenu des informations précieuses sur les subtilités du portage et du déploiement de modèles.

Link to this sectionDéfis liés à la quantification des modèles YOLO#

La quantification pose souvent des défis, en particulier avec les modèles YOLO dans TFLite. Notre public a découvert la baisse significative de précision observée lorsque toutes les sorties sont quantifiées avec la même échelle/point zéro, mettant en lumière les complexités du maintien de la précision du modèle pendant le processus de quantification.

Link to this sectionAméliorer la quantification des modèles YOLO#

Heureusement, des solutions existent pour relever ces défis. L'introduction du fork DeGirum offre une approche conviviale de la quantification en séparant les sorties et en optimisant le décodage des BBox. Grâce à ces améliorations, la précision du modèle quantifié connaît une amélioration significative par rapport aux niveaux de base.

Link to this sectionArchitectures de modèles plus adaptées à la quantification#

L'exploration de nouvelles architectures de modèles est essentielle pour minimiser la perte de quantification. Les participants ont découvert comment le remplacement de SiLU par l'activation ReLU6 bornée conduit à une perte de quantification minimale, offrant des résultats prometteurs pour maintenir la précision dans les modèles quantifiés.

Link to this sectionDéploiement de modèles quantifiés#

Le déploiement de modèles quantifiés n'a jamais été aussi simple, avec seulement cinq lignes de code nécessaires pour exécuter n'importe quel modèle sur la plateforme cloud DeGirum. Une démonstration de code en direct a montré la simplicité de la détection d'objets avec un modèle Ultralytics YOLOv5 quantifié, soulignant l'intégration transparente des modèles quantifiés dans des applications réelles.

À cet effet, Ultralytics propose une variété d'options de déploiement de modèles, permettant aux utilisateurs finaux de déployer efficacement leurs applications sur des appareils embarqués et de périphérie. Différents formats d'exportation incluent OpenVINO, TorchScript, TensorRT, CoreML, TFLite et TFLite Edge TPU, offrant polyvalence et compatibilité.

Cette intégration avec des applications tierces pour le déploiement permet aux utilisateurs d'évaluer les performances de nos modèles dans des scénarios réels.

Link to this sectionUtilisation de différents modèles sur différents matériels#

Les participants ont également acquis des connaissances sur la polyvalence du déploiement de différents modèles sur diverses plates-formes matérielles, démontrant comment une seule base de code peut prendre en charge plusieurs modèles sur différents accélérateurs. Des exemples d'exécution de différentes tâches de détection sur diverses plates-formes matérielles ont démontré la flexibilité et l'évolutivité de notre approche.

Link to this sectionRessources et documentation#

Pour mieux aider les participants, nous avons présenté une section de ressources complète, donnant accès à notre plateforme cloud, des exemples, notre documentation, et plus encore. Notre objectif est de garantir que chacun dispose des outils et du soutien nécessaires pour réussir le déploiement efficace de modèles quantifiés.

Link to this sectionConclusion#

À mesure que le domaine de la quantification évolue, il est essentiel de rester informé et impliqué. Nous nous engageons à fournir un soutien et des ressources continus pour t'aider à naviguer dans cette aventure passionnante. Regarde l'intégralité de la présentation Watch the full talk !

Rejoins-nous alors que nous continuons à explorer les dernières tendances et innovations en apprentissage automatique et en intelligence artificielle. Ensemble, nous façonnons l'avenir de la technologie et favorisons un changement positif dans le monde.