Déploiement de modèles Ultralytics YOLOv8 quantifiés sur des appareils edge avec DeGirum
Découvre le déploiement de modèles YOLOv8 quantifiés avec DeGirum. Apprends les défis, les solutions et les techniques de déploiement pour les appareils en périphérie. Façonne l'avenir avec nous !
Bienvenue dans le compte-rendu d'une autre intervention passionnante de notre événement YOLO VISION 2023 (YV23), qui s'est déroulé au dynamique Google for Startups Campus à Madrid. Cette présentation a été animée par Shashi Chilappagar, architecte en chef et cofondateur de DeGirum. Elle a plongé dans le monde fascinant de la quantification et du déploiement de modèles quantifiés, en explorant les principaux défis, solutions et possibilités futures.
Introduction à la quantification et au déploiement de modèles quantifiés#
Shashi a fourni un aperçu complet de la quantification, en soulignant son importance pour l'optimisation des modèles YOLO d'Ultralytics en vue de leur déploiement sur des appareils de périphérie. De la discussion des bases à l'exploration d'approches pour améliorer la quantification, les participants ont acquis de précieux conseils sur les subtilités du portage et du déploiement de modèles.
Défis liés à la quantification des modèles YOLO#
La quantification pose souvent des difficultés, en particulier avec les modèles YOLO dans TFLite. Notre public a pris connaissance de la baisse de précision significative observée lorsque toutes les sorties sont quantifiées avec la même échelle et le même point zéro, mettant en lumière la complexité du maintien de la précision du modèle pendant le processus de quantification.
Améliorer la quantification des modèles YOLO#
Heureusement, des solutions existent pour relever ces défis. L'introduction du fork DeGirum offre une approche conviviale de la quantification en séparant les sorties et en optimisant le décodage des BBox. Grâce à ces améliorations, la précision du modèle quantifié connaît une amélioration significative par rapport aux niveaux de base.
Architectures de modèles plus adaptées à la quantification#
L'exploration de nouvelles architectures de modèles est essentielle pour minimiser la perte de quantification. Les participants ont découvert comment le remplacement de SiLU par l'activation ReLU6 bornée conduit à une perte de quantification minimale, offrant des résultats prometteurs pour maintenir la précision dans les modèles quantifiés.
Déploiement de modèles quantifiés#
Déployer des modèles quantifiés n'a jamais été aussi simple, puisqu'il suffit de cinq lignes de code pour exécuter n'importe quel modèle sur la plateforme cloud de DeGirum. Une démonstration de code en direct a illustré la simplicité de la détection d'objets avec un modèle Ultralytics YOLOv5 quantifié, mettant en valeur l'intégration transparente de modèles quantifiés dans des applications du monde réel.
À cette fin, Ultralytics propose une variété d'options de déploiement de modèles, permettant aux utilisateurs finaux de déployer efficacement leurs applications sur des appareils embarqués et de périphérie. Les différents formats d'exportation incluent OpenVINO, TorchScript, TensorRT, CoreML, TFLite et TFLite Edge TPU, offrant ainsi polyvalence et compatibilité.
Cette intégration avec des applications tierces pour le déploiement permet aux utilisateurs d'évaluer les performances de nos modèles dans des scénarios réels.
Utilisation de différents modèles sur différents matériels#
Les participants ont également acquis des connaissances sur la polyvalence du déploiement de différents modèles sur diverses plates-formes matérielles, démontrant comment une seule base de code peut prendre en charge plusieurs modèles sur différents accélérateurs. Des exemples d'exécution de différentes tâches de détection sur diverses plates-formes matérielles ont démontré la flexibilité et l'évolutivité de notre approche.
Ressources et documentation#
Pour autonomiser davantage les participants, nous avons présenté une section de ressources complète, offrant un accès à notre plateforme cloud, à des exemples, à la documentation et bien plus encore. Notre objectif est de veiller à ce que tout le monde dispose des outils et du soutien nécessaires pour réussir le déploiement efficace de modèles quantifiés.
Conclusion#
À mesure que le domaine de la quantification évolue, il est essentiel de rester informé et engagé. Nous nous engageons à fournir un soutien continu et des ressources pour t'aider à naviguer dans ce voyage passionnant. Regarde l'intégralité de la présentation Watch the full talk !
Rejoins-nous alors que nous continuons à explorer les dernières tendances et innovations en apprentissage automatique et en intelligence artificielle. Ensemble, nous façonnons l'avenir de la technologie et favorisons un changement positif dans le monde.
