27 mars 2024
Découvrez le déploiement de modèles YOLOv8 quantifiés avec DeGirum. Apprenez les défis, les solutions et les techniques de déploiement pour les appareils périphériques. Façonnez l'avenir avec nous !
Bienvenue au récapitulatif d'une autre conférence instructive de notre événement YOLO VISION 2023 (YV23), qui s'est tenu au dynamique Google for Startups Campus à Madrid. Cette conférence a été donnée par Shashi Chilappagar, architecte en chef et cofondateur de DeGirum. Elle a exploré le monde fascinant de la quantification et du déploiement de modèles quantifiés, en examinant les principaux défis, les solutions et les possibilités futures.
Shashi a fourni un aperçu complet de la quantification, soulignant son importance dans l'optimisation des modèles YOLO Ultralytics pour le déploiement sur des appareils edge. De la discussion des bases à l'exploration des approches pour améliorer la quantification, les participants ont acquis des connaissances précieuses sur les subtilités du portage et du déploiement de modèles.
La quantification pose souvent des problèmes, en particulier avec les modèles YOLO dans TFLite. Notre public a découvert la baisse significative de la précision observée lorsque toutes les sorties sont quantifiées avec la même échelle/point zéro, ce qui met en lumière les complexités du maintien de la précision du modèle pendant le processus de quantification.
Heureusement, des solutions existent pour relever ces défis. L'introduction du fork DigiRAM offre une approche conviviale en matière de quantification en séparant les sorties et en optimisant le décodage des boîtes englobantes. Grâce à ces améliorations, la précision du modèle quantifié connaît une amélioration significative par rapport aux niveaux de base.
L'exploration de nouvelles architectures de modèles est essentielle pour minimiser la perte de quantification. Les participants ont découvert comment le remplacement de CILU par l'activation Relu6 bornée conduit à une perte de quantification minimale, offrant des résultats prometteurs pour maintenir la précision dans les modèles quantifiés.
Le déploiement de modèles quantifiés n'a jamais été aussi simple, avec seulement cinq lignes de code nécessaires pour exécuter n'importe quel modèle sur la plateforme cloud Digitim. Une démonstration de code en direct a mis en évidence la simplicité de la détection d'objets avec un modèle Ultralytics YOLOv5 quantifié, soulignant l'intégration transparente des modèles quantifiés dans les applications du monde réel.
À cet effet, Ultralytics propose une variété d'options de déploiement de modèles, permettant aux utilisateurs finaux de déployer efficacement leurs applications sur des appareils embarqués et périphériques. Les différents formats d'exportation incluent OpenVINO, TorchScript, TensorRT, CoreML, TFlite et TFlite EDGE TPU, offrant ainsi polyvalence et compatibilité.
Cette intégration avec des applications tierces pour le déploiement permet aux utilisateurs d'évaluer les performances de nos modèles dans des scénarios réels.
Les participants ont également eu un aperçu de la polyvalence du déploiement de différents modèles sur diverses plateformes matérielles, démontrant comment une seule base de code peut prendre en charge plusieurs modèles sur différents accélérateurs. Des exemples d'exécution de différentes tâches de détection sur diverses plateformes matérielles ont démontré la flexibilité et l'évolutivité de notre approche.
Pour donner encore plus de moyens aux participants, nous avons introduit une section de ressources complète, donnant accès à notre plateforme cloud, à des exemples, à la documentation, et plus encore. Notre objectif est de garantir que chacun dispose des outils et du support nécessaires pour réussir à déployer efficacement des modèles quantifiés.
À mesure que le domaine de la quantification évolue, il est essentiel de rester informé et engagé. Nous nous engageons à fournir un soutien et des ressources continus pour vous aider à naviguer dans ce voyage passionnant. Consultez la conférence complète ici!
Rejoignez-nous alors que nous continuons à explorer les dernières tendances et innovations en matière d'apprentissage automatique et d'intelligence artificielle. Ensemble, nous façonnons l'avenir de la technologie et favorisons un changement positif dans le monde.
