Déploiement de modèles quantifiés Ultralytics YOLOv8 sur des appareils périphériques avec DeGirum

Bienvenue dans le récapitulatif d'un autre exposé perspicace de notre événement YOLO VISION 2023 (YV23), qui s'est tenu sur le vibrant campus Google for Startups à Madrid. Cette conférence a été donnée par Shashi Chilappagar, architecte en chef et cofondateur chez DeGirum. Il a plongé dans le monde fascinant de la quantification et du déploiement de modèles quantifiés, en explorant les principaux défis, les solutions et les possibilités futures.

Introduction à la quantification et au déploiement de modèles quantifiés

Shashi a présenté une vue d'ensemble de la quantification, en soulignant son importance dans l'optimisation des modèles pour le déploiement sur les appareils périphériques. Ultralytics YOLO modèles en vue de leur déploiement sur des appareils périphériques. De la discussion des bases à l'exploration des approches pour améliorer la quantification, les participants ont acquis des connaissances précieuses sur les subtilités du portage et du déploiement des modèles.

Défis liés à la quantification des modèles YOLO

La quantification pose souvent des défis, en particulier avec les modèles YOLO dans TFLite. Notre auditoire a découvert la baisse significative de la précision observée lorsque toutes les sorties sont quantifiées avec la même échelle/le même point zéro, mettant en lumière les complexités du maintien de la précision du modèle au cours du processus de quantification.

Améliorer la quantification des modèles YOLO

Heureusement, il existe des solutions pour relever ces défis. L'introduction de la fourche DigiRAM offre une approche favorable à la quantification en séparant les sorties et en optimisant le décodage de la boîte de délimitation. Grâce à ces améliorations, la précision des modèles quantifiés s'améliore considérablement par rapport aux niveaux de base.

Architectures de modèles plus faciles à quantifier

L'exploration de nouvelles architectures de modèles est essentielle pour minimiser la perte de quantification. Les participants ont découvert comment le remplacement de CILU par l'activation limitée de Relu6 conduit à une perte de quantification minimale, offrant des résultats prometteurs pour maintenir la précision des modèles quantifiés.

Déployer des modèles quantifiés

Le déploiement de modèles quantifiés n'a jamais été aussi facile, avec seulement cinq lignes de code nécessaires pour exécuter n'importe quel modèle sur la plateforme cloud de Digitim. Une démonstration de code en direct a montré la simplicité de la détection d'objets à l'aide d'un modèle quantifié, soulignant l'intégration transparente des modèles quantifiés dans les applications du monde réel. Ultralytics YOLOv5 mettant en évidence l'intégration transparente des modèles quantifiés dans les applications du monde réel. 

À cet effet, Ultralytics offre une variété d'options de déploiement de modèles, permettant aux utilisateurs finaux de déployer efficacement leurs applications sur des appareils embarqués et périphériques. Les différents formats d'exportation comprennent OpenVINO, TorchScript, TensorRT, CoreMLTFlite, TFlite et TFlite EDGE TPU, qui offrent polyvalence et compatibilité. 

Cette intégration avec des applications tierces pour le déploiement permet aux utilisateurs d'évaluer les performances de nos modèles dans des scénarios réels.

Utilisation de différents modèles sur différents matériels

Les participants ont également pu se rendre compte de la polyvalence du déploiement de différents modèles sur diverses plates-formes matérielles, en montrant comment une seule base de code peut prendre en charge plusieurs modèles sur différents accélérateurs. Des exemples d'exécution de différentes tâches de détection sur diverses plates-formes matérielles ont démontré la flexibilité et l'évolutivité de notre approche.

Ressources et documentation

Pour donner encore plus de moyens aux participants, nous avons introduit une section de ressources complète, qui donne accès à notre plateforme cloud, à des exemples, à de la documentation, et bien plus encore. Notre objectif est de nous assurer que chacun dispose des outils et du soutien dont il a besoin pour réussir à déployer efficacement des modèles quantifiés.

Pour conclure

À mesure que le domaine de la quantification évolue, il est essentiel de rester informé et engagé. Nous nous engageons à te fournir un soutien continu et des ressources pour t'aider à naviguer dans ce voyage passionnant. Jette un coup d'œil à l'intégralité de l'exposé ici! 

Rejoins-nous pour continuer à explorer les dernières tendances et innovations en matière d'apprentissage automatique et d'intelligence artificielle. Ensemble, nous façonnons l'avenir de la technologie et suscitons des changements positifs dans le monde.

‍