Déploiement de modèles quantifiés Ultralytics YOLOv8 sur des appareils périphériques avec DeGirum

Introduction à la quantification et au déploiement de modèles quantifiés

Shashi a présenté une vue d'ensemble de la quantification, en soulignant son importance dans l'optimisation des modèles Ultralytics YOLO pour le déploiement sur les appareils en périphérie. De la discussion des bases à l'exploration des approches pour améliorer la quantification, les participants ont acquis des connaissances précieuses sur les subtilités du portage et du déploiement des modèles.

Défis liés à la quantification des modèles YOLO

La quantification pose souvent des défis, en particulier avec les modèles YOLO dans TFLite. Notre auditoire a découvert la baisse significative de la précision observée lorsque toutes les sorties sont quantifiées avec la même échelle/le même point zéro, mettant en lumière la complexité du maintien de la précision du modèle au cours du processus de quantification.

Améliorer la quantification des modèles YOLO

Heureusement, il existe des solutions pour relever ces défis. L'introduction de la fourche DigiRAM offre une approche favorable à la quantification en séparant les sorties et en optimisant le décodage de la boîte englobante. Grâce à ces améliorations, la précision des modèles quantifiés s'améliore considérablement par rapport aux niveaux de base.

Des architectures de modèles plus faciles à quantifier

L'exploration de nouvelles architectures de modèles est essentielle pour minimiser la perte de quantification. Les participants ont découvert comment le remplacement de CILU par l'activation limitée de Relu6 conduit à une perte de quantification minimale, offrant des résultats prometteurs pour le maintien de la précision dans les modèles quantifiés.

Déployer des modèles quantifiés

Le déploiement de modèles quantifiés n'a jamais été aussi facile, avec seulement cinq lignes de code nécessaires pour exécuter n'importe quel modèle sur la plateforme Digitim Cloud. Une démonstration de code en direct a montré la simplicité de la détection d'objets avec un modèle quantifié Ultralytics YOLOv5, mettant en évidence l'intégration transparente des modèles quantifiés dans les applications du monde réel. 

À cet effet, Ultralytics fournit une variété d'options de déploiement de modèles, permettant aux utilisateurs finaux de déployer efficacement leurs applications sur des appareils embarqués et périphériques. Les différents formats d'exportation comprennent OpenVINO, TorchScript, TensorRT, CoreML, TFlite et TFlite EDGE TPU, offrant ainsi polyvalence et compatibilité. 

Cette intégration avec des applications tierces pour le déploiement permet aux utilisateurs d'évaluer la performance de nos modèles dans des scénarios réels.

Utilisation de différents modèles sur différents matériels

Les participants ont également pu se rendre compte de la polyvalence du déploiement de différents modèles sur diverses plates-formes matérielles, en montrant comment une seule base de code peut prendre en charge plusieurs modèles sur différents accélérateurs. Des exemples d'exécution de différentes tâches de détection sur diverses plates-formes matérielles ont démontré la flexibilité et l'évolutivité de notre approche.

Ressources et documentation

Afin de renforcer les capacités des participants, nous avons introduit une section de ressources complète, qui donne accès à notre plateforme en nuage, à des exemples, à de la documentation et à bien d'autres choses encore. Notre objectif est de veiller à ce que chacun dispose des outils et du soutien dont il a besoin pour réussir à déployer efficacement des modèles quantifiés.

Conclusion

À mesure que le domaine de la quantification évolue, il est essentiel de rester informé et engagé. Nous nous engageons à vous fournir un soutien continu et des ressources pour vous aider à naviguer dans cette aventure passionnante. Consultez l'intégralité de l'exposé ici! 

Rejoignez-nous pour continuer à explorer les dernières tendances et innovations en matière d'apprentissage automatique et d'intelligence artificielle. Ensemble, nous façonnons l'avenir de la technologie et suscitons des changements positifs dans le monde.