Déploiement de modèles Ultralytics YOLOv8 quantifiés sur des appareils périphériques avec DeGirum

Bienvenue dans le récapitulatif d’une autre conférence instructive présentée lors de notre événement YOLO VISION 2023 (YV23), qui s’est tenu au Google for Startups Campus de Madrid. Cette conférence était donnée par Shashi Chilappagar, architecte en chef et cofondateur de DeGirum. Elle portait sur la quantification et le déploiement de modèles quantifiés, en abordant les principaux défis, les solutions et les perspectives d’avenir.

Introduction à la quantification et au déploiement de modèles quantifiés#

Shashi a présenté une vue d’ensemble complète de la quantification et souligné son importance pour optimiser les modèles Ultralytics YOLO en vue de leur déploiement sur des appareils en périphérie. Des notions fondamentales aux méthodes permettant d’améliorer la quantification, les participants ont obtenu de précieux éclairages sur les subtilités du portage et du déploiement des modèles.

Défis liés à la quantification des modèles YOLO#

La quantification pose souvent des difficultés, en particulier avec les modèles YOLO dans TFLite. Les participants ont découvert la forte baisse de précision observée lorsque toutes les sorties sont quantifiées avec la même échelle et le même point zéro, ce qui met en évidence les difficultés à préserver la précision d’un modèle pendant la quantification.

Améliorer la quantification des modèles YOLO#

Heureusement, il existe des solutions à ces difficultés. Le fork de DeGirum propose une approche adaptée à la quantification en séparant les sorties et en optimisant le décodage des boîtes englobantes. Grâce à ces améliorations, la précision des modèles quantifiés progresse nettement par rapport aux niveaux de référence.

Architectures de modèles mieux adaptées à la quantification#

Explorer de nouvelles architectures de modèles est essentiel pour réduire la perte liée à la quantification. Les participants ont découvert que remplacer SiLU par l’activation ReLU6 bornée entraîne une perte de quantification minime, ce qui offre des résultats prometteurs pour préserver la précision des modèles quantifiés.

Déployer des modèles quantifiés#

Le déploiement de modèles quantifiés est simple : cinq lignes de code suffisent pour exécuter n’importe quel modèle sur la plateforme cloud DeGirum. Une démonstration de code en direct a illustré la simplicité de la détection d’objets avec un modèle Ultralytics YOLOv5 quantifié, montrant à quel point les modèles quantifiés s’intègrent facilement aux applications concrètes.

À cette fin, Ultralytics propose différentes options de déploiement de modèles, qui permettent aux utilisateurs finaux de déployer efficacement leurs applications sur des appareils embarqués et en périphérie. Parmi les différents formats d’export, on trouve OpenVINO, TorchScript, TensorRT, CoreML, TFLite et TFLite Edge TPU, qui offrent polyvalence et compatibilité.

Cette intégration à des applications tierces pour le déploiement permet aux utilisateurs d’évaluer les performances de nos modèles dans des situations réelles.

Utiliser différents modèles sur différents matériels#

Les participants ont également découvert la polyvalence du déploiement de différents modèles sur diverses plateformes matérielles et la manière dont une seule base de code peut prendre en charge plusieurs modèles sur différents accélérateurs. Des exemples d’exécution de différentes tâches de détection sur diverses plateformes matérielles ont montré la flexibilité et l’évolutivité de notre approche.

Ressources et documentation#

Pour donner aux participants encore plus de moyens, nous avons présenté une section complète de ressources donnant accès à notre plateforme cloud, à des exemples, à la documentation et à bien plus encore. Notre objectif est de veiller à ce que chacun dispose des outils et de l’assistance nécessaires pour déployer efficacement des modèles quantifiés.

Pour conclure#

À mesure que le domaine de la quantification évolue, il est essentiel de rester informé et impliqué. Nous nous engageons à fournir un soutien et des ressources continus pour t’aider à évoluer dans ce domaine en pleine transformation. Regarde la conférence complète sur YouTube.

Continue à explorer avec nous les dernières tendances et innovations en matière d’apprentissage automatique et d’intelligence artificielle.