Déploie de manière transparente Ultralytics YOLO11 en utilisant l'intégration MNN

De nos jours, les innovations en IA ont dépassé le cadre des environnements serveurs distants. Les solutions d'IA sont désormais intégrées dans des appareils de pointe tels que les capteurs et les smartphones. Grâce à ce changement technologique, les données peuvent être traitées directement là où elles sont générées, permettant des réponses plus rapides, une meilleure confidentialité et une dépendance réduite à une connectivité cloud constante.

Par conséquent, l'IA en périphérie (edge AI) gagne du terrain dans de nombreuses industries. Le marché des logiciels d'IA en périphérie devrait atteindre 8,88 milliards de dollars d'ici 2031, à mesure que davantage de systèmes s'orientent vers un traitement plus rapide et plus local.

En particulier, la vision par ordinateur, une branche de l'IA qui se concentre sur la compréhension des images et des vidéos, est rapidement adoptée en périphérie. Qu'il s'agisse de compter des produits alimentaires lors de leur emballage ou d'aider les véhicules à détecter les piétons, la vision par ordinateur prend en charge d'innombrables applications pratiques dans différents secteurs.

Cela est rendu possible grâce aux modèles de vision par ordinateur. Par exemple, Ultralytics YOLO11 est un modèle qui prend en charge diverses tâches d'IA visuelle comme la détection d'objets, la segmentation d'instances, le suivi d'objets et l'estimation de pose. Il est conçu pour être rapide et efficace et offre de bonnes performances sur les appareils dotés de ressources matérielles limitées.

Fig 1. Détection et suivi de nourriture en cours d'emballage avec YOLO11 (Source).

En plus d'être adapté au déploiement en périphérie, grâce aux diverses intégrations prises en charge par Ultralytics, YOLO11 peut être exporté vers divers formats adaptés à différents environnements matériels.

L'une des options les plus efficaces est MNN (Mobile Neural Network), un moteur d'inférence léger conçu pour les appareils à faibles ressources. Exporter YOLO11 vers MNN lui permet de fonctionner directement sur les téléphones mobiles, les systèmes embarqués et d'autres plateformes de périphérie où un traitement rapide sur l'appareil est essentiel.

Dans cet article, nous explorerons le fonctionnement de l'intégration MNN, mettrons en lumière des cas d'utilisation courants et verrons comment commencer à effectuer des inférences en utilisant un modèle YOLO11 exporté. Commençons !

Link to this sectionUn aperçu de MNN : un framework de deep learning#

Exécuter des modèles de vision par ordinateur sur des appareils plus petits comme les téléphones mobiles, les capteurs industriels et les systèmes portables n'est pas toujours simple. Ces appareils disposent souvent d'une mémoire limitée, de processeurs plus lents et de limites de puissance strictes.

Le Mobile Neural Network, ou MNN, est un moteur d'inférence léger et performant développé par Alibaba pour permettre aux modèles d'IA de fonctionner efficacement sur du matériel à faibles ressources tout en maintenant des performances en temps réel. MNN prend en charge un large éventail de plateformes, notamment Android, iOS et Linux, et fonctionne sur divers types de matériel comme les unités centrales de traitement (CPU) et les unités de traitement graphique (GPU).

Fig 2. Un regard sur le framework MNN (Source).

L'intégration MNN prise en charge par Ultralytics permet d'exporter facilement les modèles YOLO11 au format MNN. En clair, cela signifie que les modèles peuvent être convertis du format YOLO vers MNN.

Une fois convertis, ils peuvent être déployés sur des appareils prenant en charge le framework MNN pour une inférence efficace sur l'appareil. Un avantage clé de l'utilisation du format MNN est qu'il simplifie le déploiement de YOLO11 dans des scénarios où la taille, la vitesse et l'efficacité des ressources sont critiques.

Link to this sectionFonctionnalités clés du backend d'inférence MNN#

Avant de plonger dans l'utilisation de l'intégration MNN, jetons un coup d'œil à ce qui fait du framework MNN un excellent choix pour exécuter des modèles d'IA sur des appareils réels. Il est conçu pour gérer les contraintes uniques des environnements de périphérie tout en offrant des performances rapides et fiables.

Il est intéressant de noter que MNN est utilisé en interne chez Alibaba dans plus de 30 applications, dont Taobao, Tmall, Youku, DingTalk et Xianyu, dans un large éventail de scénarios comme la vidéo en direct, le contenu court, la recherche d'images et les contrôles de sécurité sur l'appareil. Il prend en charge le déploiement à grande échelle et exécute des millions d'inférences par jour dans des environnements de production.

Voici quelques-unes des fonctionnalités clés du framework MNN :

• Sélection automatique du backend : MNN peut choisir automatiquement le backend d'exécution le plus approprié, tel que le CPU ou le GPU, en fonction du matériel sur lequel il s'exécute.
• Exécution multithread : Il prend en charge le multithreading, ce qui lui permet de tirer pleinement parti des processeurs multicœurs pour une inférence plus rapide.
• Prise en charge de la quantification de modèle : Il vous permet de réduire considérablement la taille du modèle en utilisant la quantification FP16 ou INT8, contribuant ainsi à améliorer la vitesse d'inférence tout en utilisant moins de mémoire.
• Léger et rapide : MNN a une empreinte très réduite, la bibliothèque principale pesant environ 400 Ko sur Android et environ 5 Mo sur iOS, ce qui le rend idéal pour les appareils mobiles et embarqués.

Link to this sectionComprendre le fonctionnement de l'intégration MNN#

Ensuite, voyons comment exporter les modèles YOLO11 au format MNN.

La première étape consiste à installer le package Python d'Ultralytics, qui fournit tout le nécessaire pour exporter les modèles YOLO11 au format MNN. Tu peux le faire en exécutant "pip install ultralytics" dans ton terminal ou en utilisant l'invite de commande. Si tu utilises un Jupyter Notebook ou Google Colab, ajoute un point d'exclamation avant la commande.

Si tu rencontres des problèmes lors de l'installation, consulte le guide des problèmes courants pour obtenir des conseils de dépannage.

Une fois ton environnement configuré, tu peux charger un modèle YOLO11 pré-entraîné tel que "yolo11n.pt" et l'exporter au format MNN comme indiqué dans l'extrait de code ci-dessous. Si tu as entraîné ton propre modèle YOLO11 personnalisé, tu peux l'exporter simplement en remplaçant le nom de fichier par le chemin d'accès à ton modèle.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="mnn")

Après avoir converti ton modèle en MNN, tu peux l'utiliser sur différentes plateformes mobiles et embarquées en fonction des besoins de ton application.

Par exemple, supposons que tu souhaites tester le modèle exporté sur une vidéo de trafic. Dans ce cas, tu peux charger le modèle YOLO11 au format MNN pour détecter des objets tels que des véhicules, des piétons et des panneaux de signalisation directement sur l'appareil, comme le montre l'exemple ci-dessous.

mnn_model = YOLO("yolo11n.mnn")
results = mnn_model("https://videos.pexels.com/video-files/27783817/12223745_1920_1080_24fps.mp4", save=True)

Une fois l'inférence terminée, la vidéo de sortie avec les objets détectés est enregistrée automatiquement dans le dossier 'runs/detect/predict'. De plus, si tu souhaites effectuer une inférence en utilisant directement le package Python MNN, tu peux consulter la documentation officielle d'Ultralytics pour plus de détails et d'exemples.

Fig 3. Analyse du trafic à l'aide d'un modèle YOLO11 exporté au format MNN. Image par l'auteur.

Link to this sectionCas d'utilisation du déploiement de modèles d'IA en périphérie activé par YOLO11 et MNN#

Le déploiement de YOLO11 avec MNN permet des tâches de vision par ordinateur rapides et efficaces telles que la détection d'objets dans des environnements où le traitement basé sur le cloud n'est pas pratique ou possible. Voyons comment cette intégration peut être particulièrement utile dans des scénarios réels.

Link to this sectionIA mobile en périphérie pour l'identification des maladies des plantes#

Les applications d'identification des maladies des plantes qui utilisent la classification d'images gagnent en popularité auprès des jardiniers, des chercheurs et des passionnés de nature. Avec juste une photo, les utilisateurs peuvent identifier rapidement les premiers signes de maladie, comme des taches sur les feuilles ou une décoloration. Étant donné que ces applications sont souvent utilisées dans des zones extérieures où l'accès à Internet peut être limité ou indisponible, s'appuyer sur le traitement cloud peut être peu fiable.

Après l'entraînement, un modèle YOLO11 peut être exporté au format MNN et exécuté directement sur des appareils mobiles. Le modèle peut ensuite classer les espèces végétales et détecter les symptômes visibles de maladie localement, sans envoyer de données vers un serveur.

Fig 4. Un exemple d'utilisation de YOLO11 pour détecter des signes de rouille (une maladie des plantes) sur une feuille (Source).

Link to this sectionInférences efficaces sur l'appareil dans la fabrication#

Un suivi précis des colis est essentiel sur les lignes de production occupées dans les installations de fabrication. YOLO11 peut être utilisé pour suivre et compter chaque article au fur et à mesure qu'il passe par des points de contrôle clés, mettant à jour les comptes en temps réel et signalant toute divergence. Cela aide à réduire les expéditions manquées ou non comptabilisées et prend en charge des opérations plus fluides et plus fiables.

Fig 5. Suivi et comptage de colis avec YOLO11 (Source).

L'intégration MNN peut être particulièrement percutante dans ce contexte. Une fois que le modèle YOLO11 est exporté au format MNN, il peut fonctionner directement sur des appareils compacts à faible consommation installés le long du convoyeur.

Comme tout le traitement se déroule localement, le système peut fournir un retour instantané et ne nécessite aucune connexion Internet. Cela garantit des performances rapides et fiables dans l'atelier de fabrication, permettant à la production de continuer efficacement tout en maintenant une précision et un contrôle élevés.

Link to this sectionAvantages de l'exportation de YOLO11 vers le format de modèle MNN#

Voici quelques avantages clés de l'intégration MNN fournie par Ultralytics :

• Temps de réponse plus rapides : Comme l'inférence s'exécute sur l'appareil, les prédictions se produisent en temps réel avec une latence minimale.
• Confidentialité des données améliorée : Les données restent sur l'appareil, réduisant la nécessité d'envoyer des images ou des vidéos sensibles vers le cloud.
• Open-source et activement maintenu : Soutenu par Alibaba et pris en charge par une communauté active, MNN est fiable et régulièrement mis à jour avec des améliorations de performance.

Link to this sectionFacteurs à prendre en compte lors de l'utilisation du framework MNN#

Avant de choisir MNN comme framework de déploiement, il est également important d'évaluer dans quelle mesure il correspond aux exigences de ton projet, aux cibles de déploiement et aux limitations techniques. Voici quelques facteurs clés à prendre en compte :

• Compatibilité continue : Les mises à jour du framework ou les changements apportés à tes plateformes cibles pourraient nécessiter de nouveaux tests ou des ajustements pour que tout continue de fonctionner sans problème.
• Moins d'outils de débogage : Par rapport à des frameworks plus grands, MNN dispose d'outils plus limités pour le débogage et l'inspection du comportement du modèle, ce qui peut rendre le dépannage plus difficile.
• Les performances dépendent du matériel : La vitesse et l'efficacité de ton modèle varieront en fonction de l'appareil. Teste ton matériel cible pour t'assurer qu'il atteint tes objectifs de performance.

Link to this sectionPoints clés#

Le support d'Ultralytics pour l'intégration MNN facilite l'exportation des modèles YOLO11 pour une utilisation sur des appareils mobiles et embarqués. C'est une option pratique pour les applications qui nécessitent une détection rapide et fiable sans dépendre de l'accès au cloud ou d'une connectivité constante.

Cette configuration aide à rationaliser le déploiement tout en maintenant les performances et en maintenant les exigences en ressources à un faible niveau. Que tu construises des systèmes domotiques intelligents, des outils de terrain ou des appareils industriels compacts, l'exportation de YOLO11 vers MNN offre un moyen flexible et efficace d'exécuter des tâches de vision par ordinateur directement sur des appareils de périphérie.

Rejoins notre communauté grandissante ! Explore notre répertoire GitHub pour approfondir tes connaissances en IA. Prêt à lancer tes projets de vision par ordinateur ? Découvre nos options de licence. Découvre-en plus sur l'IA dans la santé et la vision par ordinateur dans la vente au détail sur nos pages de solutions !