Apporter les modèles Ultralytics YOLO sur le matériel Axelera AI pour l'IA en périphérie

Chez Ultralytics, nous constatons une évolution croissante vers l'exécution de modèles de vision par ordinateur directement sur des appareils en périphérie, à mesure que l'IA est plus largement adoptée. Au cours de nos échanges avec la communauté de la vision par ordinateur, aussi bien en ligne que lors de récentes conférences technologiques, notre équipe a observé un intérêt grandissant pour le déploiement de l'IA visuelle au plus proche de l'endroit où les données sont générées.

Des environnements de vente au détail intelligents et de l'automatisation industrielle à la robotique, des informations en temps réel deviennent essentielles, et il ne suffit plus de dépendre uniquement du cloud.

Pour faire simple, l'IA en périphérie consiste à faire fonctionner des modèles d'IA localement sur des appareils au lieu d'envoyer les données vers des serveurs centralisés pour traitement. Cela permet de réduire la latence, d'améliorer la fiabilité et de réagir aux événements réels en temps réel.

Cependant, déployer des modèles haute performance dans ces environnements comporte ses propres défis, car des ressources de calcul limitées et des contraintes énergétiques imposent que les modèles soient à la fois efficaces et optimisés pour le matériel sur lequel ils tournent.

Les modèles Ultralytics YOLO tels que Ultralytics YOLO26 sont conçus pour la vision par ordinateur en temps réel, mais exploiter tout leur potentiel en périphérie exige la bonne combinaison de logiciels et de matériel. C'est pourquoi nous sommes ravis d'annoncer notre collaboration avec Axelera AI.

Nous nous sommes associés à Axelera AI pour introduire une intégration d'exportation mise à jour, permettant un déploiement efficace et haute performance des modèles Ultralytics YOLO sur les Metis® AI Processing Units (AIPUs).

Fig 1. Un aperçu d'une unité de traitement IA Metis (Source)

Dans cet article, nous explorerons comment les modèles Ultralytics YOLO peuvent être facilement compilés pour un déploiement sur Metis. Commençons !

Link to this sectionL'IA en périphérie est l'avenir de la vision par ordinateur#

Alors que les applications de vision par ordinateur continuent d'évoluer, le besoin d'un traitement plus rapide et plus efficace devient de plus en plus crucial. Les approches traditionnelles basées sur le cloud peuvent introduire de la latence, dépendre d'une connectivité stable et peuvent ne pas répondre aux exigences en temps réel de nombreux cas d'usage de vision intelligente.

L'IA en périphérie relève ces défis en permettant aux modèles de s'exécuter directement sur des appareils locaux, ce qui permet de traiter les données au plus près de leur source. Par exemple, pense aux drones équipés de vision utilisés dans les opérations de recherche et de sauvetage.

Ces systèmes doivent analyser des flux vidéo en temps réel pour détecter des personnes, des obstacles ou des dangers, souvent dans des zones reculées avec une connectivité internet limitée, voire inexistante. En faisant fonctionner des modèles de vision par ordinateur directement sur le drone, l'IA en périphérie permet une prise de décision plus rapide et des performances plus fiables sans dépendre de l'infrastructure cloud.

Ce changement ouvre de nouvelles possibilités dans tous les secteurs. Des applications telles que la détection d'objets en temps réel dans le commerce de détail, l'inspection de qualité automatisée dans la fabrication et la perception en robotique bénéficient toutes de temps de réponse plus courts et d'une plus grande fiabilité.

L'IA en périphérie devient rapidement un levier clé pour le déploiement de systèmes de vision par ordinateur évolutifs et réactifs dans des environnements réels.

Link to this sectionExplorer les unités de traitement IA Metis d'Axelera AI#

Avant de plonger dans la nouvelle intégration d'exportation, prenons un peu de recul pour en apprendre davantage sur les unités de traitement IA Metis d'Axelera AI et le rôle qu'elles jouent dans la mise en œuvre d'une IA en périphérie efficace.

Axelera AI développe du matériel dédié conçu spécifiquement pour accélérer l'inférence IA en périphérie. Un élément clé est le Metis AIPU, ou unité de traitement IA, un processeur spécialisé conçu pour exécuter des réseaux neuronaux efficacement sur des appareils en périphérie.

Contrairement aux unités centrales de traitement (CPU) polyvalentes ou même aux unités de traitement graphique (GPU), les AIPU sont conçues pour gérer les modèles de calcul spécifiques des charges de travail IA. Cela leur permet d'offrir des performances élevées tout en maintenant une faible consommation d'énergie, ce qui est critique pour les environnements en périphérie où les ressources sont souvent limitées.

Ce qui rend l'approche d'Axelera AI particulièrement innovante, c'est sa conception full-stack. Metis est construite avec du calcul numérique en mémoire (D-IMC) et RISC-V pour des performances élevées avec l'efficacité énergétique exigée par l'informatique en périphérie. Les quatre cœurs de Metis sont programmables indépendamment, ce qui signifie que tu peux exécuter quatre modèles par puce en parallèle. En plus du matériel, le Voyager SDK comprend un compilateur et un runtime qui travaillent ensemble pour optimiser les modèles pour le déploiement.

Cela permet aux développeurs de passer plus efficacement de modèles entraînés à une inférence prête pour la production. Plus précisément, les Metis AIPU rendent possible l'exécution de modèles de vision par ordinateur avancés, comme les modèles Ultralytics YOLO, directement sur des appareils en périphérie allant des environnements d'entreprise, de vente au détail, de santé et de fabrication jusqu'aux équipements industriels et aux satellites.

Link to this sectionExporter des modèles Ultralytics YOLO pour un déploiement sur Metis#

Le paquet Python Ultralytics fournit une interface unifiée pour l'entraînement, l'évaluation et le déploiement de modèles YOLO sur toute une gamme de tâches de vision par ordinateur. Les modèles YOLO sont généralement développés et entraînés en utilisant PyTorch, qui est bien adapté à l'expérimentation et au développement de modèles.

Cependant, lors du déploiement de ces modèles sur du matériel en périphérie spécialisé, ils doivent être convertis dans un format optimisé pour l'appareil cible. C'est là qu'interviennent les intégrations d'exportation prises en charge par le paquet Python Ultralytics.

Ultralytics propose une gamme d'options d'exportation qui permettent aux modèles YOLO d'être convertis dans différents formats selon la cible de déploiement, comme ONNX, TensorRT et d'autres backends spécifiques au matériel. Ces intégrations simplifient le processus de préparation des modèles pour des applications réelles en gérant les étapes nécessaires d'optimisation et de conversion.

Dans cette continuité, Ultralytics a introduit une intégration d'exportation mise à jour avec Axelera AI, permettant aux modèles YOLO d'être exportés pour un déploiement sur les Metis AIPU.

Pendant l'exportation, le modèle est compilé et quantifié en une représentation optimisée conçue spécifiquement pour le matériel Axelera. Ce processus produit un modèle compilé au format ".axm", ainsi que les métadonnées nécessaires pour le déploiement et l'inférence.

Fig 2. Les modèles Ultralytics YOLO peuvent être exécutés sur des Metis AIPU. (Source)

L'intégration prend en charge une large gamme de tâches de vision par ordinateur pour les modèles Ultralytics YOLOv8, Ultralytics YOLO11 et Ultralytics YOLO26, notamment la détection d'objets, l'estimation de pose, la segmentation d'instance, la détection par boîte englobante orientée (OBB) et la classification d'images. Bien que la plupart des tâches soient prises en charge directement via le flux d'exportation, la segmentation YOLO26 peut être utilisée via le model zoo avec le Voyager SDK.

Ce support étendu donne aux développeurs la flexibilité de déployer différents types de modèles de vision selon leur application, de la détection d'objets en temps réel à la compréhension de scènes, en passant par le suivi de mouvement et l'analyse de données visuelles complexes.

Une fois exportés, les modèles peuvent être déployés et exécutés sans dépendre de PyTorch au moment de l'inférence. Ils sont plutôt exécutés en utilisant le runtime du Voyager SDK, qui prend en charge la création de pipelines de bout en bout pour des tâches telles que le traitement vidéo, la détection en temps réel et le suivi directement sur des appareils en périphérie.

Link to this sectionDémarrer avec l'exportation des modèles Ultralytics YOLO#

Maintenant que nous avons une meilleure compréhension de la nouvelle intégration d'exportation, voyons comment exporter des modèles Ultralytics YOLO vers ce format personnalisé et les exécuter sur le matériel Metis à la périphérie.

Link to this sectionÉtape 1 : Installer le package Python Ultralytics#

Pour commencer, tu devras d'abord installer le paquet Python Ultralytics. Il fournit une interface simple et cohérente pour l'entraînement, l'évaluation et l'exportation des modèles YOLO.

Tu peux l'installer en utilisant pip en exécutant la commande suivante dans ton terminal ou ton invite de commande :

pip install ultralytics

Si tu rencontres des problèmes lors de l'installation ou de l'exportation, la documentation officielle Ultralytics et le guide des problèmes courants sont d'excellentes ressources pour le dépannage.

Link to this sectionÉtape 2 : Installer les pilotes Axelera et le Voyager SDK#

Pour exporter et exécuter des modèles sur le matériel Axelera, tu devras également installer les pilotes Axelera et le Voyager SDK. Cette étape permet la communication avec la Metis AIPU et fournit les outils de runtime et de compilation requis.

Les étapes ci-dessous doivent être effectuées dans un environnement Linux avec accès au matériel Axelera AI Metis. Ouvre un terminal sur ton système, ou utilise une cellule de notebook si tu exécutes Jupyter Notebook sur une configuration locale compatible, et exécute les commandes ci-dessous.

Commence par ajouter la clé du dépôt Axelera comme suit :

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Ensuite, comme indiqué ci-dessous, ajoute le dépôt Axelera à ton système :

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Puis installe le Voyager SDK et charge le pilote Metis comme suit :

sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis

Une fois ces étapes terminées, ton système sera prêt à exporter et à exécuter les modèles Ultralytics YOLO sur les appareils Axelera AI Metis.

Link to this sectionÉtape 3 : Exporter les modèles Ultralytics YOLO#

Une fois le paquet Ultralytics installé, tu peux charger ton modèle YOLO et l'exporter en tant que paquet compilé pour Metis. Ce processus convertit le modèle dans un format optimisé pour un déploiement sur le matériel Axelera AI Metis.

Dans l'exemple ci-dessous, nous utilisons un modèle YOLO26 nano pré-entraîné et l'exportons pour Metis. Le modèle exporté sera enregistré dans un répertoire nommé "/yolo26n_axelera_model".

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Link to this sectionÉtape 4 : Exécuter l'inférence avec le modèle exporté#

Après avoir exporté le modèle, tu peux le charger et exécuter l'inférence sur des images ou des flux vidéo inédits. Cela permet des tâches de vision par ordinateur en temps réel directement sur les appareils Axelera AI Metis.

Par exemple, l'extrait de code ci-dessous montre comment charger le modèle exporté et exécuter l'inférence sur une URL accessible publiquement.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

Dans ce cas, le modèle analyse l'image d'entrée et détecte les objets, en enregistrant les résultats dans le répertoire "runs/detect/predict".

Link to this sectionOù les modèles Ultralytics YOLO et le matériel Axelera AI peuvent avoir un impact#

Ensuite, discutons de quelques applications courantes de l'IA en périphérie où les modèles Ultralytics YOLO peuvent être déployés sur le matériel Axelera AI dans des scénarios réels.

Les Metis AIPU d'Axelera AI sont conçues pour une gamme d'environnements de déploiement, des systèmes embarqués et PC industriels à la robotique et aux serveurs en périphérie. Avec une inférence haute performance et économe en énergie, elles permettent aux applications de vision par ordinateur de fonctionner directement sur l'appareil dans tous les secteurs. Le Voyager SDK inclut également un constructeur de pipeline pour que les ingénieurs ML et APP puissent industrialiser les modèles pour la périphérie.

Link to this sectionSystèmes de vision intelligents dans le commerce de détail fonctionnant à la périphérie#

Dans les environnements de vente au détail, comprendre le comportement des clients en temps réel peut faire une différence significative.

En utilisant les modèles Ultralytics YOLO fonctionnant sur le matériel Axelera AI, les magasins peuvent surveiller le passage des clients, compter les personnes et analyser les modèles de mouvement en magasin au fur et à mesure qu'ils se produisent. Puisque tout fonctionne sur l'appareil, les informations peuvent être générées instantanément sans dépendre de la connectivité cloud, aidant les équipes à réagir plus rapidement tout en préservant la confidentialité des données.

Fig 3. Détection et comptage de personnes dans un centre commercial avec YOLO26

Link to this sectionUtiliser l'IA en périphérie pour l'inspection des services publics et des infrastructures#

La maintenance d'infrastructures à grande échelle telles que les lignes électriques est complexe et gourmande en ressources. Ces réseaux s'étendent souvent sur de vastes distances, rendant les inspections chronophages, coûteuses et potentiellement dangereuses. Lorsque des défauts ou des signes précoces d'usure ne sont pas détectés, ils peuvent dégénérer en pannes, dommages aux équipements ou risques de sécurité.

Les drones sont de plus en plus utilisés pour améliorer l'efficacité des inspections. Ils peuvent couvrir de longues distances, accéder à des zones difficiles d'accès et capturer des images haute résolution d'actifs critiques.

Combiner les drones avec l'IA en périphérie améliore encore ces flux de travail. Les modèles Ultralytics YOLO fonctionnant sur le matériel Axelera AI permettent une analyse en temps réel pendant les inspections, identifiant les défauts, classant les composants et détectant les anomalies sur site. Cela réduit le besoin d'examen manuel et favorise une surveillance des infrastructures plus rapide et plus fiable.

Fig 4. Détection de diverses parties d'une ligne électrique avec YOLO26

Link to this sectionAlimenter la robotique avec des informations d'IA visuelle en temps réel#

Pour la robotique, la vitesse et la réactivité sont critiques. Qu'il s'agisse de naviguer dans un entrepôt ou d'opérer dans des environnements industriels dynamiques, les robots doivent interpréter leur environnement instantanément.

Les modèles Ultralytics YOLO fonctionnant sur le matériel Axelera AI permettent aux robots d'interpréter leur environnement en temps réel, de la détection d'obstacles au suivi des personnes en passant par l'identification d'objets. Cela permet aux systèmes de se déplacer plus sûrement, de s'adapter à des conditions dynamiques et d'opérer avec une plus grande autonomie sans dépendre d'une connectivité cloud constante.

Link to this sectionAvantages clés de l'exécution des modèles Ultralytics YOLO sur les Metis AIPU#

Voici quelques-uns des avantages clés du déploiement des modèles Ultralytics YOLO sur le matériel Metis d'Axelera AI en utilisant la nouvelle intégration :

• Intégration transparente avec le flux de travail Ultralytics : L'exportation de modèles YOLO pour un déploiement sur Metis s'intègre naturellement dans le paquet Python Ultralytics, simplifiant la transition de l'entraînement à l'inférence.
• Support pour de multiples tâches de vision par ordinateur : Tu peux déployer des modèles pour la détection d'objets, l'estimation de pose, la segmentation, la classification, et plus encore, sur YOLOv8, YOLO11 et YOLO26.
• Exécuter des modèles en parallèle : Les Metis AIPU sont conçues avec quatre cœurs programmables indépendamment, capables d'exécuter quatre modèles séparés en parallèle pour répondre à tes besoins.
• Évolutif sur toutes les applications d'IA en périphérie : De l'analyse de détail et l'inspection industrielle à la robotique et aux infrastructures intelligentes, l'intégration prend en charge un large éventail de cas d'usage réels.

Link to this sectionPoints clés#

Les modèles Ultralytics YOLO et les Metis AIPU d'Axelera AI facilitent l'apport de la vision par ordinateur haute performance à la périphérie. En simplifiant le déploiement et en optimisant les modèles pour un matériel spécialisé, cette intégration aide à combler le fossé entre le développement et les applications réelles.

Alors que l'IA en périphérie continue de croître, disposer d'options de déploiement efficaces et évolutives sera la clé pour construire des systèmes réactifs et fiables. Cette collaboration est une étape vers une IA visuelle avancée plus accessible à travers tous les secteurs.

Tu veux en savoir plus sur l'IA ? Explore notre dépôt GitHub, connecte-toi avec notre communauté et consulte nos options de licence pour démarrer ton projet de vision par ordinateur. Découvre comment des innovations telles que l'IA dans le commerce de détail et la vision par ordinateur dans la santé façonnent l'avenir.