Découvrez la nouvelle intégration d'exportation prise en charge par lePython Ultralytics , en collaboration avec Axelera AI, pour une IA en périphérie efficace et hautement performante.
Chez Ultralytics, nous constatons une tendance croissante à l'exécution directe des modèles de vision par ordinateur sur des appareils périphériques, à mesure que l'IA se généralise. Lors de nos échanges avec la communauté de la vision par ordinateur, tant en ligne que lors de récentes conférences technologiques, notre équipe a remarqué un intérêt grandissant pour le déploiement de l'IA de vision plus près du lieu où les données sont générées.
Qu'il s'agisse des environnements de vente au détail connectés, de l'automatisation industrielle ou de la robotique, les informations en temps réel deviennent indispensables, et il ne suffit plus de s'en remettre uniquement au cloud.
En termes simples, l'IA en périphérie consiste à exécuter des modèles d'IA localement sur des appareils plutôt que d'envoyer les données vers des serveurs centralisés pour leur traitement. Cela permet de réduire la latence, d'améliorer la fiabilité et de réagir en temps réel aux événements du monde réel.
Cependant, le déploiement de modèles hautement performants dans ces environnements pose des défis particuliers, car les ressources de calcul limitées et les contraintes énergétiques exigent que ces modèles soient à la fois efficaces et optimisés pour le matériel sur lequel ils s'exécutent.
YOLO Ultralytics YOLO , tels que Ultralytics , sont conçus pour la vision par ordinateur en temps réel, mais pour exploiter pleinement leur potentiel en périphérie, il faut disposer d'une combinaison adéquate de logiciels et de matériel. C'est pourquoi nous sommes ravis d'annoncer notre collaboration avec Axelera AI.
Nous nous sommes associés à Axelera AI pour proposer une intégration d'exportation améliorée, permettant un déploiement efficace et hautement performant desYOLO Ultralytics sur les unités de traitement d'IA (AIPU)Metis®.
Dans cet article, nous allons voir comment compiler facilementYOLO Ultralytics en vue d'un déploiement sur Metis. C'est parti !
À mesure que les applications de vision par ordinateur continuent d'évoluer, la nécessité d'un traitement plus rapide et plus efficace devient de plus en plus cruciale. Les approches traditionnelles basées sur le cloud peuvent entraîner des temps de latence, dépendent d'une connexion stable et risquent de ne pas répondre aux exigences en temps réel de nombreux cas d'utilisation de la vision intelligente.
L'IA en périphérie relève ces défis en permettant aux modèles de s'exécuter directement sur des appareils locaux, ce qui permet de traiter les données plus près de leur source. Prenons par exemple les drones équipés de systèmes de vision utilisés dans les opérations de recherche et de sauvetage.
Ces systèmes doivent analyser les flux vidéo en temps réel pour detect , des obstacles ou des dangers, souvent dans des zones reculées où la connexion Internet est limitée, voire inexistante. En exécutant des modèles de vision par ordinateur directement sur le drone, l'IA en périphérie permet une prise de décision plus rapide et des performances plus fiables sans dépendre d'une infrastructure cloud.
Cette évolution ouvre de nouvelles perspectives dans tous les secteurs. Des applications telles que la détection d'objets en temps réel dans le commerce de détail, le contrôle qualité automatisé dans l'industrie manufacturière et la perception en robotique bénéficient toutes de temps de réponse plus courts et d'une plus grande fiabilité.
L'IA en périphérie s'impose rapidement comme un élément clé pour le déploiement de systèmes de vision par ordinateur évolutifs et réactifs dans des environnements réels.
Avant de nous plonger dans cette nouvelle intégration d'exportation, prenons un peu de recul pour en savoir plus sur les unités de traitement Metis AI d'Axelera AI et sur le rôle qu'elles jouent dans la mise en œuvre d'une IA en périphérie efficace.
Axelera AI développe du matériel spécialement conçu pour accélérer l'inférence IA en périphérie. L'un des éléments clés de cette solution est le Metis AIPU (AI Processing Unit), un processeur spécialisé conçu pour exécuter efficacement des réseaux neuronaux sur des appareils en périphérie.
Contrairement aux processeurs centraux (CPU) à usage général ou même aux processeurs graphiques (GPU), les AIPU sont conçus pour gérer les schémas de calcul spécifiques aux charges de travail liées à l'IA. Cela leur permet d'offrir des performances élevées tout en conservant une faible consommation d'énergie, ce qui est essentiel dans les environnements en périphérie où les ressources sont souvent limitées.
Ce qui rend l'approche d'Axelera AI particulièrement innovante, c'est sa conception « full-stack ». Metis s'appuie sur le calcul numérique en mémoire (D-IMC) et l'architecture RISC-V pour offrir des performances élevées tout en répondant aux exigences d'efficacité énergétique de l'edge computing. Les quatre cœurs de Metis sont programmables indépendamment, ce qui signifie que vous pouvez exécuter quatre modèles en parallèle sur une seule puce. Outre le matériel, le SDK Voyager comprend un compilateur et un moteur d'exécution qui fonctionnent de concert pour optimiser les modèles en vue de leur déploiement.
Cela permet aux développeurs de passer plus efficacement des modèles entraînés à l'inférence prête pour la production. Plus précisément, les AIPU Metis permettent d'exécuter des modèles avancés de vision par ordinateur, tels queYOLO Ultralytics , directement sur des appareils en périphérie, qu'il s'agisse d'environnements d'entreprise, de commerce de détail, de santé ou de fabrication, ou encore d'équipements agricoles et industriels et de satellites.
Python Ultralytics offre une interface unifiée pour l'entraînement, l'évaluation et le déploiement YOLO dans le cadre de diverses tâches de vision par ordinateur. YOLO sont généralement développés et entraînés à l'aide de PyTorch, qui est particulièrement adapté à l'expérimentation et au développement de modèles.
Cependant, lors du déploiement de ces modèles sur du matériel périphérique spécialisé, ils doivent être convertis dans un format optimisé pour l'appareil cible. C'est là qu'interviennent les intégrations d'exportation prises en charge par lePython Ultralytics .
Ultralytics toute une gamme d'options d'exportation permettant de convertir YOLO en différents formats en fonction de la cible de déploiement, tels que ONNX, TensorRT et d'autres backends spécifiques à certains matériels. Ces intégrations simplifient le processus de préparation des modèles pour des applications concrètes en prenant en charge les étapes d'optimisation et de conversion nécessaires.
Dans cette optique, Ultralytics mis en place une intégration d'exportation améliorée avec Axelera AI, permettant d'exporter YOLO en vue de leur déploiement sur les AIPU Metis.
Lors de l'exportation, le modèle est compilé et quantifié en une représentation optimisée spécialement conçue pour le matériel Axelera. Ce processus génère un modèle compilé au format « .axm », ainsi que les métadonnées nécessaires au déploiement et à l'inférence.
Cette intégration prend en charge un large éventail de tâches de vision par ordinateur dans Ultralytics YOLOv8, Ultralytics YOLO11et les modèles Ultralytics , notamment la détection d'objets, l'estimation de la pose, la segmentation d'instances, la détection de cadres de sélection orientés (OBB) et la classification d'images. Alors que la plupart des tâches sont prises en charge directement via le flux de travail d'exportation, la segmentation YOLO26 peut être utilisée via le Model Zoo avec le SDK Voyager.
Cette prise en charge étendue offre aux développeurs la flexibilité nécessaire pour déployer différents types de modèles de vision en fonction de leur application, qu'il s'agisse de détecter des objets en temps réel, de comprendre des scènes, de suivre des mouvements ou d'analyser des données visuelles complexes.
Une fois exportés, les modèles peuvent être déployés et exécutés sans avoir recours à PyTorch l'inférence. Ils sont en effet exécutés à l'aide du runtime du SDK Voyager, qui permet de créer des pipelines de bout en bout pour des tâches telles que le traitement vidéo, la détection en temps réel et le suivi, directement sur les appareils périphériques.
Maintenant que nous comprenons mieux cette nouvelle fonctionnalité d'exportation, voyons comment exporterYOLO Ultralytics vers ce format personnalisé et les exécuter sur le matériel Metis en périphérie.
Pour commencer, vous devez d'abord installer lePython Ultralytics . Il offre une interface simple et cohérente pour l'entraînement, l'évaluation et l'exportation YOLO .
Vous pouvez l'installer à l'aide de pip en exécutant la commande suivante dans votre terminal ou votre invite de commande :
pip install ultralytics
Si vous rencontrez des difficultés lors de l'installation ou de l'exportation, la Ultralytics officielle Ultralytics et le guide des problèmes courants constituent d'excellentes ressources pour le dépannage.
Pour exporter et exécuter des modèles sur le matériel Axelera, vous devrez également installer les pilotes Axelera et le SDK Voyager. Cette étape permet d'établir la communication avec l'AIPU Metis et fournit les outils d'exécution et de compilation nécessaires.
Les étapes suivantes doivent être effectuées dans un environnement Linux disposant d'un accès au matériel Axelera AI Metis. Ouvrez un terminal sur votre système, ou utilisez une cellule de notebook si vous utilisez Jupyter Notebook sur une configuration locale compatible, puis exécutez les commandes ci-dessous.
Commencez par ajouter la clé du dépôt Axelera comme suit :
sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"
Ensuite, comme indiqué ci-dessous, ajoutez le référentiel Axelera à votre système :
sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"
Installez ensuite le SDK Voyager et chargez le pilote Metis comme suit :
sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis
Une fois ces étapes terminées, votre système sera prêt à exporter et à exécuterYOLO Ultralytics YOLO sur les appareils Axelera AI Metis.
Une fois le Ultralytics installé, vous pouvez charger votre YOLO et l'exporter sous forme de package compilé pour Metis. Ce processus convertit le modèle dans un format optimisé pour le déploiement sur le matériel Axelera AI Metis.
Dans l'exemple ci-dessous, nous utilisons un modèle YOLO26 nano pré-entraîné et l'exportons pour Metis. Le modèle exporté sera enregistré dans un répertoire nommé « /yolo26n_axelera_model ».
from ultralytics YOLO
model = YOLO("yolo26n.pt")
model.export(format="axelera")
Une fois le modèle exporté, vous pouvez le charger et effectuer des inférences sur des images ou des flux vidéo non vus. Cela permet d'effectuer des tâches de vision par ordinateur en temps réel directement sur les appareils Axelera AI Metis.
Par exemple, l'extrait de code ci-dessous montre comment charger le modèle exporté et effectuer une inférence à partir d'une URL accessible au public.
axelera_model = YOLO("yolo26n_axelera_model")
results = axelera_model("ultralytics", save=True)
Dans ce cas, le modèle analyse l'image d'entrée et détecte les objets, puis enregistre les résultats dans le répertoire «detect ».
Abordons maintenant quelques applications courantes de l'IA en périphérie, dans lesquellesYOLO Ultralytics peuvent être déployés sur le matériel Axelera AI dans des situations concrètes.
Les AIPU Metis d'Axelera AI sont conçus pour s'adapter à divers environnements de déploiement, allant des systèmes embarqués et des PC industriels à la robotique et aux serveurs en périphérie. Grâce à une inférence haute performance et économe en énergie, ils permettent aux applications de vision par ordinateur de s'exécuter directement sur les appareils, tous secteurs confondus. Le SDK Voyager comprend également un générateur de pipelines permettant aux ingénieurs en apprentissage automatique et en applications de commercialiser des modèles destinés à la périphérie.
Dans le secteur de la vente au détail, la compréhension du comportement des clients en temps réel peut faire toute la différence.
GrâceYOLO Ultralytics fonctionnant sur le matériel Axelera AI, les magasins peuvent surveiller la fréquentation, compter les personnes et analyser les schémas de déplacement en magasin en temps réel. Comme tout s'exécute directement sur l'appareil, les informations sont générées instantanément sans dépendre d'une connexion au cloud, ce qui permet aux équipes de réagir plus rapidement tout en préservant la confidentialité des données.
La maintenance d'infrastructures à grande échelle, telles que les lignes électriques, est complexe et nécessite d'importantes ressources. Ces réseaux s'étendent souvent sur de très longues distances, ce qui rend les inspections longues, coûteuses et potentiellement dangereuses. Lorsque des défaillances ou des signes précurseurs d'usure ne sont pas détectés, ils peuvent entraîner des coupures de courant, des dommages matériels ou des risques pour la sécurité.
Les drones sont de plus en plus utilisés pour améliorer l'efficacité des inspections. Ils permettent de couvrir de longues distances, d'accéder à des zones difficiles d'accès et de capturer des images haute résolution d'infrastructures critiques.
L'association des drones à l'IA en périphérie optimise encore davantage ces flux de travail.YOLO Ultralytics , exécutés sur le matériel Axelera AI, permettent une analyse en temps réel pendant les inspections, identifiant les défauts, classifiant les composants et détectant les anomalies sur site. Cela réduit le besoin de vérifications manuelles et favorise une surveillance plus rapide et plus fiable des infrastructures.
En robotique, la vitesse et la réactivité sont essentielles. Qu'il s'agisse de se déplacer dans un entrepôt ou d'intervenir dans des environnements industriels en constante évolution, les robots doivent être capables d'analyser leur environnement en temps réel.
YOLO Ultralytics , exécutés sur le matériel Axelera AI, permettent aux robots d'interpréter leur environnement en temps réel, qu'il s'agisse de détecter des obstacles, de suivre des personnes ou d'identifier des objets. Les systèmes peuvent ainsi se déplacer en toute sécurité, s'adapter à des conditions changeantes et fonctionner avec une plus grande autonomie, sans dépendre d'une connexion permanente au cloud.
Voici quelques-uns des principaux avantages liés au déploiementYOLO Ultralytics sur le matériel Metis d'Axelera AI grâce à cette nouvelle intégration :
YOLO Ultralytics et les AIPU Metis d'Axelera AI facilitent la mise en œuvre de solutions de vision par ordinateur hautement performantes en périphérie. En simplifiant le déploiement et en optimisant les modèles pour du matériel spécialisé, cette intégration contribue à combler le fossé entre le développement et les applications concrètes.
À mesure que l'IA en périphérie continue de se développer, il sera essentiel de disposer d'options de déploiement efficaces et évolutives pour mettre en place des systèmes réactifs et fiables. Cette collaboration constitue une avancée vers une plus grande accessibilité de l'IA visuelle avancée dans tous les secteurs.
Vous souhaitez en savoir plus sur l'IA ? Explorez notre dépôt GitHub, connectez-vous avec notre communauté et consultez nos options de licence pour démarrer votre projet de vision par ordinateur. Découvrez comment des innovations telles que l'IA dans le commerce de détail et la vision par ordinateur dans le secteur de la santé façonnent l'avenir.
Commencez votre parcours avec l'avenir de l'apprentissage automatique
