Déployer Ultralytics YOLO11 sur Rockchip pour une IA en périphérie efficace

Un terme en vogue dans la communauté de l’IA est l’IA en périphérie, en particulier dans le domaine de la vision par ordinateur. À mesure que les applications pilotées par l’IA se développent, il devient de plus en plus nécessaire d’exécuter efficacement les modèles sur des appareils embarqués aux ressources limitées en énergie et en calcul.

Par exemple, les drones utilisent l’IA visuelle pour naviguer en temps réel, les caméras intelligentes détectent instantanément les objets et les systèmes d’automatisation industrielle effectuent des contrôles qualité sans recourir au cloud. Ces applications nécessitent un traitement de l’IA rapide et efficace directement sur les appareils en périphérie afin de garantir des performances en temps réel et une faible latence. Cependant, exécuter des modèles d’IA sur ces appareils n’est pas toujours facile. Les modèles d’IA nécessitent souvent plus de puissance et de mémoire que ce que de nombreux appareils en périphérie peuvent fournir.

Le RKNN Toolkit de Rockchip aide à résoudre ce problème en optimisant les modèles d’apprentissage profond pour les appareils équipés de Rockchip. Il utilise des unités de traitement neuronal dédiées (NPUs) pour accélérer l’inférence, réduisant ainsi la latence et la consommation d’énergie par rapport au traitement sur CPU ou GPU.

La communauté Vision AI attendait avec impatience de pouvoir exécuter Ultralytics YOLO11 sur des appareils à base de Rockchip, et nous vous avons entendus. Nous avons ajouté la prise en charge de l’exportation de YOLO11 au format de modèle RKNN. Dans cet article, nous allons voir comment fonctionne l’exportation vers RKNN et pourquoi le déploiement de YOLO11 sur des appareils équipés de Rockchip est si utile pour l’Edge AI.

Qu’est-ce que Rockchip et le RKNN Toolkit ?#

Rockchip est une entreprise qui conçoit des systèmes sur puce (SoCs), de petits processeurs pourtant puissants qui équipent de nombreux appareils embarqués. Ces puces associent un CPU, un GPU et une unité de traitement neuronal (NPU) pour prendre en charge aussi bien les tâches informatiques générales que les applications d’IA visuelle reposant sur la détection d’objets et le traitement d’images.

Les SoCs Rockchip équipent de nombreux appareils, notamment des ordinateurs monocartes (SBCs), des cartes de développement, des systèmes d’IA industrielle et des caméras intelligentes. Plusieurs fabricants de matériel bien connus, dont Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas et Banana Pi, produisent des appareils équipés de SoCs Rockchip. Ces cartes sont populaires pour l’IA en périphérie et les applications de vision par ordinateur, car elles offrent un bon équilibre entre performances, efficacité énergétique et prix abordable.

Fig. 1 Exemple d’appareil équipé d’une puce Rockchip.

Pour aider les modèles d’IA à fonctionner efficacement sur ces appareils, Rockchip fournit le RKNN (Rockchip Neural Network) Toolkit. Celui-ci permet aux développeurs de convertir et d’optimiser des modèles d’apprentissage profond pour exploiter les unités de traitement neuronal (NPUs) de Rockchip.

Les modèles RKNN sont optimisés pour une inférence à faible latence et une consommation énergétique efficace. En convertissant les modèles au format RKNN, les développeurs peuvent obtenir un traitement plus rapide, réduire la consommation électrique et améliorer l’efficacité sur les appareils équipés de puces Rockchip.

Les modèles RKNN sont optimisés#

Voyons de plus près comment les modèles RKNN améliorent les performances de l’IA sur les appareils compatibles Rockchip.

Contrairement aux CPU et aux GPU, qui prennent en charge un large éventail de tâches informatiques, les NPU de Rockchip sont spécialement conçues pour l’apprentissage profond. En convertissant les modèles d’IA au format RKNN, les développeurs peuvent exécuter l’inférence directement sur le NPU. Les modèles RKNN sont ainsi particulièrement utiles pour les tâches de vision par ordinateur en temps réel, qui nécessitent un traitement rapide et efficace.

Les NPU sont plus rapides et plus efficaces que les CPU et les GPU pour les tâches d’IA, car elles sont conçues pour effectuer des calculs de réseaux neuronaux en parallèle. Alors que les CPU traitent les tâches une étape à la fois et que les GPU répartissent les charges de travail sur plusieurs cœurs, les NPU sont optimisées pour effectuer plus efficacement les calculs propres à l’IA.

Les modèles RKNN s’exécutent donc plus rapidement et consomment moins d’énergie, ce qui les rend idéaux pour les appareils alimentés par batterie, les caméras intelligentes, l’automatisation industrielle et les autres applications d’IA en périphérie qui nécessitent une prise de décision en temps réel.

Présentation des modèles Ultralytics YOLO#

Les modèles Ultralytics YOLO (You Only Look Once) sont conçus pour des tâches de vision par ordinateur en temps réel telles que la détection d’objets, la segmentation d’instances et la classification d’images. Ils sont réputés pour leur rapidité, leur précision et leur efficacité, et sont largement utilisés dans des secteurs comme l’agriculture, l’industrie manufacturière, la santé et les systèmes autonomes.

Ces modèles se sont considérablement améliorés au fil du temps. Par exemple, Ultralytics YOLOv5 a facilité l’utilisation de la détection d’objets avec PyTorch. Ensuite, Ultralytics YOLOv8 a ajouté de nouvelles tâches, comme l’estimation de pose, et réuni la détection, la segmentation, la classification et l’estimation de pose dans un seul framework. Aujourd’hui, YOLO11 va plus loin en améliorant la précision tout en utilisant moins de ressources. En effet, YOLO11m obtient de meilleurs résultats sur le jeu de données COCO tout en utilisant 22 % de paramètres en moins que YOLOv8m, ce qui le rend à la fois plus précis et plus efficace.

Fig. 2. Détection d’objets avec Ultralytics YOLO11.

Les modèles Ultralytics YOLO prennent également en charge l’exportation vers plusieurs formats, ce qui permet un déploiement flexible sur différentes plateformes. Ces formats comprennent ONNX, TensorRT, CoreML et OpenVINO, laissant aux développeurs la liberté d’optimiser les performances en fonction du matériel cible.

Grâce à la prise en charge supplémentaire de l’exportation de YOLO11 au format de modèle RKNN, YOLO11 peut désormais tirer parti des NPU de Rockchip. Le plus petit modèle, YOLO11n au format RKNN, atteint un temps d’inférence de 99,5 ms par image, permettant un traitement en temps réel même sur des appareils embarqués.

Exporter ton modèle Ultralytics YOLO11 au format RKNN#

Au moment de la rédaction, les modèles de détection d’objets Ultralytics YOLO11 pouvaient être exportés au format RKNN. Depuis, l’exportation RKNN a été étendue à toutes les tâches Ultralytics et à la quantification INT8 (quantize=8), comme décrit dans le guide d’intégration RKNN indiqué ci-dessus.

L’exportation d’Ultralytics YOLO11 au format RKNN est simple. Tu peux charger ton modèle YOLO11 entraîné sur mesure, spécifier la plateforme Rockchip cible et le convertir au format RKNN en quelques lignes de code. Le format RKNN est compatible avec différents SoCs Rockchip, dont RK3588, RK3566 et RK3576, ce qui garantit une large prise en charge matérielle.

Fig. 3. Exportation d’Ultralytics YOLO11 au format de modèle RKNN.

Déployer Ultralytics YOLO11 sur des appareils équipés de puces Rockchip#

Une fois exporté, le modèle RKNN peut être déployé sur des appareils équipés de puces Rockchip. Pour déployer le modèle, il te suffit de charger le fichier RKNN exporté sur ton appareil Rockchip et de lancer l’inférence, c’est-à-dire d’utiliser le modèle d’IA entraîné pour analyser de nouvelles images ou vidéos et détecter des objets en temps réel. Quelques lignes de code suffisent pour commencer à identifier des objets dans des images ou des flux vidéo.

Fig. 4. Exécution d’une inférence avec le modèle RKNN exporté.

Applications d’IA en périphérie d’Ultralytics YOLO11 et Rockchip#

Pour mieux comprendre comment Ultralytics YOLO11 peut être déployé dans des situations réelles sur des appareils compatibles Rockchip, passons en revue quelques applications clés de l’IA en périphérie.

Les processeurs Rockchip sont largement utilisés dans les tablettes Android, les cartes de développement et les systèmes d’IA industrielle. Grâce à la prise en charge d’Android, de Linux et de Python, tu peux facilement créer et déployer des solutions d’IA visuelle pour de nombreux secteurs.

Tablettes durcies intégrant Ultralytics YOLO11#

Les tablettes durcies constituent une application courante d’Ultralytics YOLO11 sur des appareils équipés de puces Rockchip. Conçues pour les environnements difficiles comme les entrepôts, les chantiers et les sites industriels, elles sont robustes et performantes. Ces tablettes peuvent s’appuyer sur la détection d’objets pour améliorer l’efficacité et la sécurité.

Par exemple, dans la logistique d’entrepôt, les employés peuvent utiliser une tablette équipée d’une puce Rockchip et de YOLO11 pour scanner et détecter automatiquement les stocks, ce qui réduit les erreurs humaines et accélère le traitement. De même, sur les chantiers, ces tablettes peuvent détecter si les employés portent les équipements de sécurité requis, comme des casques et des gilets, aidant ainsi les entreprises à faire respecter les réglementations et à prévenir les accidents.

Fig. 5 Détection d’équipements de sécurité avec Ultralytics YOLO11.

L’IA industrielle pour le contrôle qualité#

Dans les domaines de la fabrication et de l’automatisation, les cartes industrielles équipées de puces Rockchip peuvent jouer un rôle important dans le contrôle qualité et la surveillance des processus. Une carte industrielle est un module informatique compact et performant conçu pour les systèmes embarqués en milieu industriel. Ces cartes comprennent généralement des processeurs, de la mémoire, des interfaces d’E/S et des options de connectivité qui permettent leur intégration avec des capteurs, des caméras et des machines automatisées.

L’exécution de modèles Ultralytics YOLO11 sur ces cartes permet d’analyser les lignes de production en temps réel, de repérer instantanément les problèmes et d’améliorer l’efficacité. Par exemple, dans la fabrication automobile, un système d’IA utilisant du matériel Rockchip et YOLO11 peut détecter les rayures, les pièces mal alignées ou les défauts de peinture pendant que les voitures avancent sur la chaîne de montage. En identifiant ces défauts en temps réel, les fabricants peuvent réduire le gaspillage, diminuer les coûts de production et garantir des normes de qualité plus élevées avant la livraison des véhicules aux clients.

Avantages de l’exécution d’Ultralytics YOLO11 sur des appareils équipés de puces Rockchip#

Les appareils équipés de puces Rockchip offrent un bon équilibre entre performances, coût et efficacité, ce qui en fait un excellent choix pour déployer Ultralytics YOLO11 dans des applications d’IA en périphérie.

Voici quelques avantages de l’exécution d’Ultralytics YOLO11 sur des appareils équipés de puces Rockchip :

• Meilleures performances d’IA : les appareils compatibles avec Rockchip traitent l’inférence d’IA plus efficacement que les cartes reposant sur un CPU, comme Raspberry Pi, et offrent une détection d’objets plus rapide ainsi qu’une latence plus faible.
• Une solution économique : si tu expérimentes avec l’IA et que tu cherches une option abordable offrant tout de même de solides performances, Rockchip est un excellent choix. Cette solution permet d’exécuter Ultralytics YOLO11 à moindre coût sans compromettre la vitesse ni l’efficacité.
• Efficacité énergétique : l’exécution de modèles de vision par ordinateur sur des appareils équipés de puces Rockchip consomme moins d’énergie que sur des GPU, ce qui en fait une solution idéale pour les appareils alimentés par batterie et les applications d’IA embarquée.

Points clés à retenir#

Ultralytics YOLO11 peut fonctionner efficacement sur des appareils équipés de puces Rockchip en tirant parti de l’accélération matérielle et du format RKNN. Cela réduit le temps d’inférence et améliore les performances, ce qui en fait une solution idéale pour les tâches de vision par ordinateur en temps réel et les applications d’IA en périphérie.

Le RKNN Toolkit fournit des outils d’optimisation essentiels, comme la quantification, afin d’assurer le bon fonctionnement des modèles Ultralytics YOLO11 sur les plateformes Rockchip. À mesure que l’adoption de l’IA en périphérie augmente, l’optimisation des modèles pour un traitement efficace sur l’appareil deviendra essentielle. Avec les bons outils et le matériel adéquat, les développeurs peuvent ouvrir de nouvelles perspectives pour les solutions de vision par ordinateur dans différents secteurs.

Rejoins notre communauté et explore notre dépôt GitHub pour en savoir plus sur l’IA. Découvre comment la vision par ordinateur dans l’agriculture et l’IA dans le secteur de la santé favorisent l’innovation en consultant nos pages de solutions. Consulte également nos options de licence pour commencer dès aujourd’hui à créer tes solutions d’IA visuelle !