Déployer Ultralytics YOLO11 sur Rockchip pour une Edge AI efficace

L'intelligence artificielle en périphérie (edge AI) est un sujet très populaire dans la communauté de l'IA, en particulier lorsqu'il s'agit de computer vision. À mesure que les applications pilotées par l'IA se développent, le besoin d'exécuter des modèles de manière efficace sur des appareils embarqués disposant de ressources d'alimentation et de calcul limitées s'accroît.

Par exemple, les drones utilisent l'IA visuelle pour la navigation en temps réel, les caméras intelligentes détectent instantanément les objets et les systèmes d'automatisation industrielle effectuent le contrôle qualité sans dépendre du cloud. Ces applications nécessitent un traitement IA rapide et efficace directement sur les appareils en périphérie pour garantir des performances en temps réel et une faible latence. Cependant, exécuter des modèles d'IA sur ces appareils n'est pas toujours simple. Les modèles d'IA nécessitent souvent plus de puissance et de mémoire que ce que beaucoup d'appareils en périphérie peuvent supporter.

Le RKNN Toolkit de Rockchip aide à résoudre ce problème en optimisant les modèles de deep learning pour les appareils équipés de Rockchip. Il utilise des unités de traitement neuronal (NPU) dédiées pour accélérer l'inférence, réduisant la latence et la consommation d'énergie par rapport à un traitement par CPU ou GPU.

La communauté de la vision par ordinateur souhaitait vivement exécuter Ultralytics YOLO11 sur des appareils basés sur Rockchip, et nous vous avons entendus. Nous avons ajouté la prise en charge de l'exporting YOLO11 to RKNN au format de modèle. Dans cet article, nous explorerons le fonctionnement de l'exportation vers RKNN et les raisons pour lesquelles le déploiement de YOLO11 sur des appareils alimentés par Rockchip change la donne.

Qu'est-ce que Rockchip et le RKNN Toolkit ?#

Rockchip est une entreprise qui conçoit des systèmes sur puce (SoC) - des processeurs à la fois minuscules et puissants qui font fonctionner de nombreux appareils embarqués. Ces puces combinent un processeur (CPU), un processeur graphique (GPU) et une unité de traitement neuronal (NPU) pour gérer toutes sortes de tâches, des calculs généraux aux applications d'IA de vision qui reposent sur la object detection et le traitement d'images.

Les SoC Rockchip sont utilisés dans une grande variété d'appareils, notamment les ordinateurs monocarte (SBC), les cartes de développement, les systèmes d'IA industriels et les caméras intelligentes. De nombreux fabricants de matériel bien connus, tels que Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas et Banana Pi, fabriquent des appareils équipés de SoC Rockchip. Ces cartes sont très appréciées pour les applications d'edge AI et de vision par ordinateur car elles offrent un équilibre entre performances, efficacité énergétique et accessibilité.

Fig 1. Un exemple d'appareil alimenté par Rockchip.

Pour aider les modèles d'IA à s'exécuter efficacement sur ces appareils, Rockchip fournit le RKNN (Rockchip Neural Network) Toolkit. Il permet aux développeurs de convertir et d'optimiser des modèles de deep learning pour utiliser les unités de traitement neuronal (NPU) de Rockchip.

Les modèles RKNN sont optimisés pour une inférence à faible latence et une consommation d'énergie efficace. En convertissant les modèles en RKNN, les développeurs peuvent atteindre des vitesses de traitement plus rapides, une consommation d'énergie réduite et une efficacité améliorée sur les appareils propulsés par Rockchip.

Les modèles RKNN sont optimisés#

Examinons de plus près comment les modèles RKNN améliorent les performances de l'IA sur les appareils compatibles Rockchip.

Contrairement aux CPU et GPU qui gèrent un large éventail de tâches de calcul, les NPU de Rockchip sont conçus spécifiquement pour l'apprentissage profond. En convertissant les modèles d'IA au format RKNN, tu peux exécuter des inférences directement sur le NPU. Cela rend les modèles RKNN particulièrement utiles pour les computer vision tasks en temps réel, où un traitement rapide et efficace est essentiel.

Les NPU sont plus rapides et plus efficaces que les CPU et GPU pour les tâches d'IA car ils sont conçus pour gérer les calculs de réseaux neuronaux en parallèle. Alors que les CPU traitent les tâches une étape à la fois et que les GPU distribuent les charges de travail sur plusieurs cœurs, les NPU sont optimisés pour effectuer des calculs spécifiques à l'IA de manière plus efficace.

Par conséquent, les modèles RKNN s'exécutent plus rapidement et consomment moins d'énergie, ce qui les rend idéaux pour les appareils alimentés par batterie, les caméras intelligentes, l'automatisation industrielle et d'autres applications d'IA en périphérie qui nécessitent une prise de décision en temps réel.

Aperçu des modèles Ultralytics YOLO#

Ultralytics YOLO (You Only Look Once) models sont conçus pour des tâches de vision par ordinateur en temps réel telles que la détection d'objets, la segmentation d'instances et la classification d'images. Ils sont reconnus pour leur rapidité, leur précision et leur efficacité, et sont largement utilisés dans des secteurs tels que l'agriculture, l'industrie manufacturière, la santé et les systèmes autonomes.

Ces modèles se sont considérablement améliorés au fil du temps. Par exemple, YOLOv5 d'Ultralytics a simplifié l'utilisation de la détection d'objets avec PyTorch. Ensuite, YOLOv8 d'Ultralytics a introduit de nouvelles fonctionnalités telles que l'estimation de pose et la classification d'images. Aujourd'hui, YOLO11 va encore plus loin en augmentant la précision tout en consommant moins de ressources. En effet, YOLO11m offre de meilleures performances sur le jeu de données COCO tout en utilisant 22 % de paramètres en moins que YOLOv8m, ce qui le rend à la fois plus précis et plus efficace.

Fig 2. Détection d'objets avec Ultralytics YOLO11.

Les modèles Ultralytics YOLO prennent également en charge l'exporting vers de multiples formats, ce qui permet un déploiement flexible sur différentes plateformes. Ces formats incluent ONNX, TensorRT, CoreML et OpenVINO, offrant ainsi la liberté d'optimiser les performances en fonction du matériel cible.

Grâce à la prise en charge ajoutée pour l'exportation de YOLO11 au format de modèle RKNN, YOLO11 peut désormais tirer parti des NPU de Rockchip. Le plus petit modèle, YOLO11n au format RKNN, atteint un temps d'inférence impressionnant de 99,5 ms par image, permettant un traitement en temps réel même sur des appareils embarqués.

Exportation de ton modèle Ultralytics YOLO11 au format RKNN#

Actuellement, les modèles de détection d'objets Ultralytics YOLO11 peuvent être exportés au format RKNN. Reste aussi à l'écoute : nous travaillons sur l'ajout du support pour d'autres tâches de vision par ordinateur et la quantification INT8 dans de futures mises à jour.

L'exportation d'Ultralytics YOLO11 au format RKNN est un processus simple. Tu peux charger ton modèle YOLO11 entraîné sur mesure, spécifier la plateforme Rockchip cible et le convertir au format RKNN en quelques lignes de code. Le format RKNN est compatible avec divers SoC Rockchip, notamment les RK3588, RK3566 et RK3576, garantissant un large support matériel.

Fig 3. Exportation d'Ultralytics YOLO11 au format de modèle RKNN.

Déploiement d'Ultralytics YOLO11 sur des appareils basés sur Rockchip#

Une fois exporté, le modèle RKNN peut être déployé sur des appareils basés sur Rockchip. Pour déployer le modèle, il te suffit de charger le fichier RKNN exporté sur ton appareil Rockchip et d'exécuter l'inférence – le processus consistant à utiliser le modèle d'IA entraîné pour analyser de nouvelles images ou vidéos et détecter des objets en temps réel. Avec juste quelques lignes de code, tu peux commencer à identifier des objets à partir d'images ou de flux vidéo.

Fig 4. Exécution d'une inférence en utilisant le modèle RKNN exporté.

Applications Edge AI d'Ultralytics YOLO11 et Rockchip#

Pour mieux voir où Ultralytics YOLO11 peut être déployé sur des appareils compatibles Rockchip dans le monde réel, passons en revue quelques applications Edge AI clés.

Les processeurs Rockchip sont largement utilisés dans les tablettes Android, les cartes de développement et les systèmes d'IA industriels. Avec la prise en charge d'Android, Linux et Python, tu peux facilement créer et déployer des solutions basées sur l'IA visuelle pour une variété d'industries.

Tablettes durcies intégrées avec Ultralytics YOLO11#

Une application courante qui implique d'exécuter Ultralytics YOLO11 sur des appareils alimentés par Rockchip concerne les tablettes durcies. Ce sont des tablettes durables et performantes conçues pour des environnements difficiles comme les entrepôts, les chantiers de construction et les sites industriels. Ces tablettes peuvent exploiter la détection d'objets pour améliorer l'efficacité et la sécurité.

Par exemple, dans le domaine de la warehouse logistics, les travailleurs peuvent utiliser une tablette équipée de Rockchip et de YOLO11 pour scanner et détecter automatiquement l'inventaire, réduisant ainsi les erreurs humaines et accélérant les temps de traitement. De même, sur les chantiers de construction, ces tablettes peuvent servir à vérifier si les ouvriers portent l'équipement de sécurité requis, tel que des casques et des gilets, aidant ainsi les entreprises à appliquer les réglementations et à prévenir les accidents.

Fig 5. Détection d'équipements de sécurité avec Ultralytics YOLO11.

IA industrielle pour le contrôle qualité#

En ce qui concerne la fabrication et l'automatisation, les cartes industrielles propulsées par Rockchip peuvent jouer un rôle majeur dans le contrôle qualité et la surveillance des processus. Une carte industrielle est un module informatique compact et performant conçu pour les systèmes embarqués dans des environnements industriels. Ces cartes incluent généralement des processeurs, de la mémoire, des interfaces d'E/S et des options de connectivité qui peuvent s'intégrer avec des capteurs, des caméras et des machines automatisées.

Faire tourner les modèles Ultralytics YOLO11 sur ces cartes permet d'analyser les lignes de production en temps réel, de repérer instantanément les problèmes et d'améliorer l'efficacité. Par exemple, dans la construction automobile, un système d'IA utilisant du matériel Rockchip et YOLO11 peut détecter des rayures, des pièces mal alignées ou des défauts de peinture au fur et à mesure que les voitures avancent sur la chaîne de montage. En identifiant ces défauts en temps réel, les fabricants peuvent réduire les déchets, baisser les coûts de production et garantir des normes de qualité plus élevées avant que les véhicules n'atteignent les clients.

Avantages d'exécuter Ultralytics YOLO11 sur des appareils basés sur Rockchip#

Les appareils basés sur Rockchip offrent un bon équilibre entre performance, coût et efficacité, ce qui en fait un excellent choix pour déployer Ultralytics YOLO11 dans des applications Edge AI.

Voici quelques avantages d'exécuter Ultralytics YOLO11 sur des appareils basés sur Rockchip :

• AI performance améliorée : Les appareils compatibles Rockchip gèrent l'inférence d'IA plus efficacement que les cartes à base de CPU comme Raspberry Pi, offrant une détection d'objets plus rapide et une latence réduite.
• Solution économique : Si tu expérimentes avec l'IA et que tu as besoin d'une option économique qui offre tout de même de puissantes performances, Rockchip est une excellente option. Cela fournit un moyen abordable d'exécuter Ultralytics YOLO11 sans compromettre la vitesse ou l'efficacité.
• Efficacité énergétique : L'exécution de modèles de vision par ordinateur sur des appareils propulsés par Rockchip consomme moins d'énergie que les GPU, ce qui les rend idéaux pour les appareils fonctionnant sur batterie et les applications d'IA embarquées.

Points clés#

Ultralytics YOLO11 peut s'exécuter efficacement sur des appareils basés sur Rockchip en tirant parti de l'accélération matérielle et du format RKNN. Cela réduit le temps d'inférence et améliore les performances, ce qui le rend idéal pour les tâches de vision par ordinateur en temps réel et les applications d'IA en périphérie.

Le RKNN Toolkit fournit des outils d'optimisation clés comme la quantification et le réglage fin, garantissant que les modèles Ultralytics YOLO11 fonctionnent bien sur les plateformes Rockchip. Optimiser les modèles pour un traitement efficace sur l'appareil sera essentiel à mesure que l'adoption d'Edge AI grandit. Avec les bons outils et le bon matériel, les développeurs peuvent ouvrir de nouvelles possibilités pour des solutions de vision par ordinateur dans diverses industries.

Rejoins our community et explore notre GitHub repository pour en savoir plus sur l'IA. Découvre comment la computer vision in agriculture et l'AI in healthcare stimulent l'innovation en visitant nos pages de solutions. Consulte également nos licensing options pour commencer à créer tes solutions de vision par ordinateur dès aujourd'hui !