Déployer Ultralytics YOLO11 sur Rockchip pour une Edge AI efficace

Un mot à la mode récent dans la communauté de l'IA est l'IA en périphérie, particulièrement en ce qui concerne la vision par ordinateur. À mesure que les applications basées sur l'IA se multiplient, le besoin d'exécuter efficacement des modèles sur des appareils embarqués aux ressources énergétiques et informatiques limitées devient plus important.

Par exemple, les drones utilisent l'IA visuelle pour la navigation en temps réel, les caméras intelligentes détectent instantanément les objets et les systèmes d'automatisation industrielle effectuent le contrôle qualité sans dépendre du cloud. Ces applications nécessitent un traitement IA rapide et efficace directement sur les appareils en périphérie pour garantir des performances en temps réel et une faible latence. Cependant, exécuter des modèles d'IA sur ces appareils n'est pas toujours simple. Les modèles d'IA nécessitent souvent plus de puissance et de mémoire que ce que beaucoup d'appareils en périphérie peuvent supporter.

Le RKNN Toolkit de Rockchip aide à résoudre ce problème en optimisant les modèles de deep learning pour les appareils équipés de Rockchip. Il utilise des unités de traitement neuronal (NPU) dédiées pour accélérer l'inférence, réduisant la latence et la consommation d'énergie par rapport à un traitement par CPU ou GPU.

La communauté de l'IA visuelle était impatiente d'exécuter Ultralytics YOLO11 sur des appareils basés sur Rockchip, et nous t'avons écouté. Nous avons ajouté la prise en charge de l'exportation de YOLO11 vers le format RKNN. Dans cet article, nous explorerons comment fonctionne l'exportation vers RKNN et pourquoi le déploiement de YOLO11 sur des appareils Rockchip change la donne.

Link to this sectionQu'est-ce que Rockchip et le RKNN Toolkit ?#

Rockchip est une entreprise qui conçoit des systèmes sur puce (SoC) – des processeurs minuscules mais puissants qui font fonctionner de nombreux appareils embarqués. Ces puces combinent un CPU, un GPU et une unité de traitement neuronal (NPU) pour gérer tout, des tâches informatiques générales aux applications d'IA visuelle qui reposent sur la détection d'objets et le traitement d'image.

Les SoC Rockchip sont utilisés dans une variété d'appareils, y compris les ordinateurs monocarte (SBC), les cartes de développement, les systèmes d'IA industriels et les caméras intelligentes. De nombreux fabricants de matériel bien connus, Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas et Banana Pi, construisent des appareils propulsés par des SoC Rockchip. Ces cartes sont populaires pour l'IA en périphérie et les applications de vision par ordinateur car elles offrent un équilibre entre performances, efficacité énergétique et prix abordable.

Fig 1. Un exemple d'appareil alimenté par Rockchip.

Pour aider les modèles d'IA à s'exécuter efficacement sur ces appareils, Rockchip fournit le RKNN (Rockchip Neural Network) Toolkit. Il permet aux développeurs de convertir et d'optimiser des modèles de deep learning pour utiliser les unités de traitement neuronal (NPU) de Rockchip.

Les modèles RKNN sont optimisés pour une inférence à faible latence et une consommation d'énergie efficace. En convertissant les modèles en RKNN, les développeurs peuvent atteindre des vitesses de traitement plus rapides, une consommation d'énergie réduite et une efficacité améliorée sur les appareils propulsés par Rockchip.

Link to this sectionLes modèles RKNN sont optimisés#

Examinons de plus près comment les modèles RKNN améliorent les performances de l'IA sur les appareils compatibles Rockchip.

Contrairement aux CPU et GPU, qui gèrent un large éventail de tâches informatiques, les NPU de Rockchip sont conçus spécifiquement pour le deep learning. En convertissant les modèles d'IA au format RKNN, les développeurs peuvent exécuter des inférences directement sur le NPU. Cela rend les modèles RKNN particulièrement utiles pour les tâches de vision par ordinateur en temps réel, où un traitement rapide et efficace est essentiel.

Les NPU sont plus rapides et plus efficaces que les CPU et GPU pour les tâches d'IA car ils sont conçus pour gérer les calculs de réseaux neuronaux en parallèle. Alors que les CPU traitent les tâches une étape à la fois et que les GPU distribuent les charges de travail sur plusieurs cœurs, les NPU sont optimisés pour effectuer des calculs spécifiques à l'IA de manière plus efficace.

Par conséquent, les modèles RKNN s'exécutent plus rapidement et consomment moins d'énergie, ce qui les rend idéaux pour les appareils alimentés par batterie, les caméras intelligentes, l'automatisation industrielle et d'autres applications d'IA en périphérie qui nécessitent une prise de décision en temps réel.

Link to this sectionAperçu des modèles Ultralytics YOLO#

Les modèles Ultralytics YOLO (You Only Look Once) sont conçus pour des tâches de vision par ordinateur en temps réel telles que la détection d'objets, la segmentation d'instances et la classification d'images. Ils sont reconnus pour leur vitesse, leur précision et leur efficacité, et sont largement utilisés dans des secteurs comme l'agriculture, l'industrie manufacturière, la santé et les systèmes autonomes.

Ces modèles se sont considérablement améliorés au fil du temps. Par exemple, Ultralytics YOLOv5 a rendu la détection d'objets plus facile à utiliser avec PyTorch. Ensuite, Ultralytics YOLOv8 a ajouté de nouvelles fonctionnalités comme l'estimation de pose et la classification d'images. Maintenant, YOLO11 va encore plus loin en augmentant la précision tout en utilisant moins de ressources. En fait, YOLO11m offre de meilleures performances sur le jeu de données COCO tout en utilisant 22 % de paramètres en moins que YOLOv8m, ce qui le rend à la fois plus précis et plus efficace.

Fig 2. Détection d'objets utilisant YOLO11.

Les modèles Ultralytics YOLO prennent également en charge l'exportation vers de multiples formats, permettant un déploiement flexible sur différentes plateformes. Ces formats incluent ONNX, TensorRT, CoreML et OpenVINO, donnant aux développeurs la liberté d'optimiser les performances en fonction de leur matériel cible.

Grâce à la prise en charge ajoutée pour l'exportation de YOLO11 au format de modèle RKNN, YOLO11 peut désormais tirer parti des NPU de Rockchip. Le plus petit modèle, YOLO11n au format RKNN, atteint un temps d'inférence impressionnant de 99,5 ms par image, permettant un traitement en temps réel même sur des appareils embarqués.

Link to this sectionExporter ton modèle YOLO11 au format RKNN#

Actuellement, les modèles de détection d'objets YOLO11 peuvent être exportés au format RKNN. Reste à l'écoute : nous travaillons à l'ajout de la prise en charge d'autres tâches de vision par ordinateur et de la quantification INT8 dans de futures mises à jour.

L'exportation de YOLO11 vers le format RKNN est un processus simple. Tu peux charger ton modèle YOLO11 entraîné sur mesure, spécifier la plateforme Rockchip cible et le convertir au format RKNN avec quelques lignes de code. Le format RKNN est compatible avec divers SoC Rockchip, notamment RK3588, RK3566 et RK3576, garantissant une large prise en charge matérielle.

Fig 3. Exportation de YOLO11 au format de modèle RKNN.

Link to this sectionDéploiement de YOLO11 sur des appareils basés sur Rockchip#

Une fois exporté, le modèle RKNN peut être déployé sur des appareils basés sur Rockchip. Pour déployer le modèle, il te suffit de charger le fichier RKNN exporté sur ton appareil Rockchip et d'exécuter l'inférence – le processus consistant à utiliser le modèle d'IA entraîné pour analyser de nouvelles images ou vidéos et détecter des objets en temps réel. Avec juste quelques lignes de code, tu peux commencer à identifier des objets à partir d'images ou de flux vidéo.

Fig 4. Exécution d'une inférence en utilisant le modèle RKNN exporté.

Link to this sectionApplications d'IA en périphérie de YOLO11 et Rockchip#

Pour mieux comprendre où YOLO11 peut être déployé sur des appareils compatibles Rockchip dans le monde réel, passons en revue quelques applications clés de l'IA en périphérie.

Les processeurs Rockchip sont largement utilisés dans les tablettes Android, les cartes de développement et les systèmes d'IA industriels. Avec la prise en charge d'Android, Linux et Python, tu peux facilement créer et déployer des solutions basées sur l'IA visuelle pour une variété d'industries.

Link to this sectionTablettes durcies intégrées avec YOLO11#

Une application courante qui implique l'exécution de YOLO11 sur des appareils propulsés par Rockchip concerne les tablettes durcies. Ce sont des tablettes durables et performantes conçues pour des environnements difficiles comme les entrepôts, les chantiers de construction et les environnements industriels. Ces tablettes peuvent tirer parti de la détection d'objets pour améliorer l'efficacité et la sécurité.

Par exemple, dans la logistique d'entrepôt, les travailleurs peuvent utiliser une tablette propulsée par Rockchip avec YOLO11 pour scanner et détecter automatiquement les stocks, réduisant l'erreur humaine et accélérant les temps de traitement. De même, sur les chantiers de construction, ces tablettes peuvent être utilisées pour détecter si les travailleurs portent l'équipement de sécurité requis, comme des casques et des gilets, aidant les entreprises à appliquer les réglementations et à prévenir les accidents.

Fig 5. Détection d'équipement de sécurité utilisant YOLO11.

Link to this sectionIA industrielle pour le contrôle qualité#

En ce qui concerne la fabrication et l'automatisation, les cartes industrielles propulsées par Rockchip peuvent jouer un rôle majeur dans le contrôle qualité et la surveillance des processus. Une carte industrielle est un module informatique compact et performant conçu pour les systèmes embarqués dans des environnements industriels. Ces cartes incluent généralement des processeurs, de la mémoire, des interfaces d'E/S et des options de connectivité qui peuvent s'intégrer avec des capteurs, des caméras et des machines automatisées.

L'exécution de modèles YOLO11 sur ces cartes permet d'analyser les lignes de production en temps réel, en repérant les problèmes instantanément et en améliorant l'efficacité. Par exemple, dans la construction automobile, un système d'IA utilisant du matériel Rockchip et YOLO11 peut détecter des rayures, des pièces mal alignées ou des défauts de peinture à mesure que les voitures avancent sur la chaîne de montage. En identifiant ces défauts en temps réel, les fabricants peuvent réduire le gaspillage, diminuer les coûts de production et garantir des normes de qualité plus élevées avant que les véhicules n'atteignent les clients.

Link to this sectionAvantages de l'exécution de YOLO11 sur des appareils basés sur Rockchip#

Les appareils basés sur Rockchip offrent un bon équilibre entre performances, coût et efficacité, ce qui en fait un excellent choix pour déployer YOLO11 dans des applications d'IA en périphérie.

Voici quelques avantages de l'exécution de YOLO11 sur des appareils basés sur Rockchip :

• Performances IA améliorées : Les appareils compatibles Rockchip gèrent l'inférence IA plus efficacement que les cartes basées sur CPU comme Raspberry Pi, offrant une détection d'objets plus rapide et une latence plus faible.
• Solution rentable : Si tu expérimentes avec l'IA et que tu as besoin d'une option économique qui offre tout de même des performances puissantes, Rockchip est une excellente option. Il offre un moyen abordable d'exécuter YOLO11 sans compromettre la vitesse ou l'efficacité.
• Efficacité énergétique : L'exécution de modèles de vision par ordinateur sur des appareils propulsés par Rockchip consomme moins d'énergie que les GPU, ce qui les rend idéaux pour les appareils fonctionnant sur batterie et les applications d'IA embarquées.

Link to this sectionPoints clés#

Ultralytics YOLO11 peut s'exécuter efficacement sur des appareils basés sur Rockchip en tirant parti de l'accélération matérielle et du format RKNN. Cela réduit le temps d'inférence et améliore les performances, ce qui le rend idéal pour les tâches de vision par ordinateur en temps réel et les applications d'IA en périphérie.

Le RKNN Toolkit fournit des outils d'optimisation clés comme la quantification et le réglage fin, garantissant que les modèles YOLO11 fonctionnent bien sur les plateformes Rockchip. L'optimisation des modèles pour un traitement efficace sur l'appareil sera essentielle à mesure que l'adoption de l'IA en périphérie augmentera. Avec les bons outils et le bon matériel, les développeurs peuvent débloquer de nouvelles possibilités pour les solutions de vision par ordinateur dans diverses industries.

Rejoins notre communauté et explore notre dépôt GitHub pour en savoir plus sur l'IA. Vois comment la vision par ordinateur dans l'agriculture et l'IA dans la santé stimulent l'innovation en visitant nos pages de solutions. Consulte également nos options de licence pour commencer à construire tes solutions de vision par IA dès aujourd'hui !