12 février 2025
Découvrez comment déployer Ultralytics YOLO11 sur Rockchip à l'aide du RKNN Toolkit pour une IA en périphérie efficace, une accélération de l'IA et une détection d'objets en temps réel.
Un mot à la mode récent dans la communauté de l'IA est l'IA en périphérie, en particulier en ce qui concerne la vision par ordinateur. Avec la croissance des applications basées sur l'IA, il est de plus en plus nécessaire d'exécuter efficacement des modèles sur des appareils embarqués avec une puissance et des ressources informatiques limitées.
Par exemple, les drones utilisent la Vision IA pour la navigation en temps réel, les caméras intelligentes détectent instantanément les objets et les systèmes d'automatisation industrielle effectuent un contrôle qualité sans dépendre du cloud computing. Ces applications nécessitent un traitement IA rapide et efficace directement sur les appareils edge pour garantir des performances en temps réel et une faible latence. Cependant, l'exécution de modèles d'IA sur des appareils edge n'est pas toujours facile. Les modèles d'IA nécessitent souvent plus de puissance et de mémoire que ce que de nombreux appareils edge peuvent supporter.
Le RKNN Toolkit de Rockchip aide à résoudre ce problème en optimisant les modèles d'apprentissage profond pour les appareils alimentés par Rockchip. Il utilise des unités de traitement neuronal (NPU) dédiées pour accélérer l'inférence, réduisant ainsi la latence et la consommation d'énergie par rapport au traitement CPU ou GPU.
La communauté Vision AI est impatiente d'exécuter Ultralytics YOLO11 sur des appareils basés sur Rockchip, et nous vous avons entendu. Nous avons ajouté la prise en charge de l'exportation de YOLO11 au format de modèle RKNN. Dans cet article, nous allons explorer le fonctionnement de l'exportation vers RKNN et pourquoi le déploiement de YOLO11 sur des appareils alimentés par Rockchip change la donne.
Rockchip est une entreprise qui conçoit des systèmes sur puce (SoC) - des processeurs minuscules mais puissants qui font fonctionner de nombreux appareils embarqués. Ces puces combinent un CPU, un GPU et une unité de traitement neuronal (NPU) pour gérer toutes les tâches, du calcul général aux applications de Vision IA qui reposent sur la détection d'objets et le traitement d'image.
Les SoC Rockchip sont utilisés dans une variété d'appareils, y compris les ordinateurs monocartes (SBC), les cartes de développement, les systèmes d'IA industriels et les caméras intelligentes. De nombreux fabricants de matériel bien connus, Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas et Banana Pi, construisent des appareils alimentés par des SoC Rockchip. Ces cartes sont populaires pour l'IA en périphérie et les applications de vision par ordinateur, car elles offrent un équilibre entre performances, efficacité énergétique et prix abordable.
Pour aider les modèles d'IA à fonctionner efficacement sur ces appareils, Rockchip fournit le RKNN (Rockchip Neural Network) Toolkit. Il permet aux développeurs de convertir et d'optimiser les modèles d'apprentissage profond afin d'utiliser les unités de traitement neuronal (NPU) de Rockchip.
Les modèles RKNN sont optimisés pour une inférence à faible latence et une utilisation efficace de l'énergie. En convertissant les modèles en RKNN, les développeurs peuvent obtenir des vitesses de traitement plus rapides, une consommation d'énergie réduite et une efficacité améliorée sur les appareils alimentés par Rockchip.
Examinons de plus près comment les modèles RKNN améliorent les performances de l'IA sur les appareils équipés de Rockchip.
Contrairement aux CPU et GPU, qui gèrent un large éventail de tâches informatiques, les NPU de Rockchip sont conçus spécifiquement pour l'apprentissage profond. En convertissant les modèles d'IA au format RKNN, les développeurs peuvent exécuter des inférences directement sur le NPU. Cela rend les modèles RKNN particulièrement utiles pour les tâches de vision par ordinateur en temps réel, où un traitement rapide et efficace est essentiel.
Les NPU sont plus rapides et plus efficaces que les CPU et les GPU pour les tâches d'IA, car ils sont conçus pour traiter les calculs de réseaux neuronaux en parallèle. Alors que les CPU traitent les tâches une étape à la fois et que les GPU répartissent les charges de travail sur plusieurs cœurs, les NPU sont optimisés pour effectuer des calculs spécifiques à l'IA plus efficacement.
Par conséquent, les modèles RKNN fonctionnent plus rapidement et consomment moins d'énergie, ce qui les rend idéaux pour les appareils alimentés par batterie, les caméras intelligentes, l'automatisation industrielle et d'autres applications d'IA en périphérie qui nécessitent une prise de décision en temps réel.
Les modèles Ultralytics YOLO (You Only Look Once) sont conçus pour les tâches de vision par ordinateur en temps réel telles que la détection d'objets, la segmentation d'instances et la classification d'images. Ils sont connus pour leur vitesse, leur précision et leur efficacité, et sont largement utilisés dans des secteurs tels que l'agriculture, la fabrication, la santé et les systèmes autonomes.
Ces modèles se sont considérablement améliorés au fil du temps. Par exemple, YOLOv5 d'Ultralytics a facilité l'utilisation de la détection d'objets avec PyTorch. Ensuite, YOLOv8 d'Ultralytics a ajouté de nouvelles fonctionnalités telles que l'estimation de pose et la classification d'images. Désormais, YOLO11 va encore plus loin en augmentant la précision tout en utilisant moins de ressources. En fait, YOLO11m offre de meilleures performances sur l'ensemble de données COCO tout en utilisant 22 % de paramètres en moins que YOLOv8m, ce qui le rend à la fois plus précis et plus efficace.
Les modèles Ultralytics YOLO prennent également en charge l'exportation vers de multiples formats, permettant un déploiement flexible sur différentes plateformes. Ces formats incluent ONNX, TensorRT, CoreML et OpenVINO, donnant aux développeurs la liberté d'optimiser les performances en fonction de leur matériel cible.
Grâce à la prise en charge supplémentaire de l'exportation de YOLO11 au format de modèle RKNN, YOLO11 peut désormais tirer parti des NPU de Rockchip. Le plus petit modèle, YOLO11n au format RKNN, atteint un temps d'inférence impressionnant de 99,5 ms par image, ce qui permet un traitement en temps réel, même sur les appareils embarqués.
Actuellement, les modèles de détection d'objets YOLO11 peuvent être exportés au format RKNN. De plus, restez à l'écoute - nous travaillons à l'ajout de la prise en charge des autres tâches de vision par ordinateur et de la quantification INT8 dans les futures mises à jour.
L'exportation de YOLO11 au format RKNN est un processus simple. Vous pouvez charger votre modèle YOLO11 personnalisé entraîné, spécifier la plateforme cible Rockchip et le convertir au format RKNN avec quelques lignes de code. Le format RKNN est compatible avec divers SoC Rockchip, notamment RK3588, RK3566 et RK3576, assurant une large prise en charge matérielle.
Une fois exporté, le modèle RKNN peut être déployé sur des appareils basés sur Rockchip. Pour déployer le modèle, il suffit de charger le fichier RKNN exporté sur votre appareil Rockchip et d'exécuter l'inférence, c'est-à-dire le processus d'utilisation du modèle d'IA entraîné pour analyser de nouvelles images ou vidéos et détecter des objets en temps réel. Avec seulement quelques lignes de code, vous pouvez commencer à identifier des objets à partir d'images ou de flux vidéo.
Pour mieux comprendre où YOLO11 peut être déployé sur des appareils compatibles Rockchip dans le monde réel, examinons quelques applications clés de l'IA en périphérie.
Les processeurs Rockchip sont largement utilisés dans les tablettes Android, les cartes de développement et les systèmes d'IA industriels. Grâce à la prise en charge d'Android, de Linux et de Python, vous pouvez facilement créer et déployer des solutions basées sur la Vision IA pour divers secteurs.
Une application courante qui implique l'exécution de YOLO11 sur des appareils Rockchip est celle des tablettes robustes. Ce sont des tablettes durables et performantes, conçues pour les environnements difficiles tels que les entrepôts, les chantiers de construction et les sites industriels. Ces tablettes peuvent tirer parti de la détection d'objets pour améliorer l'efficacité et la sécurité.
Par exemple, dans la logistique d'entrepôt, les travailleurs peuvent utiliser une tablette alimentée par Rockchip avec YOLO11 pour scanner et détecter automatiquement l'inventaire, réduisant ainsi les erreurs humaines et accélérant les temps de traitement. De même, sur les chantiers de construction, ces tablettes peuvent être utilisées pour détecter si les travailleurs portent l'équipement de sécurité requis, comme des casques et des gilets, aidant ainsi les entreprises à faire respecter les réglementations et à prévenir les accidents.
En ce qui concerne la fabrication et l'automatisation, les cartes industrielles alimentées par Rockchip peuvent jouer un rôle important dans le contrôle de la qualité et la surveillance des processus. Une carte industrielle est un module informatique compact et performant conçu pour les systèmes embarqués dans les environnements industriels. Ces cartes comprennent généralement des processeurs, de la mémoire, des interfaces d'E/S et des options de connectivité qui peuvent s'intégrer à des capteurs, des caméras et des machines automatisées.
L'exécution des modèles YOLO11 sur ces cartes permet d'analyser les chaînes de production en temps réel, de repérer instantanément les problèmes et d'améliorer l'efficacité. Par exemple, dans la fabrication automobile, un système d'IA utilisant le matériel Rockchip et YOLO11 peut détecter les rayures, les pièces mal alignées ou les défauts de peinture au fur et à mesure que les voitures avancent sur la chaîne de montage. En identifiant ces défauts en temps réel, les fabricants peuvent réduire les déchets, diminuer les coûts de production et garantir des normes de qualité plus élevées avant que les véhicules n'atteignent les clients.
Les appareils basés sur Rockchip offrent un bon équilibre entre performances, coût et efficacité, ce qui en fait un excellent choix pour déployer YOLO11 dans les applications d'IA en périphérie.
Voici quelques avantages de l'exécution de YOLO11 sur des appareils basés sur Rockchip :
Ultralytics YOLO11 peut fonctionner efficacement sur des appareils basés sur Rockchip en tirant parti de l'accélération matérielle et du format RKNN. Cela réduit le temps d'inférence et améliore les performances, ce qui le rend idéal pour les tâches de vision par ordinateur en temps réel et les applications d'IA en périphérie.
Le RKNN Toolkit fournit des outils d'optimisation clés tels que la quantification et le fine-tuning, garantissant ainsi que les modèles YOLO11 fonctionnent bien sur les plateformes Rockchip. L'optimisation des modèles pour un traitement efficace sur les appareils sera essentielle à mesure que l'adoption de l'IA en périphérie se développera. Avec les bons outils et le bon matériel, les développeurs peuvent ouvrir de nouvelles perspectives pour les solutions de vision par ordinateur dans divers secteurs.
Rejoignez notre communauté et explorez notre dépôt GitHub pour en savoir plus sur l'IA. Découvrez comment la vision par ordinateur dans l'agriculture et l'IA dans le secteur de la santé stimulent l'innovation en consultant nos pages de solutions. Consultez également nos options de licence pour commencer à créer vos solutions d'IA de vision dès aujourd'hui !
.webp)