Renforcer l'Edge AI avec Sony IMX500 et AITRIOS

L'Edge AI permet aux modèles d'intelligence artificielle (IA) de fonctionner directement sur des appareils tels que les smartphones, les caméras et les drones. Son avantage majeur est qu'il prend en charge une prise de décision plus rapide et en temps réel sans dépendre du cloud. En fait, des études montrent que l'utilisation de l'IA sur les plateformes edge peut augmenter l'efficacité opérationnelle jusqu'à 40 %.

Des avancées récentes dans l'Edge AI, en particulier dans la vision par ordinateur, en ont fait un sujet central lors du YOLO Vision 2024 (YV24), l'événement hybride annuel d'Ultralytics qui rassemble les passionnés et les experts de l'IA pour explorer les dernières nouveautés en Vision AI. L'un des moments forts a été la présentation keynote de Sony, où ils ont dévoilé leur nouveau matériel d'IA de pointe et leurs solutions logicielles. Le capteur IMX500 et la plateforme AITRIOS ont été mis à l'honneur, et Sony a démontré comment ces innovations facilitent et rendent plus efficace le déploiement des modèles Ultralytics YOLO comme Ultralytics YOLO11 et Ultralytics YOLOv8 sur l'edge.

La session était dirigée par Wei Tang, responsable du développement commercial axé sur les solutions d'imagerie de Sony, et Amir Servi, chef de produit Edge Deep Learning, expert dans le déploiement de modèles de deep learning sur des appareils edge.

Dans cet article, nous revenons sur la conférence de Sony au YV24 et explorons comment le capteur IMX500 et la plateforme AITRIOS optimisent l'utilisation des modèles YOLO pour un traitement IA on-edge plus rapide et en temps réel. Commençons !

Link to this sectionLa vision de Sony : Démocratiser l'IA sur les appareils edge#

Wei Tang a ouvert la session en parlant de l'objectif de Sony : rendre l'Edge AI aussi accessible qu'ils l'ont fait avec la photographie il y a des années. Elle a souligné comment Sony se concentre désormais sur l'apport de la Vision AI avancée à davantage de personnes via le edge computing. L'un des facteurs déterminants est l'impact positif que l'Edge AI peut avoir sur l'environnement. En traitant les données directement sur les appareils au lieu de dépendre de centres de données massifs, le edge computing aide à réduire la consommation d'énergie et les émissions de carbone. C'est une approche plus intelligente et plus écologique qui s'inscrit parfaitement dans l'engagement de Sony à construire une technologie non seulement plus performante, mais qui contribue aussi à créer un avenir plus durable.

Wei a ensuite expliqué comment Sony Semiconductor Solutions, la division de Sony spécialisée dans les technologies d'imagerie et de détection, crée des capteurs d'image avancés. Ces capteurs sont utilisés dans divers appareils, convertissant la lumière en signaux électroniques pour capturer des images. Avec plus de 1,2 milliard de capteurs expédiés chaque année, on les retrouve dans près de la moitié des téléphones mobiles du monde, faisant de Sony un acteur majeur de l'industrie de l'imagerie.

Fig 1. Exemples de capteurs d'image Sony.

Fort de cette expertise, Sony va plus loin en transformant ces capteurs, qui ne sont plus seulement des dispositifs de capture d'image, en outils intelligents capables de traiter les données en temps réel, permettant des insights basés sur l'IA directement sur les appareils. Avant d'aborder les solutions matérielles et logicielles que Sony utilise pour soutenir ce changement, comprenons les défis de l'Edge AI que ces innovations visent à résoudre.

Link to this sectionDéfis liés au traitement d'image IA sur les appareils edge#

Le développement de solutions Edge AI s'accompagne de quelques défis clés, surtout lorsqu'on travaille avec des appareils comme les caméras et les capteurs. Bon nombre de ces appareils ont une puissance et une capacité de traitement limitées, ce qui rend difficile l'exécution efficace de modèles d'IA avancés.

Voici quelques-unes des autres limitations principales :

• Complexité logicielle : Adapter les modèles d'IA pour qu'ils fonctionnent sur divers appareils edge avec différentes configurations matérielles peut être complexe et nécessiter des ajustements et des optimisations.
• Goulots d'étranglement du post-traitement : Il y a souvent un délai lors du transfert de grandes quantités de données de l'appareil vers l'hôte pour le post-traitement. Cela consomme souvent plus de temps que l'inférence du modèle d'IA proprement dite.
• Explosion des données : Avec de nombreux appareils IoT générant constamment des données, le volume de données à traiter localement peut être écrasant, sollicitant davantage les appareils edge.

Link to this sectionDécouverte du capteur de vision intelligent Sony IMX500#

Le capteur de vision intelligent Sony IMX500 est un matériel révolutionnaire dans le traitement Edge AI. C'est le premier capteur de vision intelligent au monde doté de capacités d'IA intégrées sur la puce. Ce capteur aide à surmonter de nombreux défis de l'Edge AI, notamment les goulots d'étranglement du traitement des données, les problèmes de confidentialité et les limitations de performance.

Alors que d'autres capteurs se contentent de transmettre des images et des trames, l'IMX500 raconte toute une histoire. Il traite les données directement sur le capteur, permettant aux appareils de générer des insights en temps réel. Durant la session, Wei Tang a déclaré : "En tirant parti de notre technologie avancée de capteur d'image, nous visons à autonomiser une nouvelle génération d'applications capables d'améliorer la vie quotidienne." L'IMX500 est conçu pour atteindre cet objectif, transformant la façon dont les appareils gèrent les données directement sur le capteur, sans avoir besoin de les envoyer au cloud pour traitement.

Voici quelques-unes de ses fonctionnalités clés :

• Sortie de métadonnées : Au lieu d'envoyer des images complètes, il produit des métadonnées, réduisant considérablement la taille des données, ce qui diminue l'utilisation de la bande passante et les coûts.
• Confidentialité renforcée : En traitant les données sur l'appareil, l'IMX500 améliore la confidentialité, particulièrement dans les situations où des informations sensibles sont impliquées, comme pour les tâches de vision par ordinateur liées aux personnes, telles que le comptage de personnes.
• Traitement en temps réel : La capacité du capteur à traiter les données rapidement signifie qu'il prend en charge une prise de décision rapide et en temps réel, ce qui permet des applications d'Edge AI comme les systèmes autonomes.

Le IMX500 n'est pas seulement un capteur de caméra, c'est un outil de détection puissant qui transforme la façon dont les appareils perçoivent et interagissent avec le monde qui les entoure. En intégrant l'IA directement dans le capteur, Sony rend l'edge AI plus accessible pour des secteurs comme l'automobile, la santé et les villes intelligentes. Dans les sections suivantes, nous approfondirons la manière dont le IMX500 fonctionne avec les modèles Ultralytics YOLO pour améliorer la détection d'objets et le traitement des données sur les appareils edge.

Fig 2. Wei Tang sur scène au YOLO Vision 2024 présentant le capteur de vision intelligent Sony IMX500.

Link to this sectionLa plateforme AITRIOS de Sony : Simplifier l'Edge AI#

Après avoir présenté le capteur IMX500, Wei Tang a souligné que même si le matériel est crucial, il ne suffit pas à lui seul pour répondre à l'ensemble des défis liés au déploiement d'IA sur le edge. Elle a expliqué comment l'intégration de l'IA sur des appareils comme les caméras et les capteurs nécessite bien plus qu'un matériel avancé - il faut un logiciel intelligent pour le gérer. C'est là qu'intervient la plateforme AITRIOS de Sony, offrant une solution logicielle fiable conçue pour rendre le déploiement de l'IA sur les appareils edge plus simple et plus efficace.

AITRIOS agit comme un pont entre les modèles d'IA complexes et les limitations des appareils edge. Il fournit aux développeurs une gamme d'outils pour déployer rapidement des modèles d'IA pré-entraînés. Mais surtout, il prend en charge le réentraînement continu pour que les modèles d'IA puissent rester adaptables aux changements du monde réel.

Wei a également souligné comment AITRIOS simplifie le processus pour ceux qui n'ont pas une expertise approfondie en IA, offrant la flexibilité de personnaliser les modèles d'IA pour des cas d'utilisation spécifiques d'Edge AI. Il s'attaque également aux défis courants comme les contraintes de mémoire et les baisses de performance, rendant plus facile l'intégration de l'IA dans des appareils plus petits sans sacrifier la précision ou la vitesse.

Fig 3. Exemples de cas d'utilisation de l'Edge AI. Source image : SONY Semicon | AITRIOS.

Link to this sectionOptimiser les modèles YOLO sur l'IMX500#

Dans la deuxième partie de la conférence, le micro a été passé à Amir, qui a plongé dans l'aspect technique de la façon dont Sony a optimisé les modèles YOLO sur le capteur IMX500.

Amir a commencé par dire : "Les modèles YOLO sont conçus pour l'edge et sont assez faciles à optimiser, grâce à Glenn et à l'équipe. Je vais vous en convaincre, ne vous inquiétez pas." Amir a ensuite expliqué que si une grande partie de l'attention se porte généralement sur l'optimisation du modèle d'IA lui-même, cette approche néglige souvent une préoccupation cruciale : les goulots d'étranglement du post-traitement.

Amir a souligné que dans de nombreux cas, une fois que le modèle d'IA termine sa tâche, le processus de transfert de données et de gestion du post-traitement sur un appareil hôte peut causer des retards importants. Ce transfert de données aller-retour entre l'appareil et l'hôte introduit une latence, ce qui peut être un obstacle majeur à l'obtention de la meilleure performance.

Fig 4. Amir Servi sur scène au YOLO Vision 2024 expliquant les goulots d'étranglement du post-traitement.

Pour y remédier, Amir a insisté sur l'importance de regarder l'ensemble du système de bout en bout, plutôt que de se concentrer uniquement sur le modèle d'IA. Avec le capteur IMX500, ils ont découvert que le post-traitement était le principal goulot d'étranglement ralentissant tout. Il a partagé que la véritable avancée était le déverrouillage de la non-maximum suppression (NMS) sur la puce.

Cela a permis au post-traitement de se dérouler directement sur le capteur, éliminant le besoin de transférer de grandes quantités de données vers un appareil hôte. En exécutant la NMS directement sur l'IMX500, Sony a brisé ce qu'Amir appelait le "plafond de verre du post-traitement", atteignant une bien meilleure performance et une réduction de la latence.

Fig 5. Surmonter le goulot d'étranglement du post-traitement. Source image : SONY Semicon | AITRIOS

Ensuite, nous verrons comment cette innovation a aidé les modèles YOLO, en particulier YOLOv8 Nano, à fonctionner plus efficacement sur les appareils edge, créant de nouvelles opportunités pour le traitement d'IA en temps réel sur du matériel plus petit et aux ressources limitées.

Link to this sectionLes modèles YOLOv8 atteignent un boost de vitesse x4 avec l'IMX500 de Sony#

Pour conclure la conférence sur une note positive, Amir a démontré comment ils ont réussi à quadrupler la performance du modèle YOLOv8 Nano en exécutant la NMS sur l'edge. Il a montré cela sur un Raspberry Pi 5, intégré au capteur d'IA IMX500. Amir a comparé la performance lorsque le post-traitement était géré sur un appareil hôte par rapport à la puce IMX500.

Les résultats ont clairement montré une amélioration majeure du nombre d'images par seconde (FPS) et de l'efficacité globale lorsque le traitement était effectué sur la puce. L'optimisation a rendu la détection d'objets plus rapide et plus fluide, et a également démontré la praticité du traitement d'IA en temps réel sur des appareils plus petits et aux ressources limitées comme le Raspberry Pi.

Link to this sectionPoints clés#

Le capteur IMX500 de Sony, la plateforme AITRIOS et les modèles Ultralytics YOLO remodèlent le développement de l'Edge AI. Le traitement de l'IA sur la puce réduit le transfert de données et la latence tout en améliorant la confidentialité, la sécurité et l'efficacité. En se concentrant sur l'ensemble du système, et non uniquement sur le modèle d'IA, ces innovations rendent l'Edge AI plus accessible aux développeurs et à ceux qui n'ont pas une expertise approfondie en IA. À mesure que la technologie Edge AI continue de progresser, elle permettra probablement des appareils plus intelligents, une prise de décision plus rapide et des protections de confidentialité plus fortes dans un large éventail d'industries et d'applications.

Restez en contact avec notre communauté pour continuer à en apprendre sur l'IA ! Consultez notre dépôt GitHub pour découvrir comment nous pouvons utiliser l'IA pour créer des solutions innovantes dans diverses industries comme l'agriculture et la fabrication. 🚀