Renforcer l'Edge AI avec Sony IMX500 et AITRIOS

Edge AI permet aux modèles d'intelligence artificielle (IA) de fonctionner directement sur des appareils tels que les smartphones, les caméras et les drones. Son principal avantage est qu'il prend en charge une prise de décision plus rapide et en temps réel sans dépendre du cloud. En fait, des études montrent que l'utilisation de l'IA sur des plateformes de périphérie peut augmenter l'efficacité opérationnelle jusqu'à 40 %.

Des avancées récentes dans l'edge AI, en particulier dans la vision par ordinateur, en ont fait un sujet central lors de YOLO Vision 2024 (YV24), l'événement hybride annuel d'Ultralytics qui rassemble les passionnés et les experts de l'IA pour explorer les dernières nouveautés en matière de Vision AI. L'un des moments forts de l'événement a été la présentation principale de Sony, où ils ont présenté leurs nouvelles solutions logicielles et de matériel d'IA de pointe. Le capteur IMX500 et la plateforme AITRIOS ont été présentés, et Sony a démontré comment ces innovations facilitent et optimisent le déploiement des modèles Ultralytics YOLO tels que Ultralytics YOLO11 et Ultralytics YOLOv8 en périphérie.

La session a été animée par Wei Tang, responsable du développement commercial spécialisée dans les solutions d'imagerie de Sony, et Amir Servi, chef de produit Deep Learning en périphérie possédant une expertise dans le déploiement de modèles de deep learning sur des appareils de périphérie.

Dans cet article, nous revenons sur la conférence de Sony au YV24 et explorons comment le capteur IMX500 et la plateforme AITRIOS optimisent l'utilisation des modèles YOLO pour un traitement IA on-edge plus rapide et en temps réel. Commençons !

La vision de Sony : Démocratiser l'IA sur les appareils edge#

Wei Tang a ouvert la session en parlant de l'objectif de Sony de rendre l'edge AI aussi accessible qu'ils l'ont fait avec la photographie il y a des années. Elle a souligné comment Sony se concentre désormais sur l'apport d'une Vision AI avancée à un plus grand nombre de personnes grâce à l'edge computing. L'un des facteurs moteurs derrière cela est l'impact positif que l'edge AI peut avoir sur l'environnement. En traitant les données directement sur les appareils au lieu de dépendre de centres de données massifs, l'edge computing aide à réduire la consommation d'énergie et les émissions de carbone. C'est une approche plus intelligente et plus écologique qui s'intègre parfaitement dans l'engagement de Sony à construire une technologie qui non seulement fonctionne mieux, mais aide également à créer un avenir plus durable.

Wei a poursuivi en expliquant comment Sony Semiconductor Solutions, la division de Sony spécialisée dans les technologies d'imagerie et de détection, crée des capteurs d'image avancés. Ces capteurs sont utilisés dans une variété d'appareils, convertissant la lumière en signaux électroniques pour capturer des images. Avec plus de 1,2 milliard de capteurs expédiés chaque année, on les trouve dans près de la moitié des téléphones mobiles du monde, faisant de Sony un acteur majeur de l'industrie de l'imagerie.

Fig 1. Exemples de capteurs d'image de Sony.

S'appuyant sur cette expertise, Sony va désormais plus loin en transformant ces capteurs d'appareils de capture d'images en outils intelligents capables de traiter les données en temps réel, permettant des analyses alimentées par l'IA directement sur les appareils. Avant de discuter des solutions matérielles et logicielles que Sony utilise pour soutenir ce changement, comprenons les défis de l'edge AI que ces innovations visent à résoudre.

Défis liés au traitement d'image IA sur les appareils edge#

Le développement de solutions d'edge AI comporte quelques défis clés, en particulier lors du travail avec des appareils tels que des caméras et des capteurs. Nombre de ces appareils ont une puissance et une capacité de traitement limitées, ce qui rend délicat l'exécution efficace de modèles d'IA avancés.

Voici quelques-unes des autres limitations principales :

• Complexité logicielle : Adapter les modèles d'IA pour qu'ils fonctionnent sur divers appareils de périphérie dotés de configurations matérielles différentes peut être complexe et nécessiter des ajustements et des optimisations.
• Goulots d'étranglement du post-traitement : Il y a souvent un délai lors du transfert de grandes quantités de données de l'appareil vers l'hôte pour le post-traitement. Cela consomme souvent plus de temps que l'inférence du modèle d'IA réel.
• Explosion des données : Avec de nombreux appareils IoT générant constamment des données, le volume de données qui doit être géré localement peut être écrasant, mettant davantage à l'épreuve les appareils de périphérie.

Découverte du capteur de vision intelligent Sony IMX500#

Le capteur de vision intelligent Sony IMX500 est un matériel révolutionnaire dans le traitement de l'edge AI. C'est le premier capteur de vision intelligent au monde doté de capacités d'IA sur puce. Ce capteur aide à surmonter de nombreux défis de l'edge AI, notamment les goulots d'étranglement du traitement des données, les préoccupations en matière de confidentialité et les limites de performance.

Alors que d'autres capteurs se contentent de transmettre des images et des cadres, l'IMX500 raconte toute une histoire. Il traite les données directement sur le capteur, permettant aux appareils de générer des analyses en temps réel. Pendant la session, Wei Tang a déclaré : « En tirant parti de notre technologie de capteur d'image avancée, nous visons à autonomiser une nouvelle génération d'applications capables d'améliorer la vie quotidienne. » L'IMX500 est conçu pour atteindre cet objectif, transformant la façon dont les appareils gèrent les données directement sur le capteur, sans avoir besoin de les envoyer dans le cloud pour traitement.

Voici quelques-unes de ses fonctionnalités clés :

• Sortie de métadonnées : Au lieu d'envoyer des images complètes, il produit des métadonnées, réduisant considérablement la taille des données, ce qui diminue l'utilisation de la bande passante et les coûts.
• Confidentialité améliorée : En traitant les données sur l'appareil, l'IMX500 améliore la confidentialité, en particulier dans les situations où des informations sensibles sont impliquées, telles que les tâches de vision par ordinateur liées à l'humain comme le comptage de personnes.
• Traitement en temps réel : La capacité du capteur à traiter rapidement les données signifie qu'il prend en charge une prise de décision rapide en temps réel qui permet des applications d'edge AI telles que les systèmes autonomes.

L'IMX500 n'est pas seulement un capteur de caméra : c'est un outil de détection puissant qui transforme la façon dont les appareils perçoivent et interagissent avec le monde qui les entoure. En intégrant l'IA directement dans le capteur, Sony rend l'edge AI plus accessible pour des industries telles que l'automobile, la santé et les villes intelligentes. Dans les sections suivantes, nous examinerons plus en détail comment l'IMX500 fonctionne avec les modèles Ultralytics YOLO pour améliorer la détection d'objets et le traitement des données sur les appareils de périphérie.

Fig 2. Wei Tang sur scène au YOLO Vision 2024 présentant le capteur de vision intelligent Sony IMX500.

La plateforme AITRIOS de Sony : Simplifier l'Edge AI#

Après avoir présenté le capteur IMX500, Wei Tang a exprimé que si le matériel est crucial, il ne suffit pas à lui seul pour relever toute l'étendue des défis liés au déploiement de l'IA en périphérie. Elle a expliqué comment l'intégration de l'IA sur des appareils tels que des caméras et des capteurs nécessite plus qu'un simple matériel avancé ; elle a besoin d'un logiciel intelligent pour le gérer. C'est là qu'intervient la plateforme AITRIOS de Sony, offrant une solution logicielle fiable conçue pour rendre le déploiement de l'IA sur les appareils de périphérie plus simple et plus efficace.

AITRIOS agit comme un pont entre les modèles d'IA complexes et les limitations des appareils de périphérie. Il fournit aux développeurs une gamme d'outils pour déployer rapidement des modèles d'IA pré-entraînés. Mais plus important encore, il prend en charge un réentraînement continu afin que les modèles d'IA puissent rester adaptables aux changements du monde réel.

Wei a également souligné comment AITRIOS simplifie le processus pour ceux qui n'ont pas une profonde expertise en IA, offrant la flexibilité de personnaliser les modèles d'IA pour des cas d'utilisation spécifiques d'edge AI. Il s'attaque également aux défis courants tels que les contraintes de mémoire et les baisses de performance, facilitant l'intégration de l'IA dans les petits appareils sans sacrifier la précision ou la vitesse.

Fig 3. Exemples de cas d'utilisation de l'Edge AI. Source image : SONY Semicon | AITRIOS.

Optimiser les modèles YOLO sur l'IMX500#

Dans la seconde partie de la présentation, le micro a été passé à Amir, qui a plongé dans le côté technique de la façon dont Sony a optimisé les modèles YOLO sur le capteur IMX500.

Amir a commencé par dire : « Les modèles YOLO activent la périphérie et sont assez faciles à optimiser, grâce à Glenn et à l'équipe. Je vais vous en convaincre, ne vous inquiétez pas. » Amir a ensuite expliqué que si une grande attention est généralement accordée à l'optimisation du modèle d'IA lui-même, cette approche néglige souvent une préoccupation cruciale : les goulots d'étranglement du post-traitement.

Amir a souligné que dans de nombreux cas, une fois que le modèle d'IA a terminé sa tâche, le processus de transfert des données et de gestion du post-traitement sur un appareil hôte peut entraîner des retards importants. Ce transfert de données aller-retour entre l'appareil et l'hôte introduit de la latence, ce qui peut être un obstacle majeur à l'obtention des meilleures performances.

Fig 4. Amir Servi sur scène au YOLO Vision 2024 expliquant les goulots d'étranglement du post-traitement.

Pour y remédier, Amir a souligné l'importance d'examiner l'ensemble du système de bout en bout, plutôt que de se concentrer uniquement sur le modèle d'IA. Avec le capteur IMX500, ils ont découvert que le post-traitement était le principal goulot d'étranglement ralentissant tout. Il a partagé que la véritable percée a été de débloquer la non-maximum suppression (NMS) sur puce.

Cela a permis au post-traitement de se dérouler directement sur le capteur, éliminant le besoin de transférer de grandes quantités de données vers un appareil hôte. En exécutant la NMS directement sur l'IMX500, Sony a brisé ce qu'Amir appelait le "plafond de verre du post-traitement", atteignant une bien meilleure performance et une réduction de la latence.

Fig 5. Surmonter le goulot d'étranglement du post-traitement. Source image : SONY Semicon | AITRIOS

Ensuite, nous allons voir comment cette innovation a aidé les modèles YOLO, en particulier Ultralytics YOLOv8 Nano, à s'exécuter plus efficacement sur les appareils de périphérie, créant ainsi de nouvelles opportunités pour le traitement d'IA en temps réel sur du matériel plus petit et limité en ressources.

Les modèles Ultralytics YOLOv8 atteignent un gain de vitesse de 4x avec l'IMX500 de Sony#

Pour conclure la présentation sur une note positive, Amir a démontré comment vous avez pu quadrupler les performances du modèle Ultralytics YOLOv8 Nano en exécutant NMS en périphérie. Il a fait une démonstration sur un Raspberry Pi 5, intégré au capteur d'IA IMX500. Amir a comparé les performances lorsque le post-traitement était géré sur un appareil hôte par rapport à la puce IMX500.

Les résultats ont clairement montré une amélioration majeure des images par seconde (FPS) et de l'efficacité globale lorsque le traitement était effectué sur puce. L'optimisation a rendu la détection d'objets plus rapide et plus fluide, et a également démontré la praticité du traitement de l'IA en temps réel sur des appareils plus petits et aux ressources limitées tels que le Raspberry Pi.

Points clés#

Le capteur IMX500 de Sony, la plateforme AITRIOS et les modèles Ultralytics YOLO remodèlent le développement de l'Edge AI. Le traitement de l'IA sur la puce réduit le transfert de données et la latence tout en améliorant la confidentialité, la sécurité et l'efficacité. En se concentrant sur l'ensemble du système, et non uniquement sur le modèle d'IA, ces innovations rendent l'Edge AI plus accessible aux développeurs et à ceux qui n'ont pas une expertise approfondie en IA. À mesure que la technologie Edge AI continue de progresser, elle permettra probablement des appareils plus intelligents, une prise de décision plus rapide et des protections de confidentialité plus fortes dans un large éventail d'industries et d'applications.

Reste connecté avec notre communauté pour continuer à en apprendre davantage sur l'IA ! Consulte notre répertoire GitHub pour découvrir comment nous pouvons utiliser l'IA afin de créer des solutions innovantes dans divers secteurs tels que l'agriculture et la fabrication. 🚀