L'IA en périphérie permet aux modèles d'intelligence artificielle (IA) de fonctionner directement sur des appareils tels que les téléphones intelligents, les caméras et les drones. Son principal avantage est qu'elle permet une prise de décision plus rapide et en temps réel sans dépendre du nuage. En fait, des études montrent que l'utilisation de l'IA sur les plateformes périphériques peut accroître l'efficacité opérationnelle jusqu'à 40 %. 

Les récentes avancées en matière d'IA de pointe, en particulier dans le domaine de la vision par ordinateur, en ont fait un sujet central lors de YOLO Vision 2024 (YV24), l'événement hybride annuel d'Ultralytics qui réunit des passionnés et des experts de l'IA pour explorer les dernières nouveautés en matière d'IA de vision. L'un des temps forts de l'événement a été la présentation de Sony, qui a exposé ses nouvelles solutions matérielles et logicielles de pointe en matière d'IA. Le capteur IMX500 et la plateforme AITRIOS ont été présentés, et Sony a démontré comment ces innovations facilitent et rendent plus efficace le déploiement des modèlesUltralytics YOLO tels que Ultralytics YOLO11 et Ultralytics YOLOv8 sur le bord.

La session était animée par Wei Tang, responsable du développement commercial, qui se concentre sur les solutions d'imagerie de Sony, et Amir Servi, chef de produit Edge Deep Learning, spécialisé dans le déploiement de modèles de deep learning sur des appareils périphériques. 

Dans cet article, nous reviendrons sur la présentation de Sony à l'YV24 et explorerons comment le capteur IMX500 et la plateforme AITRIOS optimisent l'utilisation des modèles YOLO pour un traitement de l'IA de pointe plus rapide et en temps réel. C'est parti !

La vision de Sony : démocratiser l’IA sur les appareils périphériques

Wei Tang a ouvert la session en parlant de l’objectif de Sony de rendre l’IA en périphérie aussi accessible qu’ils l’ont fait avec la photographie il y a des années. Elle a souligné à quel point Sony se concentre maintenant sur l’apport d’une IA de vision avancée à un plus grand nombre de personnes grâce à l’informatique en périphérie. L’un des facteurs déterminants à l’origine de cette situation est l’incidence positive que l’IA en périphérie peut avoir sur l’environnement. En traitant les données directement sur les appareils au lieu de dépendre d’énormes centres de données, l’informatique en périphérie contribue à réduire la consommation d’énergie et les émissions de carbone. Il s’agit d’une approche plus intelligente et plus écologique qui s’inscrit parfaitement dans l’engagement de Sony à créer une technologie qui non seulement fonctionne mieux, mais qui contribue également à créer un avenir plus durable.

Wei a ensuite expliqué comment Sony Semiconductor Solutions, la division de Sony spécialisée dans les technologies d'imagerie et de détection, crée des capteurs d'image avancés. Ces capteurs sont utilisés dans une variété d'appareils, convertissant la lumière en signaux électroniques pour capturer des images. Avec plus de 1,2 milliard de capteurs expédiés chaque année, on les trouve dans près de la moitié des téléphones mobiles du monde, ce qui fait de Sony un acteur majeur de l'industrie de l'imagerie. 

‍

Fort de cette expertise, Sony va maintenant plus loin en transformant ces capteurs d'appareils de capture d'images en outils intelligents capables de traiter les données en temps réel, permettant ainsi des informations basées sur l'IA directement sur les appareils. Avant de discuter des solutions matérielles et logicielles que Sony utilise pour soutenir ce changement, comprenons les défis de l'IA en périphérie que ces innovations visent à résoudre.

Défis liés au traitement d’images par l’IA sur les appareils périphériques

Le développement de solutions d’IA en périphérie s’accompagne de quelques défis clés, en particulier lorsqu’on travaille avec des appareils comme les caméras et les capteurs. Bon nombre de ces appareils ont une puissance et une capacité de traitement limitées, ce qui rend difficile l’exécution efficace de modèles d’IA avancés.

Voici quelques-unes des autres principales limites :

• Complexité logicielle : L’adaptation des modèles d’IA pour qu’ils fonctionnent sur divers appareils périphériques dotés de différentes configurations matérielles peut être complexe et nécessiter des ajustements et des optimisations.
  ‍
• Goulots d'étranglement du post-traitement : Le transfert de grandes quantités de données de l'appareil à l'hôte pour le post-traitement entraîne souvent un retard. Il consomme souvent plus de temps que l'inférence du modèle d'IA proprement dite.
  ‍
• Explosion de données : Avec de nombreux appareils IoT qui génèrent constamment des données, le volume de données à traiter localement peut être écrasant, ce qui surcharge davantage les appareils périphériques.

Découvrez le capteur de vision intelligent IMX500 de Sony

Le capteur de vision intelligent IMX500 de Sony est un composant révolutionnaire dans le domaine du traitement de l'IA en périphérie. Il s'agit du premier capteur de vision intelligent au monde doté de capacités d'IA intégrées. Ce capteur aide à surmonter de nombreux défis de l'IA en périphérie, notamment les goulots d'étranglement du traitement des données, les problèmes de confidentialité et les limitations de performance.

Alors que d'autres capteurs se contentent de transmettre des images et des trames, l'IMX500 raconte toute une histoire. Il traite les données directement sur le capteur, ce qui permet aux appareils de générer des informations en temps réel. Au cours de la session, Wei Tang a déclaré : « En tirant parti de notre technologie avancée de capteurs d'image, nous visons à donner à une nouvelle génération d'applications les moyens d'améliorer la vie quotidienne. » L'IMX500 est conçu pour atteindre cet objectif, en transformant la façon dont les appareils traitent les données directement sur le capteur, sans avoir besoin de les envoyer au cloud pour traitement.

Voici quelques-unes de ses principales caractéristiques :

• Sortie de métadonnées : Au lieu d'envoyer des images complètes, il produit des métadonnées, ce qui réduit considérablement la taille des données, diminuant ainsi l'utilisation de la bande passante et les coûts.
  ‍
• Confidentialité améliorée : En traitant les données sur l'appareil, l'IMX500 améliore la confidentialité, en particulier dans les situations où des informations sensibles sont impliquées, telles que les tâches de vision par ordinateur liées à l'humain, comme le comptage de personnes.
  ‍
• Traitement en temps réel : La capacité du capteur à traiter les données rapidement signifie qu'il prend en charge une prise de décision rapide en temps réel qui permet des applications d'IA en périphérie telles que les systèmes autonomes.

L'IMX500 n'est pas un simple capteur d'appareil photo, c'est un puissant outil de détection qui transforme la façon dont les appareils perçoivent le monde qui les entoure et interagissent avec lui. En intégrant l'IA directement dans le capteur, Sony rend l'IA de pointe plus accessible aux industries telles que l'automobile, la santé et les villes intelligentes. Dans les sections suivantes, nous verrons comment l'IMX500 fonctionne avec les modèlesYOLO d'Ultralytics pour améliorer la détection d'objets et le traitement des données sur les appareils périphériques.

‍

La plateforme AITRIOS de Sony : Simplifier l'IA en périphérie

Après avoir présenté le capteur IMX500, Wei Tang a déclaré que, bien que le matériel soit essentiel, il ne suffit pas à lui seul pour relever l'ensemble des défis liés au déploiement de l'IA en périphérie. Elle a expliqué que l'intégration de l'IA sur des appareils tels que les caméras et les capteurs nécessite plus qu'un simple matériel avancé : elle a besoin d'un logiciel intelligent pour la gérer. C'est là qu'intervient la plateforme AITRIOS de Sony, qui offre une solution logicielle fiable conçue pour rendre le déploiement de l'IA sur les appareils périphériques plus simple et plus efficace.

AITRIOS sert de pont entre les modèles d'IA complexes et les limitations des appareils périphériques. Il fournit aux développeurs une gamme d'outils pour déployer rapidement des modèles d'IA pré-entraînés. Mais plus important encore, il prend en charge le réentraînement continu afin que les modèles d'IA puissent rester adaptables aux changements du monde réel. 

Wei a également souligné comment AITRIOS simplifie le processus pour ceux qui n'ont pas une expertise approfondie en IA, offrant la flexibilité de personnaliser les modèles d'IA pour des cas d'utilisation spécifiques de l'IA en périphérie. Il s'attaque également aux défis courants tels que les contraintes de mémoire et les baisses de performance, ce qui facilite l'intégration de l'IA dans les petits appareils sans sacrifier la précision ou la vitesse. 

‍

Optimisation des modèles YOLO sur l'IMX500

Dans la deuxième partie de la conférence, le micro a été passé à Amir, qui s'est plongé dans l'aspect technique de l'optimisation par Sony des modèlesYOLO sur le capteur IMX500. 

Amir a commencé par dire : "Les modèlesYOLO sont des modèles de pointe et sont assez faciles à optimiser, grâce à Glenn et à l'équipe. Je vais vous en convaincre, ne vous inquiétez pas". Amir a ensuite expliqué que si l'on se concentre généralement sur l'optimisation du modèle d'IA lui-même, cette approche néglige souvent un problème crucial : les goulets d'étranglement liés au post-traitement.

Amir a souligné que, dans de nombreux cas, une fois que le modèle d'IA a terminé sa tâche, le processus de transfert des données et de gestion du post-traitement sur un appareil hôte peut entraîner des retards importants. Ce transfert de données aller-retour entre l'appareil et l'hôte introduit une latence, ce qui peut constituer un obstacle majeur à l'obtention des meilleures performances.

‍

Pour résoudre ce problème, Amir a insisté sur l'importance d'examiner le système de bout en bout, plutôt que de se concentrer uniquement sur le modèle d'IA. Avec le capteur IMX500, ils ont découvert que le post-traitement était le principal goulot d'étranglement qui ralentissait tout. Il a expliqué que la véritable avancée a été de débloquer la suppression non maximale (NMS) sur la puce. 

Il permet d'effectuer le post-traitement directement sur le capteur, éliminant ainsi la nécessité de transférer de grandes quantités de données vers un dispositif hôte. En exécutant NMS directement sur l'IMX500, Sony a brisé ce qu'Amir appelle le " plafond de verre du post-traitement ", en obtenant de bien meilleures performances et une réduction de la latence.

‍

Ensuite, nous verrons comment cette innovation a aidé les modèles YOLO , en particulier les modèles YOLOv8 Nano, de fonctionner plus efficacement sur les appareils périphériques, créant ainsi de nouvelles opportunités pour le traitement de l'IA en temps réel sur du matériel plus petit et aux ressources limitées.

Les modèles YOLOv8 bénéficient d'une vitesse 4x plus élevée grâce à l'IMX500 de Sony

Pour conclure l'exposé sur une note positive, Amir a montré comment ils ont pu quadrupler les performances du modèle YOLOv8 Nano en exécutant NMS on edge. Il a présenté cette démonstration sur un Raspberry Pi 5, qui était intégré avec le capteur IMX500 AI. Amir a comparé les performances lorsque le post-traitement était effectué sur un dispositif hôte ou sur la puce IMX500. 

Les résultats ont clairement montré une amélioration majeure du nombre d'images par seconde (IPS) et de l'efficacité globale lorsque le traitement était effectué sur la puce. L'optimisation a rendu la détection d'objets plus rapide et plus fluide et a également démontré la faisabilité du traitement de l'IA en temps réel sur des appareils plus petits et aux ressources limitées comme le Raspberry Pi.

Principaux points à retenir

Le capteur IMX500 de Sony, la plateforme AITRIOS et les modèlesYOLO d'Ultralytics redéfinissent le développement de l'IA. Le traitement de l'IA sur la puce réduit le transfert de données et la latence tout en renforçant la confidentialité, la sécurité et l'efficacité. En se concentrant sur l'ensemble du système, et pas seulement sur le modèle d'IA, ces innovations rendent l'IA de pointe plus accessible aux développeurs et à ceux qui n'ont pas d'expertise approfondie en matière d'IA. Au fur et à mesure que la technologie de l'IA périphérique continue de progresser, elle permettra probablement d'utiliser des appareils plus intelligents, de prendre des décisions plus rapides et de renforcer la protection de la vie privée dans un large éventail d'industries et d'applications.

Restez connecté avec notre communauté pour continuer à vous informer sur l'IA ! Consultez notre dépôt GitHub pour découvrir comment nous pouvons utiliser l'IA pour créer des solutions innovantes dans divers secteurs tels que l'agriculture et la fabrication. 🚀