Rejoignez-nous pour récapituler les avancées de Sony en matière de traitement de pointe de l'IA avec le capteur IMX500 et la plateforme AITRIOS, afin d'optimiser les modèles YOLO d'Ultralytics.

Rejoignez-nous pour récapituler les avancées de Sony en matière de traitement de pointe de l'IA avec le capteur IMX500 et la plateforme AITRIOS, afin d'optimiser les modèles YOLO d'Ultralytics.
L'Edge AI permet aux modèles d'intelligence artificielle (IA) de fonctionner directement sur des appareils tels que les smartphones, les caméras et les drones. Son principal avantage est qu'elle permet une prise de décision plus rapide et en temps réel sans dépendre du cloud. En fait, des études montrent que l'utilisation de l'IA sur des plateformes de périphérie peut augmenter l'efficacité opérationnelle jusqu'à 40 %.
Les récentes avancées en matière d'IA de pointe, en particulier dans le domaine de la vision par ordinateur, en ont fait un sujet central lors de YOLO Vision 2024 (YV24), l'événement hybride annuel d'Ultralytics qui réunit des passionnés et des experts de l'IA pour explorer les dernières nouveautés en matière d'IA de vision. L'un des temps forts de l'événement a été la présentation de Sony, qui a exposé ses nouvelles solutions matérielles et logicielles de pointe en matière d'IA. Le capteur IMX500 et la plateforme AITRIOS ont été présentés, et Sony a démontré comment ces innovations facilitent et rendent plus efficace le déploiement des modèles Ultralytics Y OLO comme Ultralytics YOLO11 et Ultralytics YOLOv8 sur le terrain.
La session a été animée par Wei Tang, responsable du développement commercial qui se concentre sur les solutions d'imagerie de Sony, et Amir Servi, chef de produit Edge Deep Learning, spécialisé dans le déploiement de modèles d'apprentissage profond sur des appareils périphériques.
Dans cet article, nous reviendrons sur la présentation de Sony à l'YV24 et explorerons comment le capteur IMX500 et la plateforme AITRIOS optimisent l'utilisation des modèles YOLO pour un traitement de l'IA de pointe plus rapide et en temps réel. C'est parti !
Wei Tang a ouvert la session en parlant de l'objectif de Sony de rendre l'edge AI aussi accessible qu'ils l'ont fait avec la photographie il y a quelques années. Elle a insisté sur le fait que Sony s'attache désormais à mettre l'IA Vision avancée à la portée d'un plus grand nombre de personnes par le biais de l'informatique de pointe. L'un des facteurs déterminants est l'impact positif que l'edge AI peut avoir sur l'environnement. En traitant les données directement sur les appareils au lieu de s'appuyer sur d'énormes centres de données, l'edge computing permet de réduire la consommation d'énergie et les émissions de carbone. Il s'agit d'une approche plus intelligente et plus écologique qui s'inscrit parfaitement dans l'engagement de Sony à développer une technologie qui non seulement fonctionne mieux, mais qui contribue également à créer un avenir plus durable.
M. Wei a ensuite expliqué comment Sony Semiconductor Solutions, la division de Sony spécialisée dans les technologies d'imagerie et de détection, crée des capteurs d'image avancés. Ces capteurs sont utilisés dans toute une série d'appareils, convertissant la lumière en signaux électroniques pour capturer des images. Avec plus de 1,2 milliard de capteurs livrés chaque année, ils sont présents dans près de la moitié des téléphones portables du monde, ce qui fait de Sony un acteur majeur de l'industrie de l'imagerie.
S'appuyant sur cette expertise, Sony va maintenant plus loin en transformant ces capteurs de dispositifs de capture d'images en outils intelligents capables de traiter les données en temps réel, ce qui permet d'obtenir des informations alimentées par l'IA directement sur les appareils. Avant d'aborder les solutions matérielles et logicielles utilisées par Sony pour soutenir cette évolution, il convient de comprendre les défis en matière d'IA que ces innovations visent à résoudre.
Le développement de solutions d' IA de pointe s'accompagne de quelques défis majeurs, en particulier lorsqu'il s'agit de travailler avec des appareils tels que des caméras et des capteurs. Beaucoup de ces appareils ont une puissance et une capacité de traitement limitées, ce qui rend difficile l'exécution efficace de modèles d'IA avancés.
Voici quelques-unes des autres limitations principales :
Le capteur de vision intelligent IMX500 de Sony est une pièce de matériel qui change la donne en matière de traitement de l'intelligence artificielle. Il s'agit du premier capteur de vision intelligent au monde doté de capacités d'IA sur puce. Ce capteur permet de relever de nombreux défis dans le domaine de l'intelligence artificielle, notamment les goulets d'étranglement dans le traitement des données, les problèmes de confidentialité et les limites de performance.
Alors que d'autres capteurs se contentent de transmettre des images et des trames, l'IMX500 raconte toute une histoire. Il traite les données directement sur le capteur, ce qui permet aux appareils de générer des informations en temps réel. Au cours de la session, Wei Tang a déclaré : "En tirant parti de notre technologie avancée de capteurs d'images, nous souhaitons donner naissance à une nouvelle génération d'applications susceptibles d'améliorer la vie quotidienne." L'IMX500 est conçu pour atteindre cet objectif, en transformant la façon dont les appareils traitent les données directement sur le capteur, sans avoir besoin de les envoyer dans le nuage pour les traiter.
Voici quelques-unes de ses principales caractéristiques :
L'IMX500 n'est pas un simple capteur d'appareil photo, c'est un puissant outil de détection qui transforme la façon dont les appareils perçoivent le monde qui les entoure et interagissent avec lui. En intégrant l'IA directement dans le capteur, Sony rend l'IA de pointe plus accessible aux industries telles que l'automobile, la santé et les villes intelligentes. Dans les sections suivantes, nous verrons comment l'IMX500 fonctionne avec les modèles YOLO d'Ultralytics pour améliorer la détection d'objets et le traitement des données sur les appareils périphériques.
Après avoir présenté le capteur IMX500, Wei Tang a expliqué que si le matériel est essentiel, il ne suffit pas à lui seul à relever l'ensemble des défis liés au déploiement de l'IA en périphérie. Elle a expliqué que l'intégration de l'IA sur des appareils tels que les caméras et les capteurs nécessite plus qu'un simple matériel avancé : il faut un logiciel intelligent pour le gérer. C'est là qu'intervient la plateforme AITRIOS de Sony, qui offre une solution logicielle fiable conçue pour simplifier et rendre plus efficace le déploiement de l' IA sur les appareils périphériques.
AITRIOS sert de passerelle entre les modèles d'IA complexes et les limites des appareils périphériques. Il fournit aux développeurs une gamme d'outils pour déployer rapidement des modèles d'IA pré-entraînés. Mais surtout, il prend en charge le réentraînement continu afin que les modèles d'IA puissent rester adaptables aux changements du monde réel.
Wei a également souligné comment AITRIOS simplifie le processus pour ceux qui n'ont pas d'expertise approfondie en matière d'IA, en offrant la flexibilité de personnaliser les modèles d'IA pour des cas d'utilisation spécifiques de l'IA périphérique. Il s'attaque également à des problèmes courants tels que les contraintes de mémoire et les baisses de performance, ce qui facilite l'intégration de l' IA dans des appareils plus petits sans sacrifier la précision ou la vitesse.
Dans la deuxième partie de la conférence, le micro a été passé à Amir, qui s'est plongé dans l'aspect technique de l'optimisation par Sony des modèles YOLO sur le capteur IMX500.
Amir a commencé par dire : "Les modèles YOLO sont des modèles de pointe et sont assez faciles à optimiser, grâce à Glenn et à l'équipe. Je vais vous en convaincre, ne vous inquiétez pas". Amir a ensuite expliqué que si l'on se concentre généralement sur l'optimisation du modèle d'IA lui-même, cette approche néglige souvent un problème crucial : les goulets d'étranglement liés au post-traitement.
Amir a souligné que dans de nombreux cas, une fois que le modèle d'IA a terminé sa tâche, le processus de transfert des données et de post-traitement sur un dispositif hôte peut entraîner des retards importants. Ce transfert de données en va-et-vient entre l'appareil et l'hôte introduit une latence qui peut constituer un obstacle majeur à l'obtention des meilleures performances.
Pour résoudre ce problème, Amir a insisté sur l'importance d'examiner le système de bout en bout, plutôt que de se concentrer uniquement sur le modèle d'IA. Avec le capteur IMX500, ils ont découvert que le post-traitement était le principal goulot d'étranglement qui ralentissait tout. Il a expliqué que la véritable avancée a été de débloquer la suppression non maximale (NMS) sur la puce.
Il permet d'effectuer le post-traitement directement sur le capteur, éliminant ainsi la nécessité de transférer de grandes quantités de données vers un dispositif hôte. En exécutant NMS directement sur l'IMX500, Sony a brisé ce qu'Amir appelle le " plafond de verre du post-traitement ", en obtenant de bien meilleures performances et une réduction de la latence.
Ensuite, nous verrons comment cette innovation a aidé les modèles YOLO, en particulier YOLOv8 Nano, à fonctionner plus efficacement sur les appareils périphériques, créant ainsi de nouvelles opportunités pour le traitement de l'IA en temps réel sur du matériel plus petit et aux ressources limitées.
Pour conclure l'exposé sur une note positive, Amir a montré comment ils ont pu quadrupler les performances du modèle YOLOv8 Nano en exécutant NMS on edge. Il a présenté cette démonstration sur un Raspberry Pi 5, qui était intégré avec le capteur IMX500 AI. Amir a comparé les performances lorsque le post-traitement était effectué sur un dispositif hôte ou sur la puce IMX500.
Les résultats ont clairement montré une amélioration majeure du nombre d'images par seconde (FPS) et de l'efficacité globale lorsque le traitement est effectué sur la puce. L'optimisation a rendu la détection d'objets plus rapide et plus fluide et a également démontré la faisabilité du traitement de l'IA en temps réel sur des appareils plus petits et aux ressources limitées comme le Raspberry Pi.
Le capteur IMX500 de Sony, la plateforme AITRIOS et les modèles YOLO d'Ultralytics redéfinissent le développement de l'IA. Le traitement de l'IA sur la puce réduit le transfert de données et la latence tout en renforçant la confidentialité, la sécurité et l'efficacité. En se concentrant sur l'ensemble du système, et pas seulement sur le modèle d'IA, ces innovations rendent l'IA de pointe plus accessible aux développeurs et à ceux qui n'ont pas d'expertise approfondie en matière d'IA. Au fur et à mesure que la technologie de l'IA périphérique continue de progresser, elle permettra probablement d'utiliser des appareils plus intelligents, de prendre des décisions plus rapides et de renforcer la protection de la vie privée dans un large éventail d'industries et d'applications.
Restez en contact avec notre communauté pour continuer à apprendre sur l'IA ! Consultez notre dépôt GitHub pour découvrir comment nous pouvons utiliser l'IA pour créer des solutions innovantes dans divers secteurs comme l'agriculture et la fabrication. 🚀