L'IA en périphérie permet aux modèles d'intelligence artificielle (IA) de fonctionner directement sur des appareils tels que les téléphones intelligents, les caméras et les drones. Son principal avantage est qu'elle permet une prise de décision plus rapide et en temps réel sans dépendre du nuage. En fait, des études montrent que l'utilisation de l'IA sur les plateformes périphériques peut accroître l'efficacité opérationnelle jusqu'à 40 %. 

Les récentes avancées en matière d'IA en périphérie, en particulier dans le domaine de la vision par ordinateur, en ont fait un sujet central à YOLO Vision 2024 (YV24), l'événement hybride annuel d'Ultralytics qui rassemble des passionnés et des experts de l'IA pour explorer les dernières nouveautés en matière d'IA de vision. L'un des points forts de l'événement a été la présentation principale de Sony, où ils ont présenté leurs nouvelles solutions matérielles et logicielles d'IA de pointe. Le capteur IMX500 et la plateforme AITRIOS ont été mis en avant, et Sony a démontré comment ces innovations facilitent et rendent plus efficace le déploiement des modèles Ultralytics YOLO tels que Ultralytics YOLO11 et Ultralytics YOLOv8 en périphérie.

La session était animée par Wei Tang, responsable du développement commercial, qui se concentre sur les solutions d'imagerie de Sony, et Amir Servi, chef de produit Edge Deep Learning, spécialisé dans le déploiement de modèles de deep learning sur des appareils périphériques. 

Dans cet article, nous allons revenir sur la présentation de Sony à YV24 et explorer comment le capteur IMX500 et la plateforme AITRIOS optimisent l'utilisation des modèles YOLO pour un traitement de l'IA en périphérie plus rapide et en temps réel. Commençons !

La vision de Sony : démocratiser l’IA sur les appareils périphériques

Wei Tang a ouvert la session en parlant de l’objectif de Sony de rendre l’IA en périphérie aussi accessible qu’ils l’ont fait avec la photographie il y a des années. Elle a souligné à quel point Sony se concentre maintenant sur l’apport d’une IA de vision avancée à un plus grand nombre de personnes grâce à l’informatique en périphérie. L’un des facteurs déterminants à l’origine de cette situation est l’incidence positive que l’IA en périphérie peut avoir sur l’environnement. En traitant les données directement sur les appareils au lieu de dépendre d’énormes centres de données, l’informatique en périphérie contribue à réduire la consommation d’énergie et les émissions de carbone. Il s’agit d’une approche plus intelligente et plus écologique qui s’inscrit parfaitement dans l’engagement de Sony à créer une technologie qui non seulement fonctionne mieux, mais qui contribue également à créer un avenir plus durable.

Wei a ensuite expliqué comment Sony Semiconductor Solutions, la division de Sony spécialisée dans les technologies d'imagerie et de détection, crée des capteurs d'image avancés. Ces capteurs sont utilisés dans une variété d'appareils, convertissant la lumière en signaux électroniques pour capturer des images. Avec plus de 1,2 milliard de capteurs expédiés chaque année, on les trouve dans près de la moitié des téléphones mobiles du monde, ce qui fait de Sony un acteur majeur de l'industrie de l'imagerie. 

‍

Fort de cette expertise, Sony va maintenant plus loin en transformant ces capteurs d'appareils de capture d'images en outils intelligents capables de traiter les données en temps réel, permettant ainsi des informations basées sur l'IA directement sur les appareils. Avant de discuter des solutions matérielles et logicielles que Sony utilise pour soutenir ce changement, comprenons les défis de l'IA en périphérie que ces innovations visent à résoudre.

Défis liés au traitement d’images par l’IA sur les appareils périphériques

Le développement de solutions d’IA en périphérie s’accompagne de quelques défis clés, en particulier lorsqu’on travaille avec des appareils comme les caméras et les capteurs. Bon nombre de ces appareils ont une puissance et une capacité de traitement limitées, ce qui rend difficile l’exécution efficace de modèles d’IA avancés.

Voici quelques-unes des autres principales limites :

• Complexité logicielle : L’adaptation des modèles d’IA pour qu’ils fonctionnent sur divers appareils périphériques dotés de différentes configurations matérielles peut être complexe et nécessiter des ajustements et des optimisations.
  ‍
• Goulots d'étranglement du post-traitement : Le transfert de grandes quantités de données de l'appareil à l'hôte pour le post-traitement entraîne souvent un retard. Il consomme souvent plus de temps que l'inférence du modèle d'IA proprement dite.
  ‍
• Explosion de données : Avec de nombreux appareils IoT qui génèrent constamment des données, le volume de données à traiter localement peut être écrasant, ce qui surcharge davantage les appareils périphériques.

Découvrez le capteur de vision intelligent IMX500 de Sony

Le capteur de vision intelligent IMX500 de Sony est un composant révolutionnaire dans le domaine du traitement de l'IA en périphérie. Il s'agit du premier capteur de vision intelligent au monde doté de capacités d'IA intégrées. Ce capteur aide à surmonter de nombreux défis de l'IA en périphérie, notamment les goulots d'étranglement du traitement des données, les problèmes de confidentialité et les limitations de performance.

Alors que d'autres capteurs se contentent de transmettre des images et des trames, l'IMX500 raconte toute une histoire. Il traite les données directement sur le capteur, ce qui permet aux appareils de générer des informations en temps réel. Au cours de la session, Wei Tang a déclaré : « En tirant parti de notre technologie avancée de capteurs d'image, nous visons à donner à une nouvelle génération d'applications les moyens d'améliorer la vie quotidienne. » L'IMX500 est conçu pour atteindre cet objectif, en transformant la façon dont les appareils traitent les données directement sur le capteur, sans avoir besoin de les envoyer au cloud pour traitement.

Voici quelques-unes de ses principales caractéristiques :

• Sortie de métadonnées : Au lieu d'envoyer des images complètes, il produit des métadonnées, ce qui réduit considérablement la taille des données, diminuant ainsi l'utilisation de la bande passante et les coûts.
  ‍
• Confidentialité améliorée : En traitant les données sur l'appareil, l'IMX500 améliore la confidentialité, en particulier dans les situations où des informations sensibles sont impliquées, telles que les tâches de vision par ordinateur liées à l'humain, comme le comptage de personnes.
  ‍
• Traitement en temps réel : La capacité du capteur à traiter les données rapidement signifie qu'il prend en charge une prise de décision rapide en temps réel qui permet des applications d'IA en périphérie telles que les systèmes autonomes.

L'IMX500 n'est pas seulement un capteur de caméra : c'est un outil de détection puissant qui transforme la façon dont les appareils perçoivent le monde qui les entoure et interagissent avec lui. En intégrant l'IA directement dans le capteur, Sony rend l'IA en périphérie plus accessible pour des secteurs tels que l'automobile, la santé et les villes intelligentes. Dans les sections suivantes, nous examinerons plus en détail comment l'IMX500 fonctionne avec les modèles YOLO d'Ultralytics pour améliorer la détection d'objets et le traitement des données sur les appareils périphériques.

‍

La plateforme AITRIOS de Sony : Simplifier l'IA en périphérie

Après avoir présenté le capteur IMX500, Wei Tang a déclaré que, bien que le matériel soit essentiel, il ne suffit pas à lui seul pour relever l'ensemble des défis liés au déploiement de l'IA en périphérie. Elle a expliqué que l'intégration de l'IA sur des appareils tels que les caméras et les capteurs nécessite plus qu'un simple matériel avancé : elle a besoin d'un logiciel intelligent pour la gérer. C'est là qu'intervient la plateforme AITRIOS de Sony, qui offre une solution logicielle fiable conçue pour rendre le déploiement de l'IA sur les appareils périphériques plus simple et plus efficace.

AITRIOS sert de pont entre les modèles d'IA complexes et les limitations des appareils périphériques. Il fournit aux développeurs une gamme d'outils pour déployer rapidement des modèles d'IA pré-entraînés. Mais plus important encore, il prend en charge le réentraînement continu afin que les modèles d'IA puissent rester adaptables aux changements du monde réel. 

Wei a également souligné comment AITRIOS simplifie le processus pour ceux qui n'ont pas une expertise approfondie en IA, offrant la flexibilité de personnaliser les modèles d'IA pour des cas d'utilisation spécifiques de l'IA en périphérie. Il s'attaque également aux défis courants tels que les contraintes de mémoire et les baisses de performance, ce qui facilite l'intégration de l'IA dans les petits appareils sans sacrifier la précision ou la vitesse. 

‍

Optimisation des modèles YOLO sur l'IMX500

Dans la deuxième partie de la conférence, le micro a été passé à Amir, qui a plongé dans l'aspect technique de la façon dont Sony a optimisé les modèles YOLO sur le capteur IMX500. 

Amir a commencé en disant : « Les modèles YOLO permettent l'utilisation en périphérie et sont assez faciles à optimiser, grâce à Glenn et à l'équipe. Je vais vous en convaincre, ne vous inquiétez pas. » Amir a ensuite expliqué que, bien que l'on se concentre généralement sur l'optimisation du modèle d'IA lui-même, cette approche néglige souvent une préoccupation cruciale : les goulots d'étranglement du post-traitement.

Amir a souligné que, dans de nombreux cas, une fois que le modèle d'IA a terminé sa tâche, le processus de transfert des données et de gestion du post-traitement sur un appareil hôte peut entraîner des retards importants. Ce transfert de données aller-retour entre l'appareil et l'hôte introduit une latence, ce qui peut constituer un obstacle majeur à l'obtention des meilleures performances.

‍

Pour résoudre ce problème, Amir a souligné l'importance d'examiner l'ensemble du système de bout en bout, plutôt que de se concentrer uniquement sur le modèle d'IA. Avec le capteur IMX500, ils ont découvert que le post-traitement était le principal goulot d'étranglement qui ralentissait tout. Il a indiqué que la véritable percée a été de débloquer la suppression non maximale (NMS) sur puce. 

Il a permis au post-traitement de se faire directement sur le capteur, éliminant ainsi le besoin de transférer de grandes quantités de données vers un appareil hôte. En exécutant NMS directement sur l'IMX500, Sony a franchi ce qu'Amir a appelé le « plafond de verre du post-traitement », obtenant ainsi de bien meilleures performances et une réduction de la latence.

‍

Ensuite, nous allons examiner comment cette innovation a aidé les modèles YOLO, en particulier YOLOv8 Nano, à fonctionner plus efficacement sur les appareils périphériques, créant ainsi de nouvelles opportunités pour le traitement de l'IA en temps réel sur du matériel plus petit et aux ressources limitées.

Les modèles YOLOv8 atteignent une vitesse 4x supérieure avec l'IMX500 de Sony

Pour conclure sa présentation sur une note positive, Amir a démontré comment ils ont pu quadrupler les performances du modèle YOLOv8 Nano en exécutant NMS en périphérie. Il a présenté cela sur un Raspberry Pi 5, intégré au capteur d'IA IMX500. Amir a comparé les performances lorsque le post-traitement était géré sur un périphérique hôte par rapport à la puce IMX500. 

Les résultats ont clairement montré une amélioration majeure du nombre d'images par seconde (IPS) et de l'efficacité globale lorsque le traitement était effectué sur la puce. L'optimisation a rendu la détection d'objets plus rapide et plus fluide et a également démontré la faisabilité du traitement de l'IA en temps réel sur des appareils plus petits et aux ressources limitées comme le Raspberry Pi.

Principaux points à retenir

Le capteur IMX500 de Sony, la plateforme AITRIOS et les modèles Ultralytics YOLO remodèlent le développement de l'IA en périphérie. Le traitement de l'IA sur puce réduit le transfert de données et la latence tout en améliorant la confidentialité, la sécurité et l'efficacité. En se concentrant sur l'ensemble du système, et pas seulement sur le modèle d'IA, ces innovations rendent l'IA en périphérie plus accessible aux développeurs et à ceux qui n'ont pas une expertise approfondie en IA. À mesure que la technologie de l'IA en périphérie continue de progresser, elle permettra probablement de créer des appareils plus intelligents, une prise de décision plus rapide et des protections de la vie privée plus solides dans un large éventail d'industries et d'applications.

Restez connecté avec notre communauté pour continuer à vous informer sur l'IA ! Consultez notre dépôt GitHub pour découvrir comment nous pouvons utiliser l'IA pour créer des solutions innovantes dans divers secteurs tels que l'agriculture et la fabrication. 🚀