Donner plus de puissance à l'IA Edge avec Sony IMX500 et AITRIOS

L’IA en périphérie permet aux modèles d’intelligence artificielle (AI) de fonctionner directement sur des appareils tels que les smartphones, les caméras et les drones. Son principal avantage est de permettre une prise de décision plus rapide et en temps réel, sans dépendre du cloud. En effet, des études montrent que l’utilisation de l’IA sur des plateformes en périphérie peut augmenter l’efficacité opérationnelle de jusqu’à 40 %.

Les avancées récentes de l’IA en périphérie, en particulier dans la vision par ordinateur, en ont fait un thème central de YOLO Vision 2024 (YV24), l’événement hybride annuel d’Ultralytics qui réunit des passionnés et des experts de l’IA pour découvrir les dernières avancées en IA visuelle. L’un des temps forts de l’événement a été la présentation principale de Sony, au cours de laquelle l’entreprise a présenté ses nouvelles solutions de pointe en matière de matériel et de logiciels d’IA. Le capteur IMX500 et la plateforme AITRIOS ont été mis à l’honneur, et Sony a montré comment ces innovations facilitent et rendent plus efficace le déploiement de modèles Ultralytics YOLO tels que Ultralytics YOLO11 et Ultralytics YOLOv8 en périphérie.

La session était animée par Wei Tang, responsable du développement commercial spécialisé dans les solutions d’imagerie de Sony, et par Amir Servi, chef de produit Edge Deep Learning spécialisé dans le déploiement de modèles de deep learning sur des appareils en périphérie.

Dans cet article, nous reviendrons sur la présentation de Sony lors de YV24 et nous examinerons comment le capteur IMX500 et la plateforme AITRIOS optimisent l’utilisation des modèles YOLO pour accélérer le traitement de l’IA en périphérie, en temps réel. C’est parti !

La vision de Sony : démocratiser l’IA sur les appareils en périphérie#

Wei Tang a ouvert la session en évoquant l’objectif de Sony : rendre l’IA en périphérie aussi accessible que la photographie l’est devenue il y a plusieurs années. Elle a souligné que Sony s’efforce désormais de rendre l’IA visuelle avancée accessible à un plus grand nombre grâce à l’edge computing. L’un des facteurs clés est l’impact positif que l’IA en périphérie peut avoir sur l’environnement. En traitant les données directement sur les appareils plutôt qu’en dépendant d’immenses centres de données, l’edge computing contribue à réduire la consommation d’énergie et les émissions de carbone. Il s’agit d’une approche plus intelligente et plus écologique, parfaitement alignée sur l’engagement de Sony à créer des technologies non seulement plus performantes, mais qui contribuent également à un avenir plus durable.

Wei a ensuite expliqué comment Sony Semiconductor Solutions, la division de Sony spécialisée dans les technologies d’imagerie et de détection, crée des capteurs d’image avancés. Ces capteurs sont utilisés dans différents appareils et convertissent la lumière en signaux électroniques pour capturer des images. Avec plus de 1,2 milliard de capteurs expédiés chaque année, on les retrouve dans près de la moitié des téléphones mobiles du monde, ce qui fait de Sony un acteur majeur du secteur de l’imagerie.

Fig. 1 Exemples de capteurs d’image Sony.

Fort de cette expertise, Sony va désormais plus loin en transformant ces capteurs, qui étaient de simples appareils de capture d’images, en outils intelligents capables de traiter les données en temps réel et de fournir directement sur les appareils des informations issues de l’IA. Avant d’aborder les solutions matérielles et logicielles utilisées par Sony pour accompagner cette évolution, examinons les défis de l’IA en périphérie que ces innovations cherchent à résoudre.

Défis liés au traitement des images par l’IA sur les appareils en périphérie#

Le développement de solutions d’IA en périphérie présente plusieurs défis majeurs, en particulier avec des appareils tels que les caméras et les capteurs. Beaucoup de ces appareils disposent de ressources énergétiques et de capacités de traitement limitées, ce qui complique l’exécution efficace de modèles d’IA avancés.

Voici quelques-unes des autres principales limitations :

• Complexité logicielle : adapter des modèles d’IA pour qu’ils fonctionnent sur différents appareils en périphérie dotés de configurations matérielles variées peut être complexe et nécessiter des ajustements ainsi que des optimisations.
• Goulots d’étranglement du post-traitement : le transfert d’importants volumes de données de l’appareil vers l’hôte pour le post-traitement entraîne souvent un délai. Cette opération prend souvent plus de temps que l’inférence du modèle d’IA elle-même.
• Explosion des données : comme de nombreux appareils IoT génèrent constamment des données, le volume de données à traiter localement peut devenir écrasant et solliciter davantage les appareils en périphérie.

À la découverte du capteur de vision intelligent Sony IMX500#

Le capteur de vision intelligent Sony IMX500 est un composant matériel révolutionnaire pour le traitement de l’IA en périphérie. Il s’agit du premier capteur de vision intelligent au monde doté de capacités d’IA intégrées sur la puce. Ce capteur contribue à surmonter de nombreux défis de l’IA en périphérie, notamment les goulots d’étranglement du traitement des données, les problèmes de confidentialité et les limitations de performances.

Alors que les autres capteurs se contentent de transmettre des images et des trames, l’IMX500 raconte toute une histoire. Il traite les données directement sur le capteur, ce qui permet aux appareils de générer des informations en temps réel. Pendant la session, Wei Tang a déclaré : « En tirant parti de notre technologie avancée de capteurs d’image, nous souhaitons donner les moyens à une nouvelle génération d’applications d’améliorer la vie quotidienne. » L’IMX500 a été conçu pour atteindre cet objectif en transformant la manière dont les appareils traitent les données directement sur le capteur, sans avoir besoin de les envoyer dans le cloud pour traitement.

Voici certaines de ses principales fonctionnalités :

• Sortie de métadonnées : au lieu d’envoyer des images complètes, le capteur produit des métadonnées, ce qui réduit considérablement la taille des données ainsi que l’utilisation de la bande passante et les coûts.
• Confidentialité renforcée : en traitant les données sur l’appareil, l’IMX500 améliore la confidentialité, en particulier lorsque des informations sensibles sont concernées, comme dans les tâches de vision par ordinateur liées aux personnes, par exemple le comptage de personnes.
• Traitement en temps réel : la capacité du capteur à traiter rapidement les données permet une prise de décision rapide et en temps réel, ce qui favorise les applications d’IA en périphérie telles que les systèmes autonomes.

L’IMX500 n’est pas qu’un simple capteur de caméra : c’est un puissant outil de détection qui transforme la manière dont les appareils perçoivent le monde qui les entoure et interagissent avec lui. En intégrant directement l’IA au capteur, Sony rend l’IA en périphérie plus accessible à des secteurs tels que l’automobile, la santé et les villes intelligentes. Dans les sections suivantes, nous examinerons plus en détail comment l’IMX500 fonctionne avec les modèles Ultralytics YOLO afin d’améliorer la détection d’objets et le traitement des données sur les appareils en périphérie.

Fig. 2. Wei Tang sur scène lors de YOLO Vision 2024 présentant le capteur de vision intelligent Sony IMX500.

La plateforme AITRIOS de Sony : simplifier l’IA en périphérie#

Après avoir présenté le capteur IMX500, Wei Tang a expliqué que, même si le matériel est essentiel, il ne suffit pas à lui seul à répondre à l’ensemble des défis liés au déploiement de l’IA en périphérie. Elle a expliqué que l’intégration de l’IA dans des appareils tels que les caméras et les capteurs nécessite plus qu’un matériel avancé : elle requiert des logiciels intelligents pour le gérer. C’est là qu’intervient la plateforme AITRIOS de Sony, qui propose une solution logicielle fiable conçue pour simplifier et rendre plus efficace le déploiement de l’IA sur les appareils en périphérie.

AITRIOS fait le lien entre les modèles d’IA complexes et les limitations des appareils en périphérie. Elle fournit aux développeurs un ensemble d’outils permettant de déployer rapidement des modèles d’IA préentraînés. Plus important encore, elle prend en charge le réentraînement continu afin que les modèles d’IA puissent rester adaptables aux évolutions du monde réel.

Wei a également souligné qu’AITRIOS simplifie le processus pour les personnes qui ne possèdent pas une expertise approfondie en IA, en offrant la flexibilité nécessaire pour personnaliser les modèles d’IA selon des cas d’usage spécifiques de l’IA en périphérie. La plateforme s’attaque également aux défis courants tels que les contraintes de mémoire et les baisses de performances, ce qui facilite l’intégration de l’IA dans des appareils plus petits sans sacrifier la précision ni la vitesse.

Fig. 3. Exemples de cas d’usage de l’IA en périphérie. Source de l’image : SONY Semicon | AITRIOS.

Optimiser les modèles YOLO sur l’IMX500#

Dans la deuxième partie de la présentation, le micro a été passé à Amir, qui s’est penché sur l’aspect technique de l’optimisation des modèles YOLO sur le capteur IMX500 par Sony.

Amir a commencé ainsi : « Les modèles YOLO permettent l’exécution en périphérie et sont assez faciles à optimiser, grâce à Glenn et à son équipe. Je vais vous en convaincre, ne vous inquiétez pas. » Amir a ensuite expliqué que, même si l’on se concentre généralement beaucoup sur l’optimisation du modèle d’IA lui-même, cette approche néglige souvent un problème essentiel : les goulots d’étranglement du post-traitement.

Amir a souligné que, dans de nombreux cas, une fois que le modèle d’IA a terminé sa tâche, le transfert des données et le post-traitement sur un appareil hôte peuvent entraîner des délais importants. Ces transferts de données aller-retour entre l’appareil et l’hôte introduisent une latence qui peut constituer un obstacle majeur à l’obtention des meilleures performances.

Fig. 4. Amir Servi sur scène lors de YOLO Vision 2024 expliquant les goulots d’étranglement du post-traitement.

Pour y remédier, Amir a insisté sur l’importance d’examiner l’ensemble du système de bout en bout, plutôt que de se concentrer uniquement sur le modèle d’IA. Avec le capteur IMX500, ils ont découvert que le post-traitement constituait le principal goulot d’étranglement qui ralentissait l’ensemble du système. Il a expliqué que la véritable avancée consistait à débloquer la suppression non maximale (NMS) sur la puce.

Le post-traitement pouvait ainsi s’effectuer directement sur le capteur, éliminant la nécessité de transférer d’importants volumes de données vers un appareil hôte. En exécutant la NMS directement sur l’IMX500, Sony a franchi ce qu’Amir a appelé le « plafond de verre du post-traitement », obtenant de bien meilleures performances et réduisant la latence.

Fig. 5. Dépassement du goulot d’étranglement du post-traitement. Source de l’image : SONY Semicon | AITRIOS

Nous allons maintenant voir comment cette innovation a aidé les modèles YOLO, en particulier Ultralytics YOLOv8 Nano, à fonctionner plus efficacement sur les appareils en périphérie, créant de nouvelles possibilités pour le traitement de l’IA en temps réel sur du matériel plus petit et aux ressources limitées.

Les modèles Ultralytics YOLOv8 bénéficient d’une accélération de 4× avec l’IMX500 de Sony#

Pour conclure la présentation sur une note positive, Amir a montré comment ils avaient pu quadrupler les performances du modèle Ultralytics YOLOv8 Nano en exécutant la NMS en périphérie. Il l’a démontré sur un Raspberry Pi 5 intégré au capteur d’IA IMX500. Amir a comparé les performances lorsque le post-traitement était effectué sur un appareil hôte et lorsqu’il était effectué sur la puce IMX500.

Les résultats ont clairement montré une amélioration majeure du nombre d’images par seconde (FPS) et de l’efficacité globale lorsque le traitement était effectué sur la puce. L’optimisation a accéléré et fluidifié la détection d’objets, tout en démontrant la faisabilité du traitement de l’IA en temps réel sur des appareils plus petits et aux ressources limitées, comme le Raspberry Pi.

Points clés à retenir#

Le capteur IMX500 de Sony, la plateforme AITRIOS et les modèles Ultralytics YOLO redéfinissent le développement de l’IA en périphérie. Le traitement de l’IA sur la puce réduit les transferts de données et la latence, tout en améliorant la confidentialité, la sécurité et l’efficacité. En se concentrant sur l’ensemble du système, et pas seulement sur le modèle d’IA, ces innovations rendent l’IA en périphérie plus accessible aux développeurs et aux personnes qui ne possèdent pas une expertise approfondie en IA. À mesure que la technologie de l’IA en périphérie continue de progresser, elle permettra probablement de créer des appareils plus intelligents, d’accélérer la prise de décision et de renforcer la protection de la confidentialité dans un large éventail de secteurs et d’applications.

Reste connecté à notre communauté pour continuer à apprendre sur l’AI ! Consulte notre dépôt GitHub pour découvrir comment nous pouvons utiliser l’AI afin de créer des solutions innovantes dans divers secteurs comme l’agriculture et la fabrication. 🚀