Démocratiser l’IA en périphérie avec Sony IMX500 et AITRIOS

L’IA en périphérie permet aux modèles d’intelligence artificielle (IA) de fonctionner directement sur des appareils comme les smartphones, les caméras et les drones. Son principal avantage est de permettre une prise de décision plus rapide et en temps réel, sans dépendre du cloud. En effet, des études montrent que l’utilisation de l’IA sur des plateformes en périphérie peut accroître l’efficacité opérationnelle jusqu’à 40 %.

Les progrès récents de l’IA en périphérie, en particulier en vision par ordinateur, en ont fait un sujet central de YOLO Vision 2024 (YV24), l’événement hybride annuel d’Ultralytics qui rassemble des passionnés et des experts de l’IA pour explorer les dernières avancées en IA visuelle. La présentation principale de Sony a été l’un des temps forts de l’événement : l’entreprise y a présenté ses nouvelles solutions matérielles et logicielles d’IA. Le capteur IMX500 et la plateforme AITRIOS étaient à l’honneur, et Sony a montré comment ces innovations facilitent et optimisent le déploiement des modèles Ultralytics YOLO, comme Ultralytics YOLO11 et Ultralytics YOLOv8, en périphérie.

La session était animée par Wei Tang, responsable du développement commercial spécialisé dans les solutions d’imagerie de Sony, et Amir Servi, responsable produit en apprentissage profond en périphérie, spécialiste du déploiement de modèles d’apprentissage profond sur des appareils en périphérie.

Dans cet article, nous reviendrons sur la présentation de Sony à YV24 et verrons comment le capteur IMX500 et la plateforme AITRIOS optimisent l’utilisation des modèles YOLO pour accélérer le traitement de l’IA en temps réel en périphérie.

La vision de Sony : démocratiser l’IA sur les appareils en périphérie#

Wei Tang a ouvert la session en évoquant l’objectif de Sony : rendre l’IA en périphérie aussi accessible que la photographie l’est devenue il y a quelques années. Elle a souligné que Sony s’attache désormais à rendre l’IA visuelle avancée accessible à un plus grand nombre grâce à l’informatique en périphérie. L’impact positif que l’IA en périphérie peut avoir sur l’environnement est l’un des facteurs qui motivent cette démarche. En traitant les données directement sur les appareils plutôt qu’en s’appuyant sur d’immenses centres de données, l’informatique en périphérie réduit la consommation d’énergie et les émissions de carbone. C’est une approche plus intelligente et plus écologique, en accord avec l’engagement de Sony à créer des technologies qui fonctionnent mieux et contribuent à un avenir plus durable.

Wei a ensuite expliqué comment Sony Semiconductor Solutions, la division de Sony spécialisée dans les technologies d’imagerie et de détection, crée des capteurs d’image avancés. Ces capteurs, utilisés dans une grande variété d’appareils, convertissent la lumière en signaux électroniques pour capturer des images. Avec plus de 1,2 milliard de capteurs expédiés chaque année, ils équipent près de la moitié des téléphones mobiles dans le monde, ce qui fait de Sony un acteur majeur du secteur de l’imagerie.

Fig. 1. Exemples de capteurs d’image Sony.

Forte de cette expertise, Sony va plus loin en transformant ces capteurs, qui ne servaient qu’à capturer des images, en outils intelligents capables de traiter les données en temps réel et de fournir directement des informations issues de l’IA sur les appareils. Avant d’aborder les solutions matérielles et logicielles utilisées par Sony pour accompagner cette évolution, voyons quels défis de l’IA en périphérie ces innovations cherchent à résoudre.

Défis liés au traitement des images par IA sur les appareils en périphérie#

Le développement de solutions d’IA en périphérie présente plusieurs défis, en particulier avec des appareils comme les caméras et les capteurs. Beaucoup disposent d’une puissance et de capacités de traitement limitées, ce qui complique l’exécution efficace de modèles d’IA avancés.

Voici quelques autres limites importantes :

• Complexité logicielle : adapter des modèles d’IA à différents appareils en périphérie dotés de configurations matérielles variées peut s’avérer complexe et nécessiter des ajustements et des optimisations.
• Goulots d’étranglement du post-traitement : Le transfert de grandes quantités de données de l’appareil vers l’hôte pour le post-traitement entraîne souvent des délais. Ce transfert prend souvent plus de temps que l’inférence du modèle d’IA elle-même.
• Explosion des données : comme de nombreux appareils IoT génèrent constamment des données, le volume à traiter localement peut être écrasant et solliciter davantage les appareils en périphérie.

Découvrir le capteur de vision intelligent Sony IMX500#

Le capteur Sony IMX500 Intelligent Vision Sensor est un élément matériel clé pour le traitement de l’IA en périphérie. Sony le présente comme le premier capteur de vision intelligent au monde doté de capacités d’IA intégrées à la puce. Ce capteur contribue à surmonter de nombreux défis de l’IA en périphérie, notamment les goulots d’étranglement du traitement des données, les problèmes de confidentialité et les limites de performance.

Alors que les autres capteurs se contentent de transmettre des images et des trames, l’IMX500 raconte toute une histoire. Il traite les données directement sur le capteur, ce qui permet aux appareils de produire des informations en temps réel. Pendant la session, Wei Tang a déclaré : « En tirant parti de notre technologie avancée de capteurs d’image, nous voulons donner les moyens d’agir à une nouvelle génération d’applications capables d’améliorer la vie quotidienne. » L’IMX500 a été conçu dans cette optique : il transforme la façon dont les appareils traitent les données directement sur le capteur, sans avoir à les envoyer dans le cloud pour les traiter.

Voici quelques-unes de ses principales caractéristiques :

• Sortie de métadonnées : Au lieu d’envoyer des images entières, le capteur produit des métadonnées, ce qui réduit considérablement le volume des données, ainsi que l’utilisation de la bande passante et les coûts.
• Confidentialité renforcée : en traitant les données sur l’appareil, l’IMX500 améliore la confidentialité, notamment lorsque des informations sensibles sont en jeu, par exemple dans des tâches de vision par ordinateur portant sur des personnes, comme le comptage de personnes.
• Traitement en temps réel : La capacité du capteur à traiter rapidement les données permet une prise de décision rapide en temps réel, qui rend possibles des applications d’IA en périphérie comme les systèmes autonomes.

L’IMX500 n’est pas un simple capteur de caméra : c’est un puissant outil de détection qui transforme la façon dont les appareils perçoivent le monde qui les entoure et interagissent avec lui. En intégrant directement l’IA au capteur, Sony rend l’IA en périphérie plus accessible à des secteurs comme l’automobile, la santé et les villes intelligentes. Dans les sections suivantes, nous verrons plus en détail comment l’IMX500 fonctionne avec les modèles Ultralytics YOLO pour améliorer la détection d’objets et le traitement des données sur les appareils en périphérie.

Fig. 2. Wei Tang sur scène à YOLO Vision 2024 présente le capteur de vision intelligent Sony IMX500.

La plateforme AITRIOS de Sony : simplifier l’IA en périphérie#

Après avoir présenté le capteur IMX500, Wei Tang a expliqué que le matériel est essentiel, mais qu’il ne suffit pas à lui seul à relever l’ensemble des défis du déploiement de l’IA en périphérie. Elle a indiqué que l’intégration de l’IA dans des appareils comme les caméras et les capteurs nécessite plus qu’un matériel avancé : il faut aussi un logiciel intelligent pour le gérer. C’est là qu’intervient la plateforme AITRIOS de Sony, une solution logicielle fiable conçue pour simplifier et optimiser le déploiement de l’IA sur les appareils en périphérie.

AITRIOS fait le lien entre des modèles d’IA complexes et les limites des appareils en périphérie. La plateforme fournit aux développeurs différents outils pour déployer rapidement des modèles d’IA préentraînés. Mais surtout, elle prend en charge le réentraînement continu afin que les modèles d’IA puissent s’adapter aux changements du monde réel.

Wei a également souligné qu’AITRIOS simplifie le processus pour les personnes qui n’ont pas de connaissances approfondies en IA, en leur offrant la possibilité de personnaliser les modèles d’IA pour des cas d’usage précis en périphérie. La plateforme s’attaque également à des problèmes courants comme les limites de mémoire et les baisses de performance, ce qui facilite l’intégration de l’IA dans des appareils plus petits sans sacrifier la précision ni la vitesse.

Fig. 3. Exemples de cas d’usage de l’IA en périphérie. Source de l’image : SONY Semicon | AITRIOS.

Optimiser les modèles YOLO sur l’IMX500#

Dans la deuxième partie de la présentation, le micro a été passé à Amir, qui a abordé les aspects techniques de l’optimisation des modèles YOLO de Sony sur le capteur IMX500.

Amir a commencé par dire : « Les modèles YOLO sont adaptés à l’IA en périphérie et assez faciles à optimiser, grâce à Glenn et à son équipe. Je vais vous le prouver, ne vous inquiétez pas. » Amir a ensuite expliqué que, même si l’on met généralement l’accent sur l’optimisation du modèle d’IA lui-même, cette approche néglige souvent un problème crucial : les goulots d’étranglement du post-traitement.

Amir a souligné que, bien souvent, une fois que le modèle d’IA a terminé sa tâche, le transfert des données et le post-traitement sur un appareil hôte peuvent entraîner d’importants retards. Ces transferts de données entre l’appareil et l’hôte introduisent une latence qui peut constituer un obstacle majeur à l’obtention des meilleures performances.

Fig. 4. Amir Servi sur scène à YOLO Vision 2024, expliquant les goulots d’étranglement du post-traitement.

Pour résoudre ce problème, Amir a insisté sur l’importance d’examiner l’ensemble du système de bout en bout plutôt que de se concentrer uniquement sur le modèle d’IA. Avec le capteur IMX500, ils ont découvert que le post-traitement constituait le principal goulot d’étranglement qui ralentissait l’ensemble du système. Il a expliqué que la véritable percée a été de permettre l’exécution sur la puce de la suppression non maximale (NMS).

Cela a permis d’effectuer le post-traitement directement sur le capteur, sans avoir à transférer de grandes quantités de données vers un appareil hôte. En exécutant la NMS directement sur l’IMX500, Sony a dépassé ce qu’Amir a appelé le « plafond de verre du post-traitement », obtenant de bien meilleures performances et réduisant la latence.

Fig. 5. Surmonter le goulot d’étranglement du post-traitement. Source de l’image : SONY Semicon | AITRIOS

Nous verrons ensuite comment cette innovation a permis aux modèles YOLO, et notamment à Ultralytics YOLOv8 Nano, de fonctionner plus efficacement sur les appareils en périphérie, ouvrant ainsi de nouvelles possibilités pour le traitement de l’IA en temps réel sur du matériel plus petit aux ressources limitées.

Les modèles Ultralytics YOLOv8 accélèrent 4 fois grâce au Sony IMX500#

Pour conclure sa présentation en beauté, Amir a montré comment l’exécution de NMS en périphérie leur avait permis de quadrupler les performances du modèle Ultralytics YOLOv8 Nano. Il en a fait la démonstration sur un Raspberry Pi 5 associé au capteur d’IA IMX500. Amir a comparé les performances lorsque le post-traitement était effectué sur un appareil hôte et lorsqu’il était exécuté sur la puce IMX500.

Les résultats ont clairement montré une nette amélioration du nombre d’images par seconde (FPS) et de l’efficacité globale lorsque le traitement était effectué sur la puce. Cette optimisation a accéléré et fluidifié la détection d’objets et a également démontré le potentiel pratique du traitement de l’IA en temps réel sur des appareils plus petits aux ressources limitées, comme le Raspberry Pi.

Points clés à retenir#

Le capteur IMX500 de Sony, la plateforme AITRIOS et les modèles Ultralytics YOLO, réunis grâce au partenariat entre Ultralytics et Sony, transforment le développement de l’IA en périphérie. Le traitement de l’IA sur puce réduit les transferts de données et la latence tout en renforçant la confidentialité, la sécurité et l’efficacité. En se concentrant sur l’ensemble du système et pas seulement sur le modèle d’IA, ces innovations rendent l’IA en périphérie plus accessible aux développeurs et aux personnes qui ne possèdent pas de connaissances approfondies en IA. À mesure que cette technologie progresse, elle devrait permettre de créer des appareils plus intelligents, d’accélérer la prise de décision et de mieux protéger la confidentialité dans de nombreux secteurs et applications.

Reste en contact avec notre communauté pour continuer à en apprendre davantage sur l’IA ! Consulte notre dépôt GitHub pour découvrir comment nous pouvons utiliser l’IA afin de créer des solutions innovantes dans divers secteurs, comme l’agriculture et la fabrication.