Déployer des applications de vision par ordinateur sur des appareils Edge AI

Grâce aux récentes avancées en matière de computer vision et d'intelligence artificielle (IA), ce qui n'était autrefois qu'un domaine de recherche alimente désormais des applications à fort impact dans de nombreux secteurs. Des voitures autonomes à l'imagerie médicale et à la sécurité, les systèmes de computer vision résolvent de vrais problèmes à grande échelle.

Nombre de ces applications impliquent l'analyse d'images et de vidéos en temps réel, et se reposer sur le cloud computing n'est pas toujours pratique en raison de la latence, des coûts et des préoccupations liées à la confidentialité. L'Edge AI est une excellente solution dans ces situations. En exécutant des modèles d'IA de vision directement sur des appareils en périphérie, les entreprises peuvent traiter les données plus rapidement, de manière plus abordable et avec une meilleure sécurité, rendant ainsi l'IA en temps réel plus accessible.

Lors de la YOLO Vision 2024 (YV24), l'événement hybride annuel organisé par Ultralytics, l'un des thèmes centraux était la démocratisation de la vision AI en rendant le déploiement plus convivial et efficace. Guy Dahan, architecte de solutions senior chez NVIDIA, a expliqué comment les solutions matérielles et logicielles de NVIDIA, notamment les appareils d'edge computing, les serveurs d'inférence, les frameworks d'optimisation et les SDK de déploiement d'IA, aident les développeurs à optimiser l'IA en périphérie.

Dans cet article, nous explorerons les points clés du discours de Guy Dahan lors de la YV24 et comment les dernières innovations de NVIDIA rendent le déploiement de l'IA de vision plus rapide et plus évolutif.

Link to this sectionQu'est-ce que l'Edge AI ?#

Guy Dahan a commencé son intervention en exprimant son enthousiasme à l'idée de participer virtuellement à la YV24 et son intérêt pour le package Ultralytics Python et les YOLO models d'Ultralytics, déclarant : « J'utilise Ultralytics depuis le jour de sa sortie. J'aime vraiment Ultralytics - j'utilisais déjà YOLOv5 avant même cela, et je suis un vrai passionné de ce package. »

Ensuite, il a introduit le concept d'Edge AI, expliquant qu'il implique l'exécution des calculs d'IA directement sur des appareils tels que des caméras, des drones ou des machines industrielles, plutôt que d'envoyer des données à des serveurs cloud distants pour traitement.

Au lieu d'attendre que les images ou les vidéos soient téléchargées, analysées, puis renvoyées avec les résultats, l'Edge AI permet d'analyser les données instantanément sur l'appareil lui-même. Cela rend les systèmes d'IA de vision plus rapides, plus efficaces et moins dépendants de la connectivité Internet. L'Edge AI est particulièrement utile pour les applications de prise de décision en temps réel, telles que les voitures autonomes, les caméras de sécurité et les usines intelligentes.

Link to this sectionAvantages clés de l'Edge AI#

Après avoir présenté l'Edge AI, Guy Dahan a mis en avant ses principaux avantages, en se concentrant sur l'efficacité, les économies de coûts et la sécurité des données. Il a expliqué que l'un des plus grands avantages est la faible latence : comme les modèles d'IA traitent les données directement sur l'appareil, il n'est pas nécessaire d'envoyer des informations vers le cloud et d'attendre une réponse.

L'Edge AI aide également à réduire les coûts et à protéger les données sensibles. L'envoi de grandes quantités de données vers le cloud, en particulier les flux vidéo, peut être coûteux. Cependant, leur traitement local réduit les coûts de bande passante et de stockage.

Un autre avantage clé est la data privacy car les informations restent sur l'appareil au lieu d'être transférées vers un serveur externe. Ceci est particulièrement important pour les applications de santé, de finance et de sécurité, où le maintien des données en local et en sécurité est une priorité absolue.

Fig 1. Guy Dahan présentant à distance à la YV24 les avantages de l'Edge AI.

S'appuyant sur ces avantages, Guy Dahan a commenté l'adoption croissante de l'Edge AI. Il a noté que depuis que NVIDIA a introduit Jetson en 2014, son utilisation a été multipliée par dix. Aujourd'hui, plus de 1,2 million de développeurs travaillent avec des appareils Jetson.

Link to this sectionAperçu de NVIDIA Jetson : un appareil d'Edge AI#

Guy Dahan s'est ensuite concentré sur les NVIDIA Jetson devices, une famille d'appareils d'edge computing IA conçus pour offrir des performances élevées avec une faible consommation d'énergie. Les appareils Jetson sont idéaux pour les applications de computer vision dans des secteurs comme la robotique, l'agriculture, la santé et l'automatisation industrielle. « Les Jetson sont des appareils d'Edge AI spécifiquement conçus pour l'IA. Je pourrais même ajouter qu'à l'origine, ils étaient principalement conçus pour la computer vision », a ajouté Guy Dahan.

Les appareils Jetson sont disponibles en trois niveaux, chacun adapté à des besoins différents :

• Entrée de gamme : Ces appareils offrent 20 à 40 Trillion Operations Per Second (TOPS) de performance IA avec une consommation électrique de 10 à 15W, ce qui en fait un choix abordable pour les applications en périphérie.
• Grand public (Mainstream) : Équilibre performance et efficacité, offrant 70 à 200 TOPS avec une consommation électrique de 20 à 40W, adapté aux charges de travail d'IA de milieu de gamme.
• Haute performance : Offre jusqu'à 275 TOPS avec une consommation électrique de 60 à 75W, conçu pour des applications d'IA exigeantes comme la robotique et l'automatisation.

De plus, Guy Dahan a parlé du prochain Jetson AGX Thor, dont le lancement est prévu cette année, et a déclaré qu'il offrira huit fois plus de performances GPU, deux fois plus de capacité mémoire et des performances CPU améliorées. Il est spécifiquement conçu pour la robotique humanoïde et les applications d'Edge AI avancées.

Link to this sectionDéfis liés au déploiement de modèles de computer vision#

Guy Dahan s'est ensuite tourné vers le côté logiciel de l'Edge AI et a expliqué que, même avec un matériel puissant, le déploiement efficace des modèles peut être un défi.

L'un des plus grands obstacles est la compatibilité, car les développeurs d'IA travaillent souvent avec différents AI frameworks comme PyTorch et TensorFlow. Passer d'un framework à l'autre peut être difficile, obligeant les développeurs à recréer des environnements pour s'assurer que tout fonctionne correctement.

L'évolutivité est un autre défi majeur. Les modèles d'IA nécessitent une puissance de calcul importante, et comme l'a dit Dahan : « Il n'y a jamais eu d'entreprise d'IA qui veut moins de calcul. » Étendre les applications d'IA sur plusieurs appareils peut rapidement devenir coûteux, rendant l'optimisation essentielle.

De plus, les pipelines d'IA sont complexes, impliquant souvent différents types de données, un traitement en temps réel et une intégration système. Les développeurs consacrent beaucoup d'efforts à faire en sorte que leurs modèles interagissent de manière transparente avec les écosystèmes logiciels existants. Surmonter ces défis est une partie cruciale pour rendre les AI deployments plus efficaces et évolutifs.

Fig 2. Défis liés au déploiement de modèles.

Link to this sectionSimplifier le déploiement avec NVIDIA Triton Inference Server#

Ensuite, Guy Dahan a porté son attention sur NVIDIA Triton Inference Server. Il a souligné que de nombreuses entreprises et startups commencent le développement de l'IA sans optimiser pleinement leurs modèles. Repenser tout un pipeline d'IA à partir de zéro peut être perturbateur et long, rendant difficile une montée en charge efficace.

Au lieu de nécessiter une refonte complète du système, Triton permet aux développeurs d'affiner et d'optimiser progressivement leurs flux de travail d'IA, en intégrant des composants plus efficaces sans perturber leur configuration existante. Avec la prise en charge de plusieurs frameworks d'IA, notamment TensorFlow, PyTorch, ONNX et TensorRT, Triton permet un déploiement transparent sur les environnements cloud, les centres de données et les appareils en périphérie avec un minimum d'ajustements.

Fig 3. Aperçu de NVIDIA Triton Inference Server.

Voici quelques-uns des principaux avantages de NVIDIA Triton Inference Server :

• Batching automatique : Triton regroupe plusieurs requêtes d'IA avant de les traiter, réduisant les délais (latence) et améliorant la vitesse d'inférence (le temps nécessaire pour qu'un modèle d'IA génère des résultats).
• Intégration Kubernetes : Triton est cloud-native, ce qui signifie qu'il fonctionne parfaitement avec Kubernetes (un système qui aide à gérer et à faire évoluer les applications d'IA sur plusieurs ordinateurs ou serveurs cloud).
• Open-source et personnalisable : Les développeurs peuvent modifier Triton pour répondre à leurs besoins spécifiques, garantissant ainsi une flexibilité pour un large éventail d'applications d'IA.

Link to this sectionMaximiser les performances de l'IA avec NVIDIA TensorRT#

Disons que vous cherchez encore plus d'accélération ; NVIDIA TensorRT est une option intéressante pour optimiser vos modèles d'IA. Guy Dahan a précisé que TensorRT est un optimiseur de deep learning haute performance conçu pour les GPU NVIDIA. Les modèles issus de TensorFlow, PyTorch, ONNX et MXNet peuvent être convertis en fichiers hautement efficaces exécutables sur GPU grâce à TensorRT.

Ce qui rend TensorRT si fiable, ce sont ses optimisations spécifiques au matériel. Un modèle optimisé pour les appareils Jetson ne sera pas aussi performant sur d'autres GPU car TensorRT affine les performances en fonction du matériel cible. Un modèle de computer vision bien réglé peut entraîner une augmentation de la vitesse d'inférence jusqu'à 36 fois par rapport à des modèles non optimisés.

Guy Dahan a également attiré l'attention sur la prise en charge de TensorRT par Ultralytics, expliquant comment cela rend le déploiement de modèles d'IA plus rapide et plus efficace. Les modèles Ultralytics YOLO peuvent être directement exportés au format TensorRT, permettant aux développeurs de les optimiser pour les GPU NVIDIA sans avoir besoin d'effectuer de changements.

Link to this sectionDeepStream 7.0 : une boîte à outils d'analyse en streaming#

Pour conclure l'intervention sur une note positive, Guy Dahan a présenté DeepStream 7.0 - un framework d'IA conçu pour le traitement en temps réel de données vidéo, audio et de capteurs utilisant des GPU NVIDIA. Conçu pour prendre en charge les applications de computer vision à haute vitesse, il permet la détection d'objets, le suivi et l'analyse dans les systèmes autonomes, la sécurité, l'automatisation industrielle et les villes intelligentes. En exécutant l'IA directement sur des appareils en périphérie, DeepStream élimine la dépendance au cloud, réduisant la latence et améliorant l'efficacité.

Fig 4. Explorer DeepStream 7.0 à la YV24 avec Guy Dahan.

Plus précisément, DeepStream peut gérer le traitement vidéo piloté par l'IA de bout en bout. Il prend en charge des flux de travail complets, du décodage vidéo et du pré-traitement à l'inférence IA et au post-traitement.

Récemment, DeepStream a introduit plusieurs mises à jour pour améliorer le déploiement de l'IA, le rendant plus accessible et évolutif. De nouveaux outils simplifient le développement, améliorent le suivi multi-caméras et optimisent les pipelines d'IA pour de meilleures performances.

Les développeurs disposent désormais d'une prise en charge étendue pour les environnements Windows, de capacités de fusion de capteurs améliorées pour l'intégration de données provenant de sources multiples, et d'un accès à des applications de référence pré-construites pour accélérer le déploiement. Ces améliorations font de DeepStream une solution plus flexible et efficace pour les applications d'IA en temps réel, aidant les développeurs à faire évoluer l'analyse vidéo intelligente avec facilité.

Link to this sectionPoints clés#

Comme illustré dans le discours de Guy Dahan à la YV24, l'Edge AI redéfinit les applications de computer vision. Avec les avancées matérielles et logicielles, le traitement en temps réel devient plus rapide, plus efficace et rentable.

À mesure que davantage d'industries adoptent l'Edge AI, relever les défis tels que la fragmentation et la complexité du déploiement sera essentiel pour libérer tout son potentiel. Adopter ces innovations favorisera des applications d'IA plus intelligentes et plus réactives, façonnant l'avenir de la computer vision.

Rejoins notre communauté grandissante ! Explore notre dépôt GitHub pour en savoir plus sur l'IA, et consulte nos options de licence pour lancer tes projets d'IA de vision. Curieux au sujet des innovations comme l'IA dans la santé et la computer vision dans la fabrication ? Visite nos pages de solutions pour en savoir plus !