En cliquant sur "Accepter tous les cookies", vous acceptez que des cookies soient stockés sur votre appareil afin d'améliorer la navigation sur le site, d'analyser l'utilisation du site et de nous aider dans nos efforts de marketing. Plus d'informations
Paramètres des cookies
En cliquant sur "Accepter tous les cookies", vous acceptez que des cookies soient stockés sur votre appareil afin d'améliorer la navigation sur le site, d'analyser l'utilisation du site et de nous aider dans nos efforts de marketing. Plus d'informations
Découvrez comment Edge AI et les innovations de NVIDIA, telles que Jetson, Triton et TensorRT, simplifient le déploiement des applications de vision par ordinateur.
Grâce aux récentes avancées dans le domaine de la vision par ordinateur et de l'intelligence artificielle (IA), ce qui n'était autrefois qu'un simple domaine de recherche est aujourd'hui à l'origine d'applications percutantes dans toute une série d'industries. Des voitures autonomes à l'imagerie médicale en passant par la sécurité, les systèmes de vision par ordinateur résolvent des problèmes réels à grande échelle.
Nombre de ces applications impliquent l'analyse d'images et de vidéos en temps réel, et le recours à l'informatique en nuage n'est pas toujours pratique en raison des temps de latence, des coûts et des problèmes de confidentialité. L 'Edge AI est une excellente solution dans ces situations. En exécutant les modèles Vision AI directement sur les appareils périphériques, les entreprises peuvent traiter les données plus rapidement, à moindre coût et avec une plus grande sécurité, ce qui rend l'IA en temps réel plus accessible.
Au cours de YOLO Vision 2024 (YV24), l'événement hybride annuel organisé par Ultralytics, l'un des thèmes centraux était la démocratisation de Vision AI en rendant le déploiement plus convivial et plus efficace. Guy Dahan, Senior Solutions Architect chez NVIDIA, a expliqué comment les solutions matérielles et logicielles de NVIDIA, notamment les appareils de edge computing, les serveurs d'inférence, les frameworks d'optimisation et les SDK de déploiement de l'IA, aident les développeurs à optimiser l'IA à la périphérie.
Dans cet article, nous allons explorer les points clés de la présentation de Guy Dahan à l'YV24 et comment les dernières innovations de NVIDIA rendent le déploiement de Vision AI plus rapide et plus évolutif.
Qu'est-ce que l'IA périphérique ?
Guy Dahan a commencé son intervention en exprimant son enthousiasme à l'idée de rejoindre virtuellement YV24 et son intérêt pour le package Ultralytics Python et les modèles Ultraalytics YOLO, en déclarant : "J'utilise Ultralytics depuis le jour de sa sortie. J'aime beaucoup Ultralytics - j'utilisais déjà YOLOv5 avant cela, et je suis un vrai passionné de ce progiciel".
Il a ensuite présenté le concept d'Edge AI, expliquant qu'il s'agit d'exécuter des calculs d'IA directement sur des appareils tels que des caméras, des drones ou des machines industrielles, plutôt que d'envoyer des données à des serveurs cloud distants pour les traiter.
Au lieu d'attendre que les images ou les vidéos soient téléchargées, analysées, puis renvoyées avec les résultats, Edge AI permet d'analyser les données instantanément sur l'appareil lui-même. Les systèmes Vision AI sont ainsi plus rapides, plus efficaces et moins dépendants de la connectivité internet. L'Edge AI est particulièrement utile pour les applications de prise de décision en temps réel, telles que les voitures autonomes, les caméras de sécurité et les usines intelligentes.
Principaux avantages de l'IA périphérique
Après avoir présenté l'Edge AI, Guy Dahan a souligné ses principaux avantages, en mettant l'accent sur l'efficacité, la réduction des coûts et la sécurité des données. Il a expliqué que l'un des plus grands avantages est la faible latence - puisque les modèles d'IA traitent les données directement sur l'appareil, il n'est pas nécessaire d'envoyer des informations au nuage et d'attendre une réponse.
L'Edge AI permet également de réduire les coûts et de protéger les données sensibles. L'envoi de grandes quantités de données vers le nuage, en particulier les flux vidéo, peut s'avérer coûteux. En revanche, le traitement local permet de réduire les coûts de bande passante et de stockage.
Un autre avantage clé est la confidentialité des données, car les informations restent sur l'appareil au lieu d'être transférées vers un serveur externe. Ceci est particulièrement important pour les applications de santé, de finance et de sécurité, où la conservation des données au niveau local et en toute sécurité est une priorité absolue.
Fig 1. Guy Dahan présente à distance à YV24 les avantages de l'edge AI.
S'appuyant sur ces avantages, Guy Dahan a commenté l'adoption croissante de l'Edge AI. Il a fait remarquer que depuis que NVIDIA a introduit Jetson en 2014, l'utilisation a été multipliée par dix. Aujourd'hui, plus de 1,2 million de développeurs travaillent avec des appareils Jetson.
Vue d'ensemble de NVIDIA Jetson : un dispositif d'IA de pointe
Guy Dahan s'est ensuite concentré sur les appareils NVIDIA Jetson, une famille d'appareils informatiques de pointe pour l'IA conçus pour fournir de hautes performances avec une faible consommation d'énergie. Les appareils Jetson sont idéaux pour les applications de vision par ordinateur dans des secteurs tels que la robotique, l'agriculture, la santé et l'automatisation industrielle. "Les Jetson sont des dispositifs Edge AI spécialement conçus pour l'IA. Je pourrais même ajouter qu'à l'origine, ils ont été conçus principalement pour la vision par ordinateur", a ajouté Guy Dahan.
Les appareils Jetson se déclinent en trois niveaux, chacun adapté à des besoins différents :
Entrée de gamme: Ces dispositifs offrent des performances d'IA de 20 à 40 billions d'opérations par seconde (TOPS) pour une consommation d'énergie de 10 à 15 W, ce qui en fait un choix abordable pour les applications de pointe.
Grand public: Équilibre entre performance et efficacité, offrant 70 à 200 TOPS avec une consommation d'énergie de 20 à 40 W, adapté aux charges de travail d'IA de milieu de gamme.
Haute performance: Jusqu'à 275 TOPS pour une consommation d'énergie de 60 à 75 W. Conçu pour les applications d'IA exigeantes telles que la robotique et l'automatisation.
Guy Dahan a également parlé de la prochaine Jetson AGX Thor, qui sera lancée cette année, et a indiqué qu'elle offrira huit fois plus de performances au niveau du GPU (Graphics Processing Unit), deux fois plus de capacité de mémoire et de meilleures performances au niveau du CPU (Central Processing Unit). Il est spécialement conçu pour la robotique humanoïde et les applications avancées d'intelligence artificielle.
Défis liés au déploiement de modèles de vision par ordinateur
Guy Dahan a ensuite abordé l'aspect logiciel de l'Edge AI et a expliqué que même avec un matériel puissant, le déploiement efficace de modèles peut s'avérer difficile.
L'un des principaux obstacles est la compatibilité, car les développeurs d'IA travaillent souvent avec différents frameworks d'IA tels que PyTorch et TensorFlow. Le passage d'un framework à l'autre peut s'avérer difficile, obligeant les développeurs à recréer des environnements pour s'assurer que tout fonctionne correctement.
L'évolutivité est un autre défi majeur. Les modèles d'IA nécessitent une puissance de calcul importante et, comme le dit M. Dahan, "il n'y a jamais eu d'entreprise d'IA qui veuille moins de calcul". L'expansion des applications d'IA sur plusieurs appareils peut rapidement devenir coûteuse, ce qui rend l'optimisation essentielle.
Par ailleurs, les pipelines d'IA sont complexes et impliquent souvent différents types de données, un traitement en temps réel et l'intégration de systèmes. Les développeurs déploient beaucoup d'efforts pour s'assurer que leurs modèles interagissent de manière transparente avec les écosystèmes logiciels existants. Il est essentiel de relever ces défis pour rendre les déploiements d'IA plus efficaces et plus évolutifs.
Fig. 2. Défis liés au déploiement du modèle.
Simplifier le déploiement avec le serveur d'inférence Triton de NVIDIA
Guy Dahan s'est ensuite intéressé au serveur d'inférence Triton de NVIDIA. Il a souligné que de nombreuses entreprises et startups commencent le développement de l'IA sans optimiser complètement leurs modèles. La refonte complète d'un pipeline d'IA à partir de zéro peut s'avérer perturbante et chronophage, ce qui rend difficile une mise à l'échelle efficace.
Au lieu de nécessiter une refonte complète du système, Triton permet aux développeurs d'affiner et d'optimiser progressivement leurs flux de travail d'IA, en intégrant des composants plus efficaces sans interrompre leur configuration existante. Grâce à la prise en charge de plusieurs frameworks d'IA, notamment TensorFlow, PyTorch, ONNX et TensorRT, Triton permet un déploiement transparent dans les environnements en nuage, les centres de données et les périphériques avec un minimum d'ajustements.
Fig. 3. Vue d'ensemble du serveur d'inférence Triton de NVIDIA.
Voici quelques-uns des principaux avantages du serveur d'inférence Triton de NVIDIA :
Mise en lots automatique: Triton regroupe plusieurs demandes d'IA avant de les traiter, ce qui réduit les délais (latence) et améliore la vitesse d'inférence (le temps nécessaire à un modèle d'IA pour générer des résultats).
Intégration de Kubernetes: Triton est cloud-native, ce qui signifie qu'il fonctionne de manière transparente avec Kubernetes (un système qui aide à gérer et à mettre à l'échelle les applications d'IA sur plusieurs ordinateurs ou serveurs cloud).
Open-source et personnalisable: Les développeurs peuvent modifier Triton pour l'adapter à leurs besoins spécifiques, ce qui garantit une grande souplesse pour un large éventail d'applications d'IA.
Maximiser les performances de l'IA avec NVIDIA TensorRT
Supposons que vous recherchiez encore plus d'accélération, NVIDIA TensorRT est une option intéressante pour optimiser vos modèles d'IA. Guy Dahan explique que TensorRT est un optimiseur d'apprentissage profond hautes performances conçu pour les GPU NVIDIA. Les modèles de TensorFlow, PyTorch, ONNX et MXNet peuvent être convertis en fichiers exécutables par le GPU à l'aide de TensorRT.
Ce qui rend TensorRT si fiable, ce sont ses optimisations spécifiques au matériel. Un modèle optimisé pour les appareils Jetson ne sera pas aussi efficace sur d'autres GPU, car TensorRT ajuste les performances en fonction du matériel cible. Un modèle de vision par ordinateur optimisé peut augmenter la vitesse d'inférence jusqu'à 36 fois par rapport à des modèles non optimisés.
Guy Dahan a également attiré l'attention sur la prise en charge de TensorRT par Ultralytics, expliquant comment elle rend le déploiement de modèles d'IA plus rapide et plus efficace. Les modèles YOLO d'Ultralytics peuvent être directement exportés au format TensorRT, ce qui permet aux développeurs de les optimiser pour les GPU NVIDIA sans avoir à les modifier.
DeepStream 7.0 : une boîte à outils pour l'analyse en continu
Pour conclure la conférence sur une note positive, Guy Dahan a présenté DeepStream 7.0, un framework d'IA conçu pour le traitement en temps réel des données vidéo, audio et des capteurs à l'aide des GPU NVIDIA. Conçu pour prendre en charge les applications de vision par ordinateur à haut débit, il permet la détection, le suivi et l'analyse d'objets dans les systèmes autonomes, la sécurité, l'automatisation industrielle et les villes intelligentes. En exécutant l'IA directement sur les appareils périphériques, DeepStream élimine la dépendance au cloud, réduisant ainsi la latence et améliorant l'efficacité.
Fig 4. Exploration de DeepStream 7.0 à YV24 avec Guy Dahan.
Plus précisément, DeepStream peut prendre en charge le traitement vidéo alimenté par l'IA du début à la fin. Il prend en charge les flux de travail de bout en bout, du décodage vidéo et du prétraitement à l'inférence d'IA et au post-traitement.
Récemment, DeepStream a introduit plusieurs mises à jour pour améliorer le déploiement de l'IA, la rendant plus accessible et évolutive. De nouveaux outils simplifient le développement, améliorent le suivi de plusieurs caméras et optimisent les pipelines d'IA pour de meilleures performances.
Les développeurs disposent désormais d'une prise en charge étendue des environnements Windows, de capacités de fusion de capteurs améliorées pour l'intégration de données provenant de sources multiples, et d'un accès à des applications de référence préconstruites pour accélérer le déploiement. Ces améliorations font de DeepStream une solution plus flexible et plus efficace pour les applications d'IA en temps réel, aidant les développeurs à mettre à l'échelle l'analyse vidéo intelligente avec facilité.
Principaux enseignements
Comme l'a illustré Guy Dahan lors de son discours d'ouverture à YV24, l'Edge AI est en train de redéfinir les applications de vision par ordinateur. Grâce aux progrès du matériel et des logiciels, le traitement en temps réel devient plus rapide, plus efficace et plus rentable.
Alors que de plus en plus d'industries adoptent l'Edge AI, il sera essentiel de relever des défis tels que la fragmentation et la complexité du déploiement pour libérer tout son potentiel. L'adoption de ces innovations permettra de créer des applications d'IA plus intelligentes et plus réactives, qui façonneront l'avenir de la vision par ordinateur.