Propulser les projets de vision par ordinateur avec les outils open source de Hugging Face

Choisir les bons algorithmes n’est qu’une étape dans la création de solutions de vision par ordinateur efficaces. Les ingénieurs en IA travaillent souvent avec de grands jeux de données, affinent les modèles pour des tâches spécifiques et optimisent les systèmes d’IA afin qu’ils fonctionnent dans des conditions réelles. À mesure que les applications d’IA sont adoptées plus rapidement, le besoin d’outils qui simplifient ces processus augmente également.

Lors de YOLO Vision 2024 (YV24), l’événement hybride annuel organisé par Ultralytics, des experts en IA et des passionnés de technologie se sont réunis pour découvrir les dernières innovations en vision par ordinateur. L’événement a suscité des discussions sur divers sujets, notamment les moyens d’accélérer le développement d’applications d’IA.

Un des moments forts de l’événement a été une conférence sur Hugging Face, une plateforme d’IA open source qui rationalise l’entraînement, l’optimisation et le déploiement des modèles. Pavel Iakubovskii, ingénieur en apprentissage automatique chez Hugging Face, a expliqué comment ses outils améliorent les flux de travail associés aux tâches de vision par ordinateur, comme la détection d’objets dans les images, le classement des images en différentes catégories et la réalisation de prédictions sans entraînement préalable sur des exemples spécifiques (apprentissage zero-shot).

Hugging Face Hub héberge différents modèles d’IA et permet d’y accéder, notamment à des modèles de vision par ordinateur comme Ultralytics YOLO11. Dans cet article, nous récapitulons les principaux enseignements de la présentation de Pavel et voyons comment les développeurs peuvent utiliser les outils open source de Hugging Face pour créer et déployer rapidement des modèles d’IA.

Fig. 1. Pavel sur scène à YV24.

Hugging Face Hub accélère le développement de l’IA#

Pavel a commencé sa présentation en présentant Hugging Face comme une plateforme d’IA open source qui propose des modèles préentraînés pour diverses applications. Ces modèles sont conçus pour différentes branches de l’IA, notamment le traitement automatique du langage naturel (NLP), la vision par ordinateur et l’IA multimodale, permettant aux systèmes de traiter différents types de données, comme du texte, des images et de l’audio.

Pavel a indiqué que Hugging Face Hub héberge désormais plus d’un million de modèles, que les développeurs peuvent facilement trouver en fonction de leurs projets spécifiques. Hugging Face vise à simplifier le développement de l’IA en proposant des outils d’entraînement, d’ajustement fin et de déploiement des modèles. La possibilité d’expérimenter avec différents modèles simplifie l’intégration de l’IA dans des applications concrètes.

Hugging Face était initialement connu pour le NLP, mais la plateforme s’est depuis étendue à la vision par ordinateur et à l’IA multimodale, permettant aux développeurs de s’attaquer à un éventail plus large de tâches d’IA. Elle dispose également d’une communauté active où les développeurs peuvent collaborer, échanger des idées et obtenir de l’aide sur les forums, Discord et GitHub.

Découvrir les modèles Hugging Face pour les applications de vision par ordinateur#

En approfondissant le sujet, Pavel a expliqué comment les outils de Hugging Face facilitent la création d’applications de vision par ordinateur. Les développeurs peuvent les utiliser pour des tâches comme la classification d’images, la détection d’objets et les applications vision-langage.

Il a également souligné que bon nombre de ces tâches de vision par ordinateur peuvent être réalisées avec les modèles préentraînés disponibles sur Hugging Face Hub, ce qui permet de gagner du temps en évitant de devoir entraîner les modèles de zéro. En fait, Hugging Face propose plus de 13 000 modèles préentraînés pour la classification d’images, notamment pour la classification des aliments, des animaux de compagnie et la détection des émotions.

Soulignant que ces modèles sont accessibles, il a déclaré : « Tu n’as probablement même pas besoin d’entraîner un modèle pour ton projet : tu en trouveras peut-être déjà un sur Hub, entraîné par un membre de la communauté. »

Modèles Hugging Face pour la détection d’objets#

Pour donner un autre exemple, Pavel a expliqué comment Hugging Face peut aider à la détection d’objets, une fonction essentielle de la vision par ordinateur qui sert à identifier et à localiser des objets dans des images. Même avec peu de données annotées, les modèles pré-entraînés disponibles sur le Hub Hugging Face peuvent rendre la détection d’objets plus efficace.

Il a également présenté brièvement plusieurs modèles conçus pour cette tâche, que tu peux trouver sur Hugging Face :

• Modèles de détection d’objets en temps réel : dans les environnements dynamiques où la vitesse est cruciale, des modèles comme le Transformer de détection (DETR) offrent des capacités de détection d’objets en temps réel. DETR est entraîné sur le jeu de données COCO et conçu pour traiter efficacement des caractéristiques multiscalaires, ce qui le rend adapté aux applications où le temps est un facteur déterminant.
• Modèles vision-langage : ces modèles combinent le traitement des images et du texte, ce qui permet aux systèmes d’IA d’associer des images à des descriptions ou de reconnaître des objets absents de leurs données d’entraînement. Parmi les exemples, on trouve CLIP et SigLIP, qui améliorent la recherche d’images en associant du texte à des visuels et permettent aux solutions d’IA d’identifier de nouveaux objets en comprenant leur contexte.
• Modèles de détection d’objets zero-shot : ils peuvent identifier des objets qu’ils n’ont jamais vus en comprenant la relation entre les images et le texte. Parmi les exemples, on trouve OwlVit, GroundingDINO et OmDet, qui utilisent l’apprentissage zero-shot pour détecter de nouveaux objets sans avoir besoin de données d’entraînement annotées.

Comment utiliser les modèles Hugging Face#

Pavel a ensuite abordé la mise en pratique des modèles Hugging Face et expliqué trois façons dont les développeurs peuvent les exploiter : découvrir des modèles, les tester rapidement et les personnaliser davantage.

Il a montré comment les développeurs peuvent parcourir les modèles directement sur le Hub Hugging Face sans écrire de code, et les tester instantanément grâce à une interface interactive. « Tu peux l’essayer sans écrire une seule ligne de code ni télécharger le modèle sur ton ordinateur », a ajouté Pavel. Comme certains modèles sont volumineux, les exécuter sur le Hub permet d’éviter les limites de stockage et de traitement.

Fig. 2. Comment utiliser les modèles Hugging Face.

De plus, l’API d’inférence Hugging Face permet aux développeurs d’exécuter des modèles d’IA à l’aide de simples appels API. Elle est idéale pour les tests rapides, les projets de preuve de concept et le prototypage rapide, sans configuration complexe.

Pour les cas d’utilisation plus avancés, les développeurs peuvent utiliser le framework Transformers de Hugging Face, un outil open source qui fournit des modèles pré-entraînés pour les tâches de traitement du texte, de vision et d’audio, tout en prenant en charge PyTorch et TensorFlow. Pavel a expliqué qu’avec seulement deux lignes de code, les développeurs peuvent récupérer un modèle depuis le Hub Hugging Face et le relier à un outil de prétraitement, comme un processeur d’images, pour analyser des données d’image dans des applications d’IA visuelle.

Optimiser les workflows d’IA avec Hugging Face#

Pavel a ensuite expliqué comment Hugging Face peut rationaliser les workflows d’IA. Il a notamment abordé l’optimisation du mécanisme d’attention dans Transformers, une fonctionnalité centrale des modèles d’apprentissage profond qui les aide à se concentrer sur les parties les plus pertinentes des données d’entrée. Cela améliore la précision des tâches de traitement du langage et de vision par ordinateur. Toutefois, ce mécanisme peut nécessiter beaucoup de ressources.

L’optimisation du mécanisme d’attention peut réduire considérablement l’utilisation de la mémoire tout en accélérant le traitement. Pavel a souligné : « Par exemple, en passant à une implémentation de l’attention plus efficace, tu pourrais obtenir des performances jusqu’à 1,8 fois plus rapides. »

Hugging Face intègre la prise en charge d’implémentations de l’attention plus efficaces dans le framework Transformers. Les développeurs peuvent activer ces optimisations en indiquant simplement une autre implémentation de l’attention lors du chargement d’un modèle.

Optimum et Torch Compile#

Il a également parlé de la quantification, une technique qui réduit la taille des modèles d’IA en diminuant la précision des nombres qu’ils utilisent, sans trop affecter leurs performances. Les modèles consomment ainsi moins de mémoire et s’exécutent plus rapidement, ce qui les rend mieux adaptés aux appareils dotés d’une puissance de traitement limitée, comme les smartphones et les systèmes embarqués.

Pour améliorer encore l’efficacité, Pavel a présenté la bibliothèque Optimum de Hugging Face, un ensemble d’outils conçus pour optimiser et déployer des modèles. En quelques lignes de code, les développeurs peuvent appliquer des techniques de quantification et convertir des modèles dans des formats efficaces comme ONNX (Échange ouvert de réseaux neuronaux), afin de les exécuter sans problème sur différents types de matériel, notamment des serveurs cloud et des appareils en périphérie.

Fig. 3. Pavel a présenté la bibliothèque Optimum et ses fonctionnalités.

Enfin, Pavel a évoqué les avantages de Torch Compile, une fonctionnalité de PyTorch qui optimise le traitement des données par les modèles d’IA afin de les rendre plus rapides et plus efficaces. Hugging Face intègre Torch Compile à ses bibliothèques Transformers et Optimum, ce qui permet aux développeurs de profiter de ces gains de performance avec un minimum de modifications du code.

En optimisant la structure de calcul du modèle, Torch Compile peut accélérer l’inférence et faire passer la fréquence d’images de 29 à 150 images par seconde sans compromettre la précision ni la qualité.

Déployer des modèles avec les outils Hugging Face#

Pavel a ensuite évoqué brièvement la façon dont les développeurs peuvent étendre et déployer des modèles d’IA visuelle à l’aide des outils Hugging Face, après avoir sélectionné le bon modèle et choisi la meilleure approche de développement.

Par exemple, les développeurs peuvent déployer des applications d’IA interactives avec Gradio et Streamlit. Gradio permet de créer des interfaces Web pour les modèles d’apprentissage automatique, tandis que Streamlit aide à créer des applications de données interactives à l’aide de simples scripts Python.

Pavel a également souligné : « Tu n’as pas besoin de tout recommencer à zéro », en faisant référence aux guides, aux notebooks d’entraînement et aux scripts d’exemple fournis par Hugging Face. Ces ressources permettent aux développeurs de démarrer rapidement sans avoir à tout construire de toutes pièces.

Fig. 4. Pavel présente les capacités de Hugging Face à YV24.

Avantages du Hub Hugging Face#

Pour conclure son discours d’ouverture, Pavel a résumé les avantages du Hub Hugging Face. Il a mis en avant la simplification de la gestion des modèles et de la collaboration. Il a également souligné la disponibilité de guides, de notebooks et de tutoriels, qui peuvent aider les débutants comme les experts à comprendre et à mettre en œuvre des modèles d’IA.

« Il y a déjà plein d’espaces intéressants sur le Hub. Tu peux en trouver de similaires, cloner le code partagé, modifier quelques lignes, remplacer le modèle par le tien et le renvoyer », a-t-il expliqué, en encourageant les développeurs à tirer parti de la flexibilité de la plateforme.

Points clés à retenir#

Lors de son intervention à YV24, Pavel a expliqué comment Hugging Face fournit des outils pour l’entraînement, l’optimisation et le déploiement de modèles d’IA. Par exemple, des innovations comme Transformers, Optimum et Torch Compile peuvent aider les développeurs à améliorer les performances de leurs modèles.

À mesure que les modèles d’IA gagnent en efficacité, les progrès de la quantification et du déploiement en périphérie facilitent leur exécution sur des appareils aux ressources limitées. Ces améliorations, associées à des outils comme Hugging Face et à des modèles avancés de vision par ordinateur comme Ultralytics YOLO11, sont essentielles pour créer des applications d’IA visuelle évolutives et performantes.

Rejoins notre communauté en pleine croissance ! Explore notre dépôt GitHub pour en apprendre davantage sur l’IA, et consulte nos licences YOLO pour démarrer tes projets d’IA visuelle. Les innovations comme la vision par ordinateur dans le secteur de la santé ou la vision par ordinateur dans l’agriculture t’intéressent ? Consulte nos pages de solutions pour en savoir plus !