Faire avancer la vision par ordinateur open source avec les transformers de Hugging Face

Poursuivons notre exploration des moments forts de l’événement YOLO VISION 2023 (YV23) en rencontrant Merve Noyan, ingénieure en relations avec les développeurs chez Hugging Face, la principale plateforme de traitement automatique du langage naturel (NLP), qui propose des modèles préentraînés pour développer efficacement des applications linguistiques. Dans sa présentation, Merve a partagé ses réflexions sur l’univers de la vision par ordinateur open source.

Voici un résumé de sa présentation sur l’apprentissage par transfert, les Transformers et l’écosystème open source de la vision par ordinateur.

L’apprentissage par transfert dévoilé : petit rappel#

Merve a commencé par une brève présentation de l’apprentissage par transfert, une technique qui transfère les connaissances d’un réseau neuronal à un autre. Imagine entraîner un modèle sur les caractéristiques générales des premières couches, comme les contours et les angles, puis l’affiner pour des tâches spécifiques. C’est le principe de l’apprentissage par transfert : réduire la dépendance aux données et améliorer la précision.

Merve a présenté des architectures convolutives classiques comme ResNet et Inception, avant d’introduire les modèles Transformer qui ont suivi.

Place aux transformers : une énigme dévoilée#

Qu’est-ce qui rend les Transformers si particuliers ? Merve a comparé leur fonctionnement à une énigme pour montrer en quoi ils diffèrent des modèles traditionnels fondés sur les convolutions. Leur capacité à effectuer un apprentissage auto-supervisé, en extrayant des caractéristiques sans données annotées, constitue un atout majeur. Parmi les modèles fondés sur les Transformers qu’elle a présentés figuraient Vision Transformer, Data-efficient Image Transformer (DeiT), CLIP et Swin Transformer.

Ultralytics prend également en charge un modèle Transformer conçu pour la détection d’objets, RT-DETR. Ce modèle comprend un encodeur hybride efficace, une sélection des requêtes tenant compte de l’IoU et une vitesse d’inférence réglable. Fait notable, il suit le fonctionnement familier des autres modèles Ultralytics YOLOv8 et propose des options de prédiction, d’entraînement, de validation et d’exportation.

Tout-en-un#

Merve a ensuite présenté les offres de Hugging Face, qui compte plus de 8 000 modèles pour les tâches classiques de vision par ordinateur et 10 000 modèles pour les applications multimodales. Le Hub Hugging Face héberge plus de 3 000 jeux de données, ce qui en fait une ressource utile pour les développeurs comme pour les passionnés. Merve a souligné la simplicité d’utilisation offerte par l’API cohérente de Hugging Face, qui propose des modèles prêts à l’emploi pour divers cas d’usage.

Mise en pratique avec Hugging Face#

La présentation est ensuite passée à des démonstrations pratiques montrant à quel point il est facile d’utiliser les modèles. De l’instanciation des modèles et des processeurs à leur ajustement fin avec l’API Trainer, Merve a clairement montré que la bibliothèque Transformers de Hugging Face est conçue pour les développeurs. Elle a également présenté l’API Pipeline, l’une de ses préférées, qui simplifie le flux de travail.

Fig. 1. Merve Noyan présente une conférence à YV23 sur le campus Google for Startups de Madrid.

Aperçu des applications#

Merve a conclu sa présentation en donnant un aperçu de quelques applications, notamment un modèle de réponse visuelle aux questions, BLIP pour le sous-titrage d’images et le Segment Anything Model pour la segmentation d’images. L’API Pipeline de l’écosystème Hugging Face était à l’honneur : elle permet d’utiliser facilement des modèles sans avoir à se plonger dans les détails techniques.

Pour couronner le tout, Merve a montré comment créer des illusions d’optique avec un modèle de diffusion, une expérience captivante qui apporte une touche ludique au monde de l’IA.

En bref !#

En conclusion, la présentation de Merve nous a donné envie d’explorer les possibilités de la vision par ordinateur open source. Hugging Face a rendu l’IA plus accessible et plus ludique, aidant les développeurs à concrétiser leurs idées. Vive l’avenir de la communauté open source et les innovations qu’elle apportera !

Regarde l’exposé complet de Hugging Face sur la vision par ordinateur !