L’IA générative transforme l’avenir de la vision par ordinateur

L’IA générative est une branche de l’intelligence artificielle (IA) qui crée de nouveaux contenus, comme des images, du texte ou de l’audio, en apprenant des motifs à partir de données existantes. Grâce aux avancées récentes, elle peut désormais produire des contenus très réalistes qui imitent souvent la créativité humaine.

Cependant, l’impact de l’IA générative va bien au-delà de la simple création de contenu. À mesure que les modèles de vision par ordinateur en temps réel comme les modèles Ultralytics YOLO continuent d’évoluer, l’IA générative redéfinit également le traitement et l’augmentation des données visuelles, ouvrant la voie à des applications innovantes dans des situations réelles.

Cette évolution technologique a suscité des échanges intéressants lors de YOLO Vision 2024 (YV24), un événement hybride annuel organisé par Ultralytics. YV24 a réuni des passionnés d’IA et des leaders du secteur pour discuter des dernières avancées en vision par ordinateur. L’événement était axé sur l’innovation, l’efficacité et l’avenir des solutions d’IA en temps réel.

L’un des temps forts de l’événement était une table ronde sur YOLO à l’ère de l’IA générative. Elle réunissait Glenn Jocher, fondateur et PDG d’Ultralytics, Jing Qiu, ingénieur senior en apprentissage automatique chez Ultralytics, et Ao Wang, de l’université Tsinghua. Les intervenants ont étudié l’influence de l’IA générative sur la vision par ordinateur et les défis liés à la création de modèles d’IA pratiques.

Dans cet article, nous reviendrons sur les principaux enseignements de leur discussion et examinerons de plus près comment l’IA générative transforme la Vision AI.

Développement des modèles Ultralytics YOLO#

Aux côtés de Glenn Jocher, de nombreux ingénieurs talentueux ont joué un rôle essentiel dans le développement des modèles Ultralytics YOLO. Jing Qiu, l’un d’eux, a raconté comment il a découvert YOLO de façon inattendue. Il a expliqué que sa passion pour l’IA avait commencé pendant ses études universitaires. Il a consacré beaucoup de temps à explorer ce domaine et à se former. Jing Qiu s’est souvenu de sa rencontre avec Glenn Jocher sur GitHub et de sa participation à divers projets d’IA.

Pour compléter les propos de Jing Qiu, Glenn Jocher a décrit GitHub comme « un moyen incroyable de partager : des personnes qui ne se sont jamais rencontrées se réunissent pour s’entraider et contribuer au travail des autres. C’est une formidable communauté et un excellent moyen de se lancer dans l’IA. »

Fig. 1. Glenn Jocher et Jing Qiu prennent la parole sur scène à YV24.

L’intérêt de Jing Qiu pour l’IA et son travail sur Ultralytics YOLOv5 ont contribué à affiner le modèle. Plus tard, il a joué un rôle clé dans le développement d’Ultralytics YOLOv8, qui a apporté de nouvelles améliorations. Il a décrit cette expérience comme un parcours incroyable. Aujourd’hui, Jing Qiu continue d’améliorer et de développer des modèles comme Ultralytics YOLO11.

YOLOv10 : optimisé pour les performances en conditions réelles#

Participant à distance depuis la Chine à la table ronde, Ao Wang s’est présenté comme doctorant. Il avait d’abord étudié le génie logiciel, mais sa passion pour l’IA l’a conduit à se tourner vers la vision par ordinateur et l’apprentissage profond.

Il a découvert le célèbre modèle YOLO en expérimentant différentes techniques et différents modèles d’IA. Il a été impressionné par sa vitesse et sa précision, ce qui l’a incité à approfondir les tâches de vision par ordinateur, comme la détection d’objets. Récemment, Ao Wang a contribué à YOLOv10, une version récente du modèle YOLO. Ses recherches visaient à optimiser le modèle pour le rendre plus rapide et plus précis.

La principale différence entre l’IA générative et la Vision AI#

La table ronde s’est ensuite penchée sur l’IA générative, et Jing Qiu a souligné que l’IA générative et la Vision AI ont des objectifs très différents. L’IA générative crée ou génère des éléments comme du texte, des images et des vidéos, tandis que la Vision AI analyse ce qui existe déjà, principalement des images.

Glenn Jocher a également souligné que la taille constituait une différence majeure. Les modèles d’IA générative sont gigantesques et comptent souvent des milliards de paramètres, c’est-à-dire des réglages internes qui aident le modèle à apprendre à partir des données. Les modèles de vision par ordinateur sont bien plus petits. Il a déclaré : « Le plus petit modèle YOLO que nous avons est environ mille fois plus petit que le plus petit LLM [grand modèle de langage]. Il compte donc 3 millions de paramètres contre trois milliards. »

Fig. 2. La table ronde sur l’IA générative et la Vision AI à YV24.

Jing Qiu a ajouté que les processus d’entraînement et de déploiement de l’IA générative et de la vision par ordinateur sont également très différents. L’IA générative nécessite d’immenses serveurs puissants pour fonctionner. Les modèles comme YOLO, en revanche, sont conçus pour être efficaces et peuvent être entraînés et déployés sur du matériel standard. Les modèles Ultralytics YOLO sont ainsi plus adaptés aux usages concrets.

Bien que ces domaines soient différents, ils commencent à s’entrecroiser. Glenn Jocher a expliqué que l’IA générative apporte de nouvelles avancées à la Vision AI, rendant les modèles plus intelligents et plus efficaces.

L’impact de l’IA générative sur la vision par ordinateur#

L’IA générative a rapidement progressé, et ces avancées influencent de nombreux autres domaines de l’intelligence artificielle, notamment la vision par ordinateur. Examinons maintenant quelques éclairages passionnants apportés par la table ronde à ce sujet.

Les avancées matérielles rendent possibles les innovations en IA#

Au début de la table ronde, Glenn Jocher a expliqué que les idées liées à l’apprentissage automatique existent depuis longtemps, mais que les ordinateurs n’étaient pas assez puissants pour les mettre en pratique. Il fallait du matériel plus performant pour concrétiser les idées en IA.

L’essor des GPU (unités de traitement graphique) au cours des 20 dernières années, grâce à leurs capacités de traitement parallèle, a tout changé. Ils ont accéléré et rendu plus efficace l’entraînement des modèles d’IA, permettant le développement rapide de l’apprentissage profond.

Aujourd’hui, les puces d’IA comme les TPU (unités de traitement tensoriel) et les GPU optimisés consomment moins d’énergie tout en gérant des modèles plus volumineux et plus complexes. L’IA est ainsi devenue plus accessible et plus utile dans des applications concrètes.

À chaque nouvelle amélioration du matériel, les applications d’IA générative et de vision par ordinateur gagnent en puissance. Ces avancées rendent l’IA en temps réel plus rapide et plus efficace, et permettent de l’utiliser dans un plus grand nombre de secteurs.

Comment l’IA générative façonne les modèles de détection d’objets#

Interrogé sur l’influence de l’IA générative sur la vision par ordinateur, Jing Qiu a expliqué que les transformers — des modèles qui aident l’IA à se concentrer sur les éléments les plus importants d’une image — ont changé la façon dont l’IA comprend et traite les images. DETR (Detection Transformer) a constitué la première avancée majeure en utilisant cette nouvelle approche pour la détection d’objets. Cette approche a amélioré la précision, mais a entraîné des problèmes de performances qui la ralentissaient dans certains cas.

Pour résoudre ce problème, les chercheurs ont créé des modèles hybrides comme RT-DETR. Ces modèles combinent des réseaux neuronaux convolutifs (CNN, des modèles d’apprentissage profond qui apprennent et extraient automatiquement des caractéristiques des images) et des Transformers, afin d’équilibrer vitesse et précision. Cette approche tire parti des avantages des Transformers tout en accélérant la détection d’objets.

Fait intéressant, YOLOv10 utilise des couches d’attention basées sur les Transformers (des parties du modèle qui agissent comme un projecteur pour mettre en évidence les zones les plus importantes d’une image tout en ignorant les détails moins pertinents) afin d’améliorer ses performances.

Ao Wang a également expliqué comment l’IA générative transforme l’entraînement des modèles. Des techniques comme la modélisation d’images masquées aident l’IA à apprendre plus efficacement à partir des images, réduisant ainsi le besoin de grands jeux de données étiquetés manuellement. L’entraînement en vision par ordinateur devient ainsi plus rapide et moins gourmand en ressources.

L’avenir de l’IA générative et de la Vision AI#

Une autre idée clé abordée par la table ronde était la possibilité de combiner l’IA générative et la Vision AI pour créer des modèles plus performants. Glenn Jocher a expliqué que ces deux approches possèdent des atouts différents, mais que leur combinaison pourrait ouvrir de nouvelles possibilités.

Par exemple, les modèles d’IA visuelle comme YOLO divisent souvent une image en grille pour identifier les objets. Cette méthode fondée sur une grille pourrait aider les modèles de langage à mieux repérer les détails et à les décrire, un défi auquel beaucoup de modèles de langage sont confrontés aujourd’hui. En somme, la combinaison de ces techniques pourrait aboutir à des systèmes capables de détecter avec précision et d’expliquer clairement ce qu’ils voient. Certains modèles vision-langage savent déjà faire les deux, et le classement VLM suit leurs performances en détection d’objets.

Fig. 3. L’avenir de l’IA générative et de la Vision AI. Image de l’auteur.

Points clés à retenir#

L’IA générative et la vision par ordinateur progressent de concert. Si l’IA générative crée des images et des vidéos, elle améliore aussi leur analyse en apportant de nouvelles idées susceptibles de rendre les modèles d’IA visuelle plus précis et plus efficaces.

Lors de cette table ronde de YV24, Glenn Jocher, Jing Qiu et Ao Wang ont partagé leurs réflexions sur la manière dont ces technologies façonnent l’avenir. Grâce à du matériel d’IA plus performant, l’IA générative et l’IA visuelle continueront d’évoluer et de donner lieu à des innovations encore plus importantes. Ces deux domaines collaborent pour créer une IA plus intelligente, plus rapide et plus utile au quotidien.

Rejoins notre communauté et explore notre dépôt GitHub pour en savoir plus sur l’IA visuelle. Consulte nos options de licence pour lancer tes projets de vision par ordinateur. Les innovations comme l’IA dans l’industrie manufacturière ou la vision par ordinateur dans les véhicules autonomes t’intéressent ? Consulte nos pages de solutions pour en découvrir davantage.