Large Vision Models (LVM)

Les grands modèles de vision (LVM) représentent une évolution majeure de l'intelligence artificielle et se concentrent exclusivement sur la compréhension, la génération et le traitement de données visuelles à grande échelle. Contrairement aux systèmes traditionnels de vision par ordinateur, entraînés sur des jeux de données restreints pour des tâches spécifiques prédéfinies, les LVM agissent comme des modèles de fondation généralistes entraînés sur de vastes collections d'images et de vidéos. Ce préentraînement étendu leur permet de développer une compréhension approfondie et globale de la géométrie visuelle, des textures et des relations spatiales complexes, sans dépendre d'annotations humaines.

Fonctionnement des grands modèles de vision#

Les grands modèles de vision modernes s'appuient généralement sur des Transformers pour la vision (ViT) ou des architectures convolutionnelles fortement mises à l'échelle pour traiter les entrées visuelles. Grâce à des techniques d'apprentissage auto-supervisé, comme la modélisation d'images masquées, ils apprennent en prédisant les parties manquantes d'une image ou d'une séquence vidéo. Des organismes universitaires comme le Centre de recherche sur les modèles de fondation de Stanford ont montré qu'une augmentation rapide du nombre de paramètres de ces modèles entraîne l'émergence de capacités utilisables sans adaptation préalable. Cela leur permet de s'adapter à des tâches en aval comme la détection d'objets à grande vitesse et la segmentation détaillée d'images avec un réglage fin minimal.

Applications concrètes#

Les LVM transforment les secteurs en prenant en charge des analyses visuelles complexes qui nécessitaient auparavant des algorithmes hautement spécialisés et entraînés sur mesure.

• Analyse automatisée d'images médicales : En milieu clinique, les grandes architectures de vision traitent des radiographies, des IRM et des scanners à haute résolution pour repérer des anomalies subtiles, aider les radiologues à détecter les maladies précocement et réduire considérablement les erreurs de diagnostic.
• Détection de défauts en fabrication : Les lignes de production en usine utilisent des modèles de vision généralistes pour inspecter les produits en temps réel, repérer facilement sur les chaînes de montage des défauts complexes jamais rencontrés auparavant et améliorer le contrôle qualité sans avoir besoin de milliers d'exemples de chaque défaut particulier.

Distinguer les concepts associés#

Pour bien comprendre le paysage de l'IA, il est utile de distinguer les LVM d'autres modèles de fondation populaires :

• LVM et modèle vision-langage (VLM) : Un LVM ne traite que les modalités visuelles (pixels), tandis qu'un VLM intègre à la fois du texte et des images. Les utilisateurs peuvent ainsi poser des questions en langage naturel sur une image ou obtenir des descriptions textuelles d'une vidéo.
• LVM et grand modèle de langage (LLM) : Les LLM sont entraînés exclusivement sur des données textuelles pour comprendre et générer le langage humain. Un LVM applique une mise à l'échelle et une compréhension équivalentes, mais uniquement aux données visuelles.

Travailler avec des modèles de vision#

Alors que les LVM massifs nécessitent souvent des grappes de serveurs exécutant PyTorch ou TensorFlow, des modèles de vision fondamentaux hautement optimisés comme Ultralytics YOLO26 apportent une intelligence visuelle puissante et de pointe directement aux environnements locaux en périphérie. L'exemple suivant montre comment effectuer une inférence visuelle robuste avec un modèle préentraîné :

from ultralytics import YOLO

# Charger un modèle Ultralytics YOLO26 préentraîné avancé
model = YOLO("yolo26x.pt")

# Effectuer une inférence sur une image pour extraire des caractéristiques visuelles et des boîtes englobantes
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Afficher les relations visuelles prédites
results[0].show()

L'avenir de l'intelligence visuelle#

Le passage de la recherche universitaire publiée sur arXiv et la bibliothèque numérique IEEE Xplore aux applications pratiques en entreprise s'accélère rapidement. Les innovations de groupes de recherche comme Google DeepMind étendent activement les LVM au domaine temporel, permettant aux modèles de comprendre des séquences vidéo complexes, à l'instar des générations présentées dans Sora d'OpenAI.

Pour les développeurs et les organisations qui souhaitent créer des solutions d'IA visuelle personnalisées, la plateforme Ultralytics propose des outils intégrés pour l'annotation collaborative des jeux de données, l'entraînement dans le cloud et le déploiement de modèles simplifié, rendant les capacités avancées de vision accessibles à tous. En outre, les outils de segmentation zero-shot comme Segment Anything 2 (SAM 2) de Meta montrent comment les approches de vision fondamentales à grande échelle — souvent présentées dans la bibliothèque numérique de l'ACM — standardisent la compréhension complexe au niveau des pixels dans l'ensemble du secteur de l'IA.