Large Vision Models (LVM)
Les grands modèles de vision sont des réseaux de vision qui comptent de centaines de millions à plusieurs milliards de paramètres, préentraînés sur de vastes collections d’images pour prendre en charge de nombreuses tâches.
Un grand modèle de vision (LVM) est un réseau neuronal pour les images et les vidéos qui compte de centaines de millions à plusieurs milliards de paramètres et est préentraîné sur des millions à des milliards d’images, afin qu’un seul modèle puisse servir à de nombreuses tâches visuelles. C’est l’équivalent visuel d’un grand modèle de langage et un type de modèle de fondation : le préentraînement est surtout auto-supervisé ou faiblement supervisé, puis le modèle obtenu est adapté à la classification, à la détection, à la segmentation, à l’estimation de profondeur ou à la recherche, avec peu ou pas de données annotées. La plupart des LVM sont des Transformers de vision, dont la précision continue de progresser avec la taille du modèle et le volume de données, selon les mêmes lois d’échelle que pour les modèles de langage. Parmi les exemples connus figurent ViT-22B de Google, avec 22 milliards de paramètres, DINOv2 et DINOv3 de Meta, ainsi que le modèle Segment Anything de Meta.
Entraînement des grands modèles de vision#
Les annotations ne peuvent pas suivre le rythme de milliards d’images ; les LVM apprennent donc principalement à partir des images elles-mêmes ou de textes associés de façon approximative. DINOv2, publié par Meta en 2023, utilise l’auto-distillation : un réseau étudiant apprend à reproduire les sorties d’un enseignant pour différentes vues recadrées d’une même image. Son plus grand modèle compte 1,1 milliard de paramètres et a été entraîné sur 142 millions d’images sélectionnées ; en 2025, DINOv3 a porté cette recette à 7 milliards de paramètres et 1,7 milliard d’images. Les autoencodeurs masqués suivent une autre approche de l’apprentissage auto-supervisé : ils masquent la plupart des patches d’une image et entraînent le modèle à les reconstruire. L’apprentissage contrastif entre images et textes, comme dans CLIP et SigLIP, entraîne un encodeur d’images à associer les images à leurs légendes et produit des réseaux de base de vision réutilisés par de nombreux modèles multimodaux. Le modèle Segment Anything de Meta a appris la segmentation guidée par invite à partir du jeu de données SA-1B, qui contient 1,1 milliard de masques sur 11 millions d’images.
Le modèle qui a donné au terme son sens le plus littéral, LVM de Bai et ses collègues à UC Berkeley et Johns Hopkins en 2023, convertit des images, des images vidéo et des annotations comme les masques de segmentation en « phrases visuelles » composées de tokens discrets, puis s’entraîne sur 420 milliards de tokens avec la prédiction du token suivant, sans aucun texte. Au moment du test, il réalise des tâches par invites visuelles : à partir de quelques paires d’images d’entrée et de sortie en exemple, il poursuit la séquence en produisant la sortie correspondant à une nouvelle image.
Adapter les LVM aux tâches#
Un LVM préentraîné est rarement utilisé tel quel. Sans données annotées, le modèle fonctionne en mode sans apprentissage préalable grâce à ses propres invites, comme les clics pour SAM, ou à des plongements d’images comparés pour la recherche et la déduplication. Avec quelques annotations, le sondage linéaire entraîne une petite tête sur des caractéristiques figées ; c’est ainsi que les caractéristiques de DINOv2 et DINOv3 sont généralement évaluées pour l’estimation de profondeur et la segmentation. L’ajustement fin, lui, met à jour le réseau de base. Lorsque la cible est un téléphone, une caméra ou un robot, le LVM annote plutôt des données ou enseigne un modèle compact par distillation des connaissances.
La fonction auto_annotate d’Ultralytics suit cette dernière approche : elle associe un détecteur YOLO26 à SAM de Meta pour transformer les boîtes détectées en étiquettes de segmentation destinées à entraîner un modèle de segmentation plus petit. SAM-b compte 93,7 millions de paramètres, contre 2,7 millions pour YOLO26n-seg, soit environ 35 fois moins. Ultralytics Platform applique la même idée aux jeux de données de détection, où des modèles de vision guidés par les classes annotent les images sur lesquelles un modèle YOLO26 s’entraîne ensuite.
LVM, VLM et modèles spécialisés#
Un modèle vision-langage associe un encodeur de vision, souvent un LVM, à un modèle de langage afin de répondre par du texte aux questions sur des images ; un LVM seul produit des caractéristiques, des masques ou des images. Les modèles spécialisés, comme les réseaux de détection d’objets, sont entraînés pour une seule tâche et un ensemble fixe de classes, ce qui les rend assez compacts et rapides pour l’inférence en temps réel sur des appareils d’IA en périphérie. Les grands modèles de vision sacrifient cette efficacité au profit de la polyvalence : un réseau de base DINOv3 figé a été évalué en classification, détection, segmentation, estimation de profondeur et correspondance 3D. Meta a également entraîné une version sur des images satellite pour des tâches d’analyse d’images satellite, comme la cartographie de la hauteur de la canopée.










