Foundation Model

Un modèle de fondation est un grand modèle d’apprentissage automatique, entraîné à grande échelle sur des données variées, qui peut être adapté à un large éventail de tâches en aval. Des chercheurs de Stanford ont introduit le terme dans le rapport de 2021 Sur les possibilités et les risques des modèles de fondation, en choisissant « fondation » pour décrire des modèles essentiels à de nombreuses applications, mais incomplets à eux seuls. Les modèles antérieurs étaient généralement entraînés pour une seule tâche sur un seul jeu de données annotées. Un modèle de fondation apprend des schémas généraux au cours d’un préentraînement coûteux, puis sert de point de départ à des chatbots, des moteurs de recherche, des outils de traduction, de classification d’images, de segmentation et à bien d’autres applications développées par des équipes qui n’entraînent jamais elles-mêmes un tel modèle. Les grands modèles de langage (LLM), comme GPT, Claude, Gemini et Llama, sont des modèles de fondation, tout comme les modèles de vision tels que CLIP, DINOv3 et le modèle Segment Anything (SAM) de Meta.

Fonctionnement des modèles de fondation#

Le préentraînement utilise des objectifs qui ne nécessitent aucune annotation humaine, de sorte que le jeu d’entraînement peut atteindre des milliers de milliards de mots de texte ou des milliards d’images. Les modèles de langage apprennent en prédisant le jeton suivant, les encodeurs de vision à l’aide de méthodes d’apprentissage auto-supervisé, comme la modélisation d’images masquées et l’auto-distillation, et les modèles vision-langage par apprentissage contrastif sur des paires image-légende. Presque tous les modèles de fondation utilisent l’architecture Transformer, et leurs performances s’améliorent de manière prévisible avec le nombre de paramètres, les données et la puissance de calcul, comme le décrivent les lois d’échelle.

Après le préentraînement, le même modèle est adapté à chaque tâche de plusieurs façons. L’ingénierie des prompts le guide à l’aide d’instructions ou d’exemples sans aucun entraînement ; l’ajustement fin ou l’ajustement fin efficace en paramètres (PEFT) met à jour ses poids sur les données de la tâche, tandis qu’une petite tête entraînée sur ses plongements figés le transforme en classificateur ou en moteur de recherche :

Le rapport a mis en évidence deux conséquences de ce phénomène. L’émergence désigne l’apparition de capacités à grande échelle sans entraînement direct, comme lorsque GPT-3 a appris à effectuer de nouvelles tâches à partir de quelques exemples dans son prompt. L’homogénéisation signifie que de nombreuses applications s’appuient désormais sur quelques modèles ; les erreurs et les biais d’un modèle se répercutent donc sur tout ce qui en est dérivé. Les autorités de réglementation s’intéressent désormais directement à ces modèles : la loi européenne sur l’IA les qualifie de modèles d’IA à usage général, et les obligations imposées à leurs fournisseurs s’appliquent depuis le 2 août 2025.

Les modèles de fondation en vision par ordinateur#

Les modèles de fondation pour la vision sont entraînés sur des données bien plus vastes et variées que les détecteurs spécialisés. CLIP a appris à partir de 400 millions de paires image-légende et classe les images selon des catégories désignées uniquement par du texte, ce qui constitue la base de l’apprentissage sans exemples en vision. Le DINOv3 de Meta produit des caractéristiques figées pour l’estimation de la profondeur, la segmentation et la cartographie satellitaire à partir d’un modèle de 7 milliards de paramètres entraîné sur 1,7 milliard d’images non annotées. Le SAM, que ses auteurs ont présenté comme un modèle de fondation pour la segmentation d’images, a été entraîné sur le jeu de données SA-1B, qui comprend 11 millions d’images et 1,1 milliard de masques, et segmente n’importe quel objet indiqué par un point ou une boîte ; le SAM 3 ajoute des prompts textuels qui détectent chaque occurrence d’un concept nommé. Les modèles vision-langage-action étendent cette approche à la robotique en associant les images des caméras et les instructions aux actions du robot.

Ultralytics Platform utilise ces modèles pour accélérer l’annotation des données : dans l’annotation intelligente, un clic demande à SAM 2.1, SAM 3 ou SAM 3.1 de produire le masque d’un objet ; pour les jeux de données de détection, des modèles guidés par les classes comme SAM 3.1 Text et Grounding DINO trouvent tous les objets d’une classe à partir de son nom. Le classement VLM compare la précision avec laquelle ces modèles guidés par les classes et les VLM génératifs annotent automatiquement les jeux de données de détection du monde réel. Le SAM 2.1 de Meta fonctionne aussi dans le package Python Ultralytics, où une invite de boîte remplace tout entraînement propre à une tâche :

from ultralytics import SAM

# SAM 2.1 de Meta, modèle de fondation pour la segmentation, utilisé tel quel sans entraînement
model = SAM("sam2.1_b.pt")

# Un prompt de boîte autour du bus définit la tâche ; le modèle renvoie le masque de cet objet
results = model("https://ultralytics.com/images/bus.jpg", bboxes=[22, 231, 805, 757])
result = results[0]
result.save(filename="sam_bus_mask.jpg")

Modèles de fondation et notions connexes#

• Grand modèle de langage (LLM) : modèle de fondation destiné au texte. Les modèles de fondation couvrent également les images, la vidéo, l’audio, les données tabulaires et le contrôle des robots.
• IA générative : systèmes qui créent du texte, des images, de l’audio ou de la vidéo. Beaucoup reposent sur des modèles de fondation, et certains modèles de fondation, comme DINOv3 et SAM, produisent des caractéristiques et des masques plutôt que du contenu inédit.
• Apprentissage par transfert : technique qui consiste à réutiliser un modèle préentraîné pour une nouvelle tâche. Un modèle de fondation est un modèle préentraîné conçu pour être réutilisé de cette façon sur de nombreuses tâches, tandis qu’un modèle entraîné pour une seule tâche avec un ensemble fixe d’étiquettes, comme un détecteur d’objets COCO avec 80 classes, se transfère principalement à des tâches étroitement liées.
• Modèles d’IA de pointe : les modèles de fondation les plus performants à un moment donné. En vertu de la loi européenne sur l’IA, un modèle d’IA à usage général entraîné avec plus de 10²⁵ opérations en virgule flottante est présumé présenter un risque systémique et est soumis à des obligations supplémentaires.