Self-Supervised Learning

L’apprentissage auto-supervisé (SSL) entraîne un modèle sur une tâche dont les étiquettes proviennent des données elles-mêmes, par exemple prédire le mot suivant d’une phrase, compléter des zones masquées d’une image ou reconnaître deux recadrages d’une même photo comme similaires, afin qu’il puisse apprendre à partir de grandes quantités de données non étiquetées. L’apprentissage supervisé est limité par l’étiquetage des données, qui est lent et coûteux, alors que les images, les vidéos, l’audio et le texte bruts sont abondants. Le SSL utilise ces données pour préentraîner un encodeur polyvalent, puis l’ajustement fin ou une petite tête entraînée l’adapte à une tâche en aval comme la classification d’images ou la détection d’objets, avec beaucoup moins d’étiquettes. Tous les grands modèles de langage (LLM) modernes sont préentraînés de cette façon, en prédisant le jeton suivant à partir du texte, comme dans les modèles GPT, et le modèle DINOv3 de Meta a étendu le préentraînement d’images auto-supervisé à un modèle de 7 milliards de paramètres entraîné sur 1,7 milliard d’images.

Fonctionnement de l’apprentissage auto-supervisé#

Une méthode SSL définit une tâche prétexte : elle masque ou transforme une partie de chaque entrée, puis entraîne le réseau à reconstituer ce qui a été retiré ou à reconnaître ce qui est resté identique. La tâche prétexte est rarement utile en elle-même. L’important est que sa résolution oblige le réseau à apprendre la structure des données, notamment la forme des objets, les textures et les relations entre les différentes parties ; ces caractéristiques se transfèrent ensuite aux tâches nécessitant des étiquettes. Après le préentraînement, l’encodeur est évalué ou utilisé par sondage linéaire sur des caractéristiques figées, ou en ajustant finement tous ses poids :

Principales familles de méthodes#

• Prédiction masquée : Masque une partie de l’entrée et entraîne le modèle à la reconstruire. BERT prédit des mots masqués aléatoirement, et les autoencodeurs masqués cachent 75 % des zones d’une image pour en reconstruire les pixels. La prédiction du jeton suivant d’une séquence applique la même idée au texte.
• Apprentissage contrastif : Crée deux vues augmentées de chaque image et entraîne les plongements de façon à rapprocher les vues d’une même image et à éloigner celles d’images différentes. SimCLR et MoCo en sont les exemples les plus connus.
• Auto-distillation : Un réseau étudiant apprend à reproduire la sortie d’un réseau enseignant, qui est une moyenne de l’étudiant mise à jour lentement, sur différents recadrages de la même image, sans paires négatives. BYOL et DINO utilisent cette approche, que DINOv2 et DINOv3 appliquent à des jeux de données sélectionnés de plus de 100 millions d’images.
• Prédiction par plongements conjoints : Prédit les plongements des régions masquées à partir des régions visibles, afin que le modèle apprenne le contenu abstrait sans consacrer de capacité aux détails des pixels. I-JEPA et V-JEPA de Meta appliquent cette méthode aux images et aux vidéos.

Le choix détermine les caractéristiques obtenues. La reconstruction masquée préserve les détails spatiaux fins et se prête bien à l’ajustement fin, tandis que les méthodes contrastives et d’auto-distillation produisent des caractéristiques qui fonctionnent bien lorsqu’elles sont figées ; c’est pourquoi les encodeurs de la famille DINO sont des réseaux dorsaux populaires pour l’estimation de profondeur et la segmentation sémantique.

Apprentissage auto-supervisé en vision par ordinateur#

Les transformeurs de vision et le SSL se complètent : le masquage de zones entières correspond directement aux entrées en jetons d’un ViT, et les ViT bénéficient de davantage de données d’entraînement que les jeux de données étiquetés ne peuvent en fournir. De nombreux modèles de fondation reposent sur des encodeurs auto-supervisés. Le modèle SAM 2 de Meta, disponible dans le package Ultralytics pour la segmentation d’images et de vidéos guidée par des invites, s’appuie sur un encodeur d’images Hiera préentraîné comme autoencodeur masqué avant tout entraînement à la segmentation.

Applications#

• Imagerie médicale : Les hôpitaux détiennent bien plus d’images médicales que les radiologues ne peuvent en annoter. Le préentraînement sur des radiographies, des scanners ou des IRM non étiquetés fournit un encodeur qui peut ensuite apprendre des tâches comme la détection de tumeurs à partir d’un petit nombre d’étiquettes établies par des spécialistes.
• Images satellitaires : Meta a entraîné une variante de DINOv3 sur 493 millions d’images satellitaires, et le World Resources Institute l’utilise pour cartographier la hauteur de la canopée. Dans une région du Kenya, elle a réduit l’erreur de hauteur moyenne des cartes précédentes basées sur DINOv2, de 4,1 à 1,2 mètre.
• Reconnaissance vocale : wav2vec 2.0 a été préentraîné sur 53 000 heures d’audio non étiqueté et, après ajustement fin sur seulement 10 minutes de parole transcrite, a atteint des taux d’erreur de mots de 4,8 % et de 8,2 % sur les ensembles de test LibriSpeech clean et other.

L’apprentissage auto-supervisé et les termes connexes#

• Apprentissage non supervisé : Apprentissage sans étiquettes humaines en général, notamment le regroupement et l’estimation de densité. Le SSL est généralement considéré comme une forme d’apprentissage non supervisé entraînée comme l’apprentissage supervisé, avec des cibles générées à partir des données.
• Apprentissage semi-supervisé : Entraîne simultanément un modèle sur un petit ensemble étiqueté et un grand ensemble non étiqueté. Le SSL préentraîne le modèle uniquement sur des données non étiquetées ; les deux approches se combinent bien : SimCLRv2 a ajusté finement un grand modèle auto-supervisé à l’aide de 1 % des étiquettes d’ImageNet, puis l’a distillé en utilisant les images non étiquetées.
• Apprentissage par transfert : Réutilise un modèle préentraîné pour une nouvelle tâche. Le SSL permet de produire un tel modèle préentraîné sans étiquettes.
• Augmentation des données : Recadrages aléatoires, changements de couleur et retournements qui enrichissent un jeu de données étiqueté. En SSL contrastif, ces mêmes transformations définissent quelles vues sont considérées comme celles d’une même image ; elles déterminent donc ce que l’encodeur apprend à ignorer.