Apprentissage auto-supervisé

L'apprentissage auto-supervisé (SSL) est une approche d'apprentissage automatique qui permet aux modèles d'apprendre à partir de grandes quantités de données non étiquetées. Contrairement à l'apprentissage supervisé, qui dépend fortement de données méticuleusement étiquetées, l'apprentissage auto-supervisé crée ingénieusement ses propres signaux de supervision directement à partir des données d'entrée. Cela lui confère une valeur exceptionnelle dans des domaines tels que la vision artificielle (CV) et le traitement du langage naturel (NLP), où les données non étiquetées sont abondantes, mais où le coût et l'effort d'étiquetage manuel(annotation des données) peuvent s'avérer prohibitifs.

Comment fonctionne l'apprentissage auto-supervisé

Le mécanisme de base de SSL implique la conception d'une "tâche prétexte". Il s'agit d'une tâche auxiliaire, auto-générée, dans laquelle le modèle doit prédire certaines propriétés des données qui ont été intentionnellement cachées ou modifiées. En résolvant cette tâche prétexte, le modèle est contraint d'apprendre des structures et des représentations sous-jacentes significatives(embeddings) des données sans étiquettes fournies par l'homme. Cette phase de formation initiale est communément appelée préformation.

Par exemple, dans le domaine de la vision par ordinateur, une tâche prétexte peut impliquer :

• Prédiction de la position relative de parcelles d'images mélangées.
• Colorisation d'une image en niveaux de gris.
• Remplir les parties manquantes d'une image (inpainting).
• Apprentissage de représentations par contraste de différentes vues augmentées de la même image, une technique utilisée dans les méthodes d'apprentissage contrastif telles que SimCLR et MoCo.

Dans le domaine du NLP, une tâche prétexte bien connue est la modélisation du langage masqué, utilisée par des modèles tels que BERT. Dans ce cas, le modèle apprend à prédire les mots qui ont été aléatoirement masqués (cachés) dans les phrases.

Après un pré-entraînement sur de grands ensembles de données non étiquetées, le modèle capture de riches représentations de caractéristiques. Ce modèle pré-entraîné peut ensuite être adapté à des tâches spécifiques en aval, telles que la détection d'objets, la classification d'images ou l'analyse de sentiments, par le biais d'unprocessus appelé réglage fin. Le réglage fin nécessite généralement une quantité beaucoup plus faible de données étiquetées par rapport à la formation d'un modèle à partir de zéro, ce qui fait de SSL un outil clé pour un apprentissage par transfert efficace.

SSL vs. autres paradigmes d'apprentissage

Il est essentiel de différencier le SSL des paradigmes de ML apparentés :

• Apprentissage supervisé : Il s'appuie entièrement sur des données étiquetées, où chaque entrée est associée à une sortie correcte. SSL, à l'inverse, génère ses étiquettes à partir des données elles-mêmes.
• Apprentissage non supervisé : Vise à trouver des modèles (comme le regroupement) ou à réduire la dimensionnalité des données non étiquetées sans tâches prédéfinies. Si l'apprentissage non supervisé utilise des données non étiquetées comme l'apprentissage non supervisé, il s'en distingue par la création de signaux de supervision explicites par le biais de tâches prédéfinies pour guider l'apprentissage de la représentation.
• Apprentissage semi-supervisé : Il utilise une combinaison d'une petite quantité de données étiquetées et d'une grande quantité de données non étiquetées. Le pré-entraînement SSL peut souvent constituer une étape préliminaire à l'affinement semi-supervisé.

Applications dans le monde réel

SSL dispose de capacités d'intelligence artificielle (IA) très avancées :

1. Faire progresser les modèles de vision par ordinateur : Le pré-entraînement SSL permet à des modèles comme Ultralytics YOLO11 d'apprendre des caractéristiques visuelles robustes à partir de vastes ensembles de données d'images non étiquetées avant d'être affinés pour des tâches telles que la détection d'objets dans les véhicules autonomes ou l'analyse d'images médicales. L'utilisation de poids pré-entraînés dérivés de SSL conduit souvent à de meilleures performances et à une convergence plus rapide lors de l'entraînement du modèle.
2. Alimenter les grands modèles de langage (LLM) : Les modèles de base tels que GPT-4 et BERT s'appuient fortement sur des tâches de prétexte SSL (comme la modélisation du langage masqué) au cours de leur phase de préformation sur de vastes corpus de textes. Cela leur permet de comprendre la structure du langage, la grammaire et le contexte, et d'alimenter des applications allant des chatbots sophistiqués à la traduction automatique en passant par le résumé de texte.

SSL réduit considérablement la dépendance à l'égard d'ensembles de données étiquetés coûteux, démocratisant ainsi le développement de puissants modèles d'IA. Des outils comme PyTorch et TensorFlow, ainsi que des plateformes comme Ultralytics HUB, fournissent des environnements permettant d'exploiter les techniques SSL pour construire et déployer des solutions d'IA de pointe.