Apprentissage semi-supervisé

L'apprentissage semi-supervisé (SSL) est une technique d'apprentissage automatique (ML) qui comble le fossé entre l'apprentissage supervisé et l'apprentissage non supervisé. Il exploite une petite quantité de données étiquetées ainsi qu'une grande quantité de données non étiquetées pour améliorer la précision de l'apprentissage. Dans de nombreux scénarios réels, l'acquisition de données non étiquetées est peu coûteuse, mais le processus d'étiquetage des données est coûteux et prend du temps. Le SSL relève ce défi en permettant aux modèles d'apprendre à partir du vaste ensemble d'exemples non étiquetés, guidés par la structure et les informations fournies par le plus petit ensemble étiqueté. Cette approche est particulièrement puissante dans le deep learning (DL), où les modèles nécessitent d'énormes ensembles de données pour atteindre des performances élevées.

Comment fonctionne l’apprentissage semi-supervisé

L'idée centrale de SSL est d'utiliser les données étiquetées pour construire un modèle initial, puis d'utiliser ce modèle pour faire des prédictions sur les données non étiquetées. Les prédictions les plus fiables du modèle sont ensuite traitées comme des « pseudo-étiquettes » et ajoutées à l'ensemble d'entraînement. Le modèle est ensuite réentraîné sur cette combinaison d'étiquettes originales et de pseudo-étiquettes de haute confiance. Ce processus itératif permet au modèle d'apprendre la structure sous-jacente de l'ensemble du jeu de données, et pas seulement de la petite portion étiquetée.

Les techniques SSL courantes comprennent :

• Régularisation de la cohérence : Cette méthode impose l'idée que les prédictions du modèle doivent rester cohérentes même lorsque les données d'entrée sont légèrement perturbées. Par exemple, une image avec une augmentation de données mineure devrait donner la même classification.
• Modèles génératifs : Des techniques comme les réseaux antagonistes génératifs (GAN) peuvent apprendre à générer des données qui ressemblent à la véritable distribution des données, ce qui aide à mieux définir les frontières de décision entre les classes.
• Méthodes basées sur les graphes : Ces méthodes représentent les points de données comme des nœuds dans un graphe et propagent les étiquettes des nœuds étiquetés vers les nœuds non étiquetés en fonction de leur proximité ou de leur similarité. Un aperçu technique peut être trouvé dans les études académiques.

Applications concrètes

L'apprentissage auto-supervisé (SSL) est très efficace dans les domaines où l'étiquetage constitue un goulot d'étranglement. Deux exemples notables incluent :

1. Analyse d'images médicales : L'étiquetage des images médicales comme les IRM ou les tomodensitométries pour la détection de tumeurs nécessite des radiologues experts et est très coûteux. Avec l'apprentissage semi-supervisé (SSL), un modèle peut être entraîné sur quelques centaines d'images étiquetées, puis affiné à l'aide de milliers d'images non étiquetées provenant des archives hospitalières. Cela permet de développer des modèles robustes de classification d'images et de segmentation avec beaucoup moins d'efforts manuels.
2. Classification de contenu Web et de documents : Classer manuellement des milliards de pages Web, d'articles de presse ou d'avis de clients est irréalisable. SSL peut utiliser un petit ensemble de documents classés manuellement pour entraîner un classificateur de texte initial. Le modèle classe ensuite le corpus massif de documents non étiquetés, en utilisant ses propres prédictions pour s'améliorer au fil du temps pour des tâches telles que l'analyse des sentiments ou la catégorisation par sujet.

Comparaison avec d'autres paradigmes d'apprentissage

Il est important de distinguer le SSL des concepts connexes de l'intelligence artificielle (IA) :

• Apprentissage Auto-Supervisé (SSL) : Bien qu'il partage un acronyme, l'apprentissage auto-supervisé est différent. Il s'agit d'un type d'apprentissage non supervisé où les étiquettes sont générées à partir des données elles-mêmes par le biais de tâches prétextes (par exemple, prédire un mot masqué dans une phrase). Il n'utilise aucune donnée étiquetée manuellement, tandis que l'apprentissage semi-supervisé nécessite un petit ensemble de données explicitement étiquetées pour guider le processus de formation du modèle.
• Apprentissage actif : Cette technique vise également à réduire les coûts d'étiquetage. Cependant, au lieu d'utiliser toutes les données non étiquetées, un modèle d'apprentissage actif interroge intelligemment un annotateur humain pour étiqueter les points de données les plus informatifs. L'apprentissage auto-supervisé (SSL), en revanche, utilise généralement les données non étiquetées sans interaction humaine directe pendant l'entraînement.
• Apprentissage par transfert : Cela implique d'utiliser un modèle pré-entraîné sur un grand ensemble de données (comme ImageNet) et ensuite de l'affiner sur un ensemble de données plus petit et spécifique à une tâche. Bien que les deux tirent parti des connaissances existantes, le SSL apprend à partir des données non étiquetées de la tâche cible elle-même, tandis que l'apprentissage par transfert tire parti des connaissances d'une tâche différente (bien que souvent liée).

Outils et formation

De nombreux frameworks modernes de Deep Learning (DL), y compris PyTorch (site officiel de PyTorch) et TensorFlow (site officiel de TensorFlow), offrent des fonctionnalités ou peuvent être adaptés pour implémenter des algorithmes SSL. Des bibliothèques comme Scikit-learn fournissent certaines méthodes SSL. Des plateformes telles que Ultralytics HUB rationalisent le processus en facilitant la gestion des ensembles de données qui peuvent contenir des mélanges de données étiquetées et non étiquetées, simplifiant ainsi l'entraînement et le déploiement de modèles conçus pour exploiter de telles structures de données. La recherche en SSL continue d'évoluer, avec des contributions souvent présentées lors de grandes conférences sur l'IA comme NeurIPS et ICML.