Apprentissage semi-supervisé

L'apprentissage semi-supervisé (SSL) est un paradigme puissant de l'apprentissage automatique (ML) qui comble le fossé entre l'apprentissage et l'apprentissage. l 'apprentissage machine (ML) qui comble le fossé entre l'apprentissage entre l'apprentissage entièrement supervisé et l'apprentissage l 'apprentissage non supervisé. Alors que les méthodes supervisées supervisé nécessitent des ensembles de données entièrement annotés et que les méthodes non supervisées fonctionnent entièrement sans étiquettes, l'apprentissage semi-supervisé fonctionne en tirant parti d'une petite quantité de données étiquetées. en tirant parti d'une petite quantité de données étiquetées et d'une masse beaucoup plus importante de données non étiquetées. Dans de nombreux scénarios dans le monde réel, l'obtention de données brutes est relativement bon marché, mais le processus d'étiquetage des données est coûteux et prend beaucoup de temps. l'étiquetage des données est coûteux, prend du temps et et nécessite une expertise humaine. SSL s'attaque à ce goulot d'étranglement en utilisant les exemples étiquetés limités pour guider le processus d'apprentissage, ce qui permet au modèle d'extraire la structure de l'information. d'apprentissage, ce qui permet au modèle d'extraire la structure et les modèles des vastes segments non étiquetés, améliorant ainsi la précision et la généralisation du modèle. la précision et la généralisation du modèle.

Comment fonctionne l’apprentissage semi-supervisé

Le mécanisme fondamental de SSL consiste à propager l'information des données étiquetées vers les données non étiquetées. Le processus commence généralement par l'apprentissage d'un modèle initial sur le petit ensemble de données étiquetées. processus commence généralement par la formation d'un modèle initial sur le petit ensemble de données étiquetées. Ce modèle est ensuite utilisé pour déduire des prédictions sur les données non étiquetées. Les prédictions les plus fiables - souvent appelées pseudo-étiquettes - sont considérées comme la vérité de base, et le modèle est réentraîné. et le modèle est réentraîné sur cet ensemble de données élargi. Ce cycle itératif permet aux aux réseaux neuronaux d'apprendre des limites de décision de décision plus robustes que celles apprises à partir des seules données étiquetées.

Les techniques courantes utilisées dans le cadre du protocole SSL sont les suivantes :

• Pseudo-étiquetage : Le modèle génère des étiquettes pour les données non étiquetées, et les prédictions à forte probabilité sont ajoutées aux données d'apprentissage. sont ajoutées aux données d'apprentissage. Cette méthode est souvent utilisée avec les seuils de confiance.
• Régularisation de la cohérence : Cette méthode encourage le modèle à produire la même prédiction pour une image originale et une version perturbée de celle-ci (par exemple, après application d'un filtre). pour une image originale et une version perturbée de celle-ci (par exemple, après l'application d'une après l'application d'une augmentation des données). Si le modèle comprend l'objet, le retournement ou la légère rotation de l'image ne devrait pas modifier la classification. Vous pouvez en savoir plus sur les concepts de régularisation de la cohérence dans la littérature académique. sur les concepts de régularisation de la cohérence dans la littérature académique.
• Méthodes basées sur les graphes : Les points de données sont représentés comme des nœuds dans un graphique, où les arêtes reflètent la similarité. la similarité. Les étiquettes sont propagées des nœuds étiquetés vers leurs voisins non étiquetés, une technique souvent discutée dans la recherche sur les réseaux neuronaux à base de graphes (GNN). dans la recherche sur les réseaux neuronaux graphiques (GNN).

Applications concrètes

L'apprentissage semi-supervisé est particulièrement utile dans les secteurs où les données sont abondantes mais où l'annotation des experts est rare. rares.

1. Analyse d'images médicales : Dans le domaine de la santé, la génération d'un données étiquetées pour des tâches telles que détection des tumeurs nécessite que des radiologues très bien payés annotent manuellement les IRM ou les tomodensitogrammes. Avec SSL, les chercheurs peuvent former un modèle sur sur un petit ensemble de scans vérifiés par des médecins, puis exploiter des milliers d'archives hospitalières non annotées pour améliorer les performances. pour améliorer les performances. Cela permet de réduire considérablement les coûts tout en maintenant des normes de diagnostic élevées dans le domaine de la santé. L 'IA dans les soins de santé.
2. Reconnaissance vocale : les assistants vocaux spécialisés nécessitent des quantités massives de données audio. Bien que la transcription de transcrire des milliers d'heures d'audio n'est pas pratique, les entreprises technologiques peuvent utiliser un petit ensemble de paroles transcrites pour former un modèle de base. former un modèle de base. Ce modèle apprend ensuite à partir des nuances de millions d'heures d'audio non transcrites trouvées dans les données web, affinant ainsi sa capacité à interpréter la voix. dans les données web, affinant ainsi sa capacité à comprendre les différents accents et dialectes grâce à la reconnaissance automatique de la parole.

Différencier des concepts connexes

Pour bien comprendre le SSL, il est utile de le distinguer de paradigmes d'apprentissage similaires :

• SSL vs. Apprentissage auto-supervisé: Bien qu'ils partagent le même acronyme, ils sont distincts. L'apprentissage auto-supervisé crée ses propres étiquettes à partir de la structure des données (par ex. L'apprentissage auto-supervisé crée ses propres étiquettes à partir de la structure des données (par exemple, prédire le mot suivant dans une phrase ou une zone manquante dans une image) sans aucune étiquette humaine. L'apprentissage semi-supervisé s'appuie toujours sur un ensemble d'étiquettes fournies par l'homme pour guider le processus.
• SSL vs. apprentissage actif: Dans l'apprentissage actif, le modèle identifie les points de données qui prêtent le plus à confusion. l'apprentissage actif, le modèle identifie les points de données qui prêtent le plus à confusion et demande explicitement à un humain de les étiqueter. de les étiqueter. SSL, en revanche, tente de résoudre automatiquement les données non étiquetées sans interrompre le flux de travail pour une contribution humaine. l'intervention humaine.
• SSL vs. apprentissage par transfert: L'apprentissage par transfert consiste à prendre les poids des modèles d' une tâche source (comme ImageNet) et de les affiner sur une tâche cible. SSL se concentre sur l'utilisation de données non étiquetées de la même distribution cible afin d'améliorer l'apprentissage dès le départ.

Mise en œuvre pratique

La mise en œuvre d'un flux de travail semi-supervisé implique souvent une boucle "enseignant-élève" ou une formation itérative. Ci-dessous est un exemple conceptuel utilisant l'outil ultralytics Python pour démontrer comment on peut inférer sur des données données non étiquetées pour générer des prédictions qui pourraient servir de pseudo-étiquettes pour une formation ultérieure.

from ultralytics import YOLO

# Initialize the YOLO11 model (Teacher)
model = YOLO("yolo11n.pt")

# Train initially on a small, available labeled dataset
model.train(data="coco8.yaml", epochs=10)

# Run inference on a directory of unlabeled images to generate predictions
# These results can be filtered by confidence to create 'pseudo-labels'
results = model.predict(source="./unlabeled_data", save_txt=True, conf=0.8)

# The saved text files from prediction can now be combined with the original
# dataset to retrain a robust 'Student' model.

Outils et perspectives d'avenir

Les cadres d'apprentissage profond tels que PyTorch et TensorFlow fournissent les blocs de construction nécessaires pour mettre en œuvre des boucles et des fonctions de perte SSL et des fonctions de perte personnalisées. Les modèles devenant de plus en plus volumineux et gourmands en données, les techniques telles que SSL deviennent une pratique courante pour maximiser l'efficacité des données. pour maximiser l'efficacité des données.

La future plateforme Ultralytics est conçue pour rationaliser les flux de travail de ce type, en aidant les équipes à gérer la transition entre les données brutes et le déploiement de modèles. des données brutes au déploiement du modèle en facilitant la curation des données et processus d'auto-annotation. En En utilisant efficacement les données non étiquetées, les organisations peuvent déployer des solutions d'IA très performantes telles que l'analyse des données et la modélisation. YOLO11 plus rapidement et à moindre coût qu'en s'appuyant sur des méthodes purement supervisées.