Curriculum Learning

Le Curriculum Learning est une stratégie d'entraînement en machine learning inspirée de la façon dont les humains apprennent, en commençant par des concepts plus simples avant d'introduire progressivement des concepts plus complexes. Au lieu de présenter à un modèle des données d'entraînement dans un ordre aléatoire, les échantillons d'entraînement sont explicitement structurés selon une séquence de difficulté croissante. Cette approche organisée pour exposer un neural network aux données peut conduire à une convergence plus rapide, une meilleure généralisation et une robustesse globale accrue dans les tâches complexes.

Cette progression structurée se distingue du Continual Learning, qui se concentre sur l'ajout de nouvelles tâches à un modèle sans oublier les précédentes. Dans le Curriculum Learning, l'objectif reste le même, mais la séquence des training data est sélectionnée de manière stratégique.

Comment fonctionne l'apprentissage par curriculum#

L'idée centrale de l'apprentissage par curriculum est que l'initialisation des paramètres d'un modèle en utilisant des exemples plus faciles le guide vers un meilleur minimum local dans le paysage de perte. À mesure que le modèle maîtrise les fonctionnalités de base, le régime d'entraînement introduit des exemples plus difficiles, permettant au modèle d'affiner sa compréhension et d'apprendre des détails plus complexes.

La mise en œuvre de l'apprentissage par curriculum implique deux composantes principales :

1. Métrique de difficulté : Une méthode pour évaluer la complexité de chaque exemple d'entraînement. En computer vision, cela peut se baser sur la taille des objets, l'occlusion ou la clarté de l'image.

2. Planificateur d'entraînement : Une fonction de rythme qui dicte quand et comment des exemples plus difficiles sont introduits dans le processus d'entraînement.

Par exemple, lors de l'entraînement de Ultralytics YOLO26 pour la object detection, tu peux commencer par entraîner sur des images comportant des objets uniques, clairs et centrés. Au fur et à mesure que l'entraînement progresse, le planificateur introduit des images avec plusieurs objets, une forte occlusion ou des conditions d'éclairage variables. Cela permet au modèle de saisir les caractéristiques fondamentales des objets avant d'aborder des scénarios réels complexes.

Applications concrètes#

L'apprentissage par curriculum s'est avéré bénéfique dans divers domaines de l'IA, en particulier lors du traitement de jeux de données bruités ou de tâches très complexes.

• Véhicules autonomes : Lors de l'training autonomous driving systems, les modèles sont d'abord entraînés à reconnaître les marquages au sol de base et les panneaux de signalisation clairs. Ce n'est qu'après avoir maîtrisé ces bases qu'ils sont exposés à des scénarios complexes tels que de fortes pluies, des mouvements erratiques de piétons ou des intersections complexes, améliorant ainsi l'AI safety et la fiabilité.
• Analyse d'images médicales : Lors du développement de modèles pour l'medical image analysis, une approche par programme d'apprentissage peut consister à commencer par des scanners clairs et à fort contraste de tumeurs évidentes avant de progresser vers des scanners présentant des anomalies subtiles ou des artéfacts d'imagerie.

Avantages et considérations#

La recherche d'institutions telles que Google AI et OpenAI met continuellement en évidence les avantages de régimes d'entraînement structurés. En concevant soigneusement la séquence d'entraînement, tu peux souvent obtenir une accuracy plus élevée et reduce the risk of overfitting.

Cependant, définir la « difficulté » d'un exemple n'est pas toujours simple. Un programme d'apprentissage mal conçu peut parfois ralentir l'entraînement ou biaiser le modèle. Les approches modernes, telles que celles abordées dans de récents arXiv publications on self-paced learning, permettent au modèle lui-même de déterminer dynamiquement la difficulté des exemples en fonction de sa perte actuelle, automatisant ainsi la conception du programme.

Pour gérer efficacement des jeux de données personnalisés et expérimenter des stratégies d'entraînement, des outils comme la Ultralytics Platform fournissent un environnement rationalisé pour la data annotation, la structuration des data splits et le suivi de la progression de l'entraînement.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# A conceptual example of manually implementing a simple curriculum
# Phase 1: Train on 'easy' dataset (e.g., clear, large objects)
model.train(data="easy_dataset.yaml", epochs=50, imgsz=640)

# Phase 2: Fine-tune on 'hard' dataset (e.g., occluded, small objects)
model.train(data="hard_dataset.yaml", epochs=50, imgsz=640)

Dans cet exemple simplifié, le modèle apprend d'abord des caractéristiques fondamentales à partir d'un jeu de données plus facile avant de s'adapter à des données plus difficiles, simulant un curriculum de base en deux étapes.