Curriculum Learning

L'apprentissage par curriculum est une stratégie d'entraînement en machine learning inspirée de la façon dont les humains apprennent, en commençant par des concepts simples avant d'introduire progressivement des concepts plus complexes. Au lieu de présenter à un modèle des données d'entraînement dans un ordre aléatoire, les échantillons d'entraînement sont explicitement structurés selon une séquence de difficulté croissante. Cette approche organisée pour exposer un neural network aux données peut mener à une convergence plus rapide, une meilleure généralisation et une robustesse globale accrue dans les tâches complexes.

Cette progression structurée est différente de l'apprentissage continu, qui se concentre sur l'ajout de nouvelles tâches à un modèle sans oublier les précédentes. Dans l'apprentissage par curriculum, l'objectif reste le même, mais la séquence des données d'entraînement est stratégiquement élaborée.

Link to this sectionComment fonctionne l'apprentissage par curriculum#

L'idée centrale de l'apprentissage par curriculum est que l'initialisation des paramètres d'un modèle en utilisant des exemples plus faciles le guide vers un meilleur minimum local dans le paysage de perte. À mesure que le modèle maîtrise les fonctionnalités de base, le régime d'entraînement introduit des exemples plus difficiles, permettant au modèle d'affiner sa compréhension et d'apprendre des détails plus complexes.

La mise en œuvre de l'apprentissage par curriculum implique deux composantes principales :

1. Métrique de difficulté : Une méthode pour évaluer la complexité de chaque exemple d'entraînement. En computer vision, cela pourrait être basé sur la taille de l'objet, l'occlusion ou la clarté de l'image.

2. Planificateur d'entraînement : Une fonction de rythme qui dicte quand et comment des exemples plus difficiles sont introduits dans le processus d'entraînement.

Par exemple, lors de l'entraînement d'Ultralytics YOLO26 pour la détection d'objets, tu pourrais commencer par entraîner sur des images avec des objets uniques, clairs et centrés. Au fur et à mesure que l'entraînement progresse, le planificateur introduit des images avec plusieurs objets, une forte occlusion ou des conditions d'éclairage variables. Cela permet au modèle de saisir les caractéristiques fondamentales des objets avant de s'attaquer à des scénarios réels difficiles.

Link to this sectionApplications concrètes#

L'apprentissage par curriculum s'est avéré bénéfique dans divers domaines de l'IA, en particulier lors du traitement de jeux de données bruités ou de tâches très complexes.

• Véhicules autonomes : Dans la formation de systèmes de conduite autonome, les modèles sont d'abord entraînés à reconnaître les marquages de voie de base et les panneaux de signalisation clairs. Ce n'est qu'après avoir maîtrisé ces bases qu'ils sont exposés à des scénarios complexes comme les fortes pluies, les mouvements erratiques de piétons ou les intersections complexes, améliorant ainsi la sécurité de l'IA et sa fiabilité.
• Analyse d'images médicales : Lors du développement de modèles pour l'analyse d'images médicales, une approche par curriculum pourrait impliquer de commencer par des scans à fort contraste et clairs de tumeurs évidentes avant de passer à des scans avec des anomalies subtiles ou des artefacts d'imagerie.

Link to this sectionAvantages et considérations#

Les recherches menées par des institutions comme Google AI et OpenAI soulignent continuellement les avantages des régimes d'entraînement structurés. En concevant soigneusement la séquence d'entraînement, les développeurs peuvent souvent atteindre une précision plus élevée et réduire le risque de surapprentissage.

Cependant, définir la « difficulté » d'un exemple n'est pas toujours simple. Un curriculum mal conçu peut parfois ralentir l'entraînement ou biaiser le modèle. Les approches modernes, telles que celles discutées dans les récentes publications arXiv sur l'apprentissage auto-rythmé, permettent au modèle lui-même de déterminer dynamiquement la difficulté des exemples en fonction de sa perte actuelle, automatisant ainsi la conception du curriculum.

Pour gérer efficacement des jeux de données personnalisés et expérimenter des stratégies d'entraînement, des outils comme la Ultralytics Platform fournissent un environnement rationalisé pour l'annotation de données, la structuration des divisions de données et le suivi de la progression de l'entraînement.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# A conceptual example of manually implementing a simple curriculum
# Phase 1: Train on 'easy' dataset (e.g., clear, large objects)
model.train(data="easy_dataset.yaml", epochs=50, imgsz=640)

# Phase 2: Fine-tune on 'hard' dataset (e.g., occluded, small objects)
model.train(data="hard_dataset.yaml", epochs=50, imgsz=640)

Dans cet exemple simplifié, le modèle apprend d'abord des caractéristiques fondamentales à partir d'un jeu de données plus facile avant de s'adapter à des données plus difficiles, simulant un curriculum de base en deux étapes.