Curriculum Learning

L’apprentissage par curriculum est une stratégie d’entraînement en apprentissage automatique qui présente les exemples dans un ordre pertinent, généralement du plus facile au plus difficile, au lieu de les échantillonner uniformément au hasard. Comme un programme scolaire, il permet à un réseau de neurones d’apprendre des motifs généraux et simples à partir d’exemples propres avant de rencontrer des exemples ambigus, encombrés ou bruités. En 2009, Bengio et al. ont formulé cette idée pour l’apprentissage profond : selon eux, commencer par des exemples faciles oriente l’optimisation d’une fonction de perte non convexe vers de meilleurs minima. Ils ont fait état d’améliorations significatives de la généralisation pour la reconnaissance de formes et la modélisation du langage.

Fonctionnement de l’apprentissage par curriculum#

Un curriculum nécessite deux composantes, que Hacohen et Weinshall appellent la fonction de score et la fonction de progression. La fonction de score classe les données d’entraînement selon leur difficulté, à l’aide d’heuristiques humaines comme la taille des objets, l’occultation ou la longueur des phrases, du degré de confiance d’un modèle enseignant préentraîné ou de la perte du modèle en cours d’entraînement. La fonction de progression détermine à quelle vitesse les exemples difficiles rejoignent l’ensemble d’entraînement ; on peut, par exemple, commencer avec les 20 % d’exemples les plus faciles, puis augmenter progressivement jusqu’à l’ensemble complet de données. L’extrait ci-dessous attribue un score à un jeu de données factice à l’aide d’un modèle enseignant et entraîne un modèle étudiant sur un ensemble croissant, en commençant par les exemples les plus faciles, avec scikit-learn :

import numpy as np
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression, SGDClassifier

# A toy dataset with 10% flipped labels, so some samples are genuinely hard
X, y = make_classification(n_samples=2000, n_features=20, flip_y=0.1, random_state=0)

# Scoring function: a teacher's confidence in each true label, sorted easiest first
teacher = LogisticRegression(max_iter=1000).fit(X, y)
confidence = teacher.predict_proba(X)[np.arange(len(y)), y]
order = np.argsort(-confidence)

# Pacing function: start with the easiest 20% and add 20% more each epoch
student = SGDClassifier(random_state=0)
for epoch in range(5):
    pool = order[: int((0.2 + 0.2 * epoch) * len(order))]
    student.partial_fit(X[pool], y[pool], classes=[0, 1])
    print(f"Epoch {epoch}: {len(pool)} samples, mean teacher confidence {confidence[pool].mean():.2f}")

L’ensemble passe de 400 à 2 000 échantillons, et le degré de confiance moyen du modèle enseignant diminue de 0,99 à 0,89 lorsque les 20 % d’échantillons les plus difficiles sont ajoutés à la dernière époque.

L’apprentissage à rythme autonome élimine le besoin d’un modèle enseignant : le modèle élabore son propre curriculum à partir de sa perte actuelle. Il s’agit de l’une des principales familles de curriculums recensées dans l’étude de Soviany et al.. À chaque cycle, les échantillons que le modèle traite déjà bien rejoignent l’ensemble d’entraînement, et le seuil de perte augmente jusqu’à ce que tous les échantillons soient inclus.

Quand l’apprentissage par curriculum est utile#

Les curriculums sont moins souvent utiles que ne le suggère l’intuition. Après des milliers d’exécutions d’entraînement, Wu, Dyer et Neyshabur n’ont constaté que des gains marginaux sur les jeux de données d’images de référence classiques, où un ensemble de données croissant avec un ordre aléatoire faisait aussi bien qu’un ordre allant du facile au difficile. Les curriculums ont toutefois amélioré les résultats lorsque le budget d’entraînement était limité ou que les étiquettes étaient bruitées, deux situations où les praticiens les utilisent le plus souvent.

Applications concrètes#

En apprentissage par renforcement pour la robotique, les curriculums augmentent la difficulté des tâches à mesure que l’agent progresse. OpenAI a entraîné une main robotique à résoudre un Rubik’s Cube grâce à une randomisation automatique du domaine, qui élargissait les plages de paramètres de la physique et de l’apparence simulées chaque fois que la politique réussissait suffisamment bien dans la plage actuelle.

En vision par ordinateur, un curriculum pour la détection d’objets peut commencer par de grands objets non occultés, puis intégrer des scènes de faible luminosité, encombrées ou avec de petits objets. L’entraînement Ultralytics YOLO26 fait également varier l’accent au fil du temps : sa perte de bout en bout déplace à chaque époque le poids de la tête dense à un-vers-plusieurs vers la tête à un-vers-un utilisée par nms=False, et close_mosaic=10 désactive mosaic, mixup, CutMix et l’augmentation copier-coller pendant les 10 dernières époques, afin que l’entraînement se termine sur des images semblables aux entrées réelles. Pour l’analyse d’images médicales, l’entraînement peut commencer par des examens sur lesquels les annotateurs experts sont d’accord, puis intégrer les cas ambigus, ce qui convient aux situations d’étiquettes bruitées où les curriculums sont les plus utiles.

Apprentissage par curriculum et concepts connexes#

• Apprentissage continu : l’apprentissage continu intègre progressivement de nouvelles tâches ou distributions de données et doit éviter d’oublier les anciennes. L’apprentissage par curriculum réordonne les données d’une seule tâche fixe.
• Apprentissage actif : l’apprentissage actif choisit les exemples non étiquetés à envoyer pour annotation, tandis que l’apprentissage par curriculum ordonne des exemples déjà étiquetés.
• Apprentissage par transfert : l’apprentissage par transfert préentraîne un modèle sur un vaste jeu de données général, puis le règle finement pour une tâche cible différente ; la tâche change donc entre les étapes.
• Extraction des exemples négatifs difficiles : l’extraction des exemples difficiles met l’accent sur ceux que le modèle traite le moins bien, à l’inverse d’un curriculum qui commence par les exemples faciles. L’extraction en ligne d’exemples difficiles (OHEM) pour les détecteurs Fast R-CNN ne rétropropage que sur les propositions de régions ayant la perte la plus élevée dans chaque image.