Curriculum Learning

El aprendizaje por currículo es una estrategia de entrenamiento de aprendizaje automático que presenta los ejemplos en un orden significativo, normalmente de los más fáciles a los más difíciles, en lugar de muestrearlos uniformemente al azar. Como un currículo escolar, permite que una red neuronal aprenda patrones amplios y sencillos a partir de ejemplos limpios antes de enfrentarse a otros ambiguos, desordenados o ruidosos. Bengio et al. formularon la idea para el aprendizaje profundo en 2009 y defendieron que empezar por lo fácil guía la optimización de una función de pérdida no convexa hacia mínimos mejores; también observaron mejoras importantes en la generalización en tareas de reconocimiento de formas y modelado del lenguaje.

Cómo funciona el aprendizaje curricular#

Un currículo necesita dos componentes, que Hacohen y Weinshall denominan función de puntuación y función de ritmo. La función de puntuación ordena los datos de entrenamiento según su dificultad, utilizando heurísticas humanas como el tamaño de los objetos, la oclusión o la longitud de las frases, la confianza de un modelo profesor preentrenado o la pérdida del modelo que se está entrenando. La función de ritmo decide con qué rapidez se incorporan los ejemplos más difíciles al conjunto de entrenamiento del modelo; por ejemplo, se puede empezar con el 20 % más sencillo y ampliarlo linealmente hasta abarcar todo el conjunto de datos. El siguiente fragmento puntúa un conjunto de datos de prueba con un modelo profesor y entrena un estudiante con un conjunto creciente que empieza por los ejemplos más fáciles, usando scikit-learn:

import numpy as np
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression, SGDClassifier

# A toy dataset with 10% flipped labels, so some samples are genuinely hard
X, y = make_classification(n_samples=2000, n_features=20, flip_y=0.1, random_state=0)

# Scoring function: a teacher's confidence in each true label, sorted easiest first
teacher = LogisticRegression(max_iter=1000).fit(X, y)
confidence = teacher.predict_proba(X)[np.arange(len(y)), y]
order = np.argsort(-confidence)

# Pacing function: start with the easiest 20% and add 20% more each epoch
student = SGDClassifier(random_state=0)
for epoch in range(5):
    pool = order[: int((0.2 + 0.2 * epoch) * len(order))]
    student.partial_fit(X[pool], y[pool], classes=[0, 1])
    print(f"Epoch {epoch}: {len(pool)} samples, mean teacher confidence {confidence[pool].mean():.2f}")

El conjunto crece de 400 a 2.000 muestras, y la confianza media del modelo profesor baja de 0.99 a 0.89 cuando se incorpora el 20 % final, el más difícil, durante la última época.

El aprendizaje autoajustado elimina la necesidad de un profesor y permite que el modelo construya su propio currículo a partir de su pérdida actual; es una de las principales familias de currículos de la revisión de Soviany et al.. En cada ronda, las muestras que el modelo ya gestiona bien se incorporan al conjunto de entrenamiento, y el umbral de pérdida aumenta hasta incluir todas las muestras.

Cuándo ayuda el aprendizaje por currículo#

Los currículos ayudan con menos frecuencia de la que sugiere la intuición. En miles de ejecuciones de entrenamiento, Wu, Dyer y Neyshabur encontraron beneficios marginales en los conjuntos de datos de referencia habituales de imágenes, donde los datos en orden aleatorio dentro de un conjunto creciente funcionaban igual de bien que un orden de menor a mayor dificultad. Los currículos sí mejoraron los resultados cuando el presupuesto de entrenamiento era limitado o las etiquetas contenían ruido, precisamente las situaciones en las que los profesionales suelen utilizarlos.

Aplicaciones en el mundo real#

En el aprendizaje por refuerzo para robótica, los currículos aumentan la dificultad de las tareas a medida que mejora el agente. OpenAI entrenó una mano robótica para resolver un cubo de Rubik mediante aleatorización automática del dominio, que ampliaba los rangos de la física y el aspecto simulados cada vez que la política rendía lo bastante bien en el rango actual.

En visión artificial, un currículo para la detección de objetos puede empezar con objetos grandes y sin oclusiones y añadir después escenas con objetos pequeños, agrupados o mal iluminados. El entrenamiento de Ultralytics YOLO26 también cambia su enfoque con el tiempo: su pérdida de extremo a extremo modifica en cada época el peso, que pasa del cabezal denso de uno a muchos al cabezal de uno a uno que usa nms=False, y close_mosaic=10 desactiva Mosaic, MixUp, CutMix y Copy-Paste como técnicas de aumento de datos durante las 10 épocas finales, para que el entrenamiento termine con imágenes parecidas a las entradas reales. En el análisis de imágenes médicas, el entrenamiento puede empezar con exploraciones en las que coinciden los anotadores expertos y añadir después los casos ambiguos; esto encaja con el escenario de etiquetas ruidosas en el que los currículos más ayudan.

Aprendizaje por currículo frente a conceptos relacionados#

• Aprendizaje continuo: incorpora nuevas tareas o distribuciones de datos con el tiempo y debe evitar olvidar las anteriores. El aprendizaje por currículo reordena los datos de una única tarea fija.
• Aprendizaje activo: elige qué ejemplos sin etiquetar se deben enviar para su etiquetado, mientras que el aprendizaje por currículo ordena ejemplos que ya están etiquetados.
• Aprendizaje por transferencia: preentrena con un conjunto de datos general amplio y después ajusta el modelo a otra tarea objetivo, por lo que la tarea cambia entre etapas.
• Minería de ejemplos negativos difíciles: la minería de ejemplos difíciles hace hincapié en los ejemplos que el modelo clasifica peor, lo contrario que un currículo que empieza por los más fáciles. La minería en línea de ejemplos difíciles (OHEM) para detectores Fast R-CNN propaga hacia atrás solo las propuestas de región con la pérdida más alta de cada imagen.