Licencia YOLO
Volver al glosario de Ultralytics

Continual Learning

El aprendizaje continuo, o aprendizaje permanente, entrena un modelo con un flujo de tareas o datos nuevos sin que olvide los anteriores. Explica la reproducción, EWC y el código.

El aprendizaje continuo, también llamado aprendizaje permanente o incremental, entrena un modelo con una secuencia de tareas o un flujo de datos cambiante y, al mismo tiempo, conserva lo aprendido anteriormente. El ajuste fino estándar con datos nuevos sobrescribe los pesos del modelo que servían para tareas anteriores, por lo que el rendimiento en esas tareas se desploma; este fallo se conoce como olvido catastrófico. Los métodos de aprendizaje continuo equilibran la plasticidad, es decir, la capacidad de aprender cosas nuevas, con la estabilidad, es decir, la capacidad de conservar los conocimientos anteriores; este compromiso se denomina dilema estabilidad-plasticidad tanto en las redes neuronales como en los cerebros biológicos.

Por qué importa el aprendizaje continuo#

Los modelos desplegados se enfrentan a datos que cambian constantemente: nuevas clases de objetos, nuevo hardware de cámara, iluminación estacional o una deriva de datos gradual. La solución más sencilla es volver a entrenar desde cero con todo el conjunto de datos acumulado, pero ese coste aumenta con cada actualización, y es posible que los datos antiguos no estén disponibles debido a limitaciones de almacenamiento, licencias o normas de privacidad de los datos. En cambio, el aprendizaje continuo actualiza el modelo de forma incremental, lo que resulta adecuado para dispositivos de AI en el borde y pipelines de operaciones de aprendizaje automático que reentrenan los modelos desplegados de forma programada.

Tipos de aprendizaje continuo#

Van de Ven, Tuytelaars y Tolias distinguen tres escenarios. En el aprendizaje incremental por tareas, se indica al modelo a qué tarea pertenece cada entrada y se puede utilizar una cabeza de salida independiente para cada tarea. En el aprendizaje incremental por dominios, las clases siguen siendo las mismas, pero cambia la distribución de las entradas; por ejemplo, cuando un detector pasa de analizar imágenes diurnas a imágenes nocturnas. En el aprendizaje incremental por clases, siguen apareciendo clases nuevas y el modelo debe distinguir todas las clases vistas hasta el momento sin que se le indique de qué tarea procede una entrada, lo que lo convierte en el más difícil de los tres.

Estrategias para evitar el olvido#

  • Repetición: El modelo almacena un pequeño búfer de ejemplos anteriores o genera ejemplos sintéticos con un modelo generativo y los mezcla en cada nueva ronda de entrenamiento.
  • Consolidación elástica de pesos: Los métodos de regularización, como EWC, añaden a la pérdida una penalización por cambiar los pesos que eran importantes para tareas anteriores y estiman esa importancia a partir de la información de Fisher.
  • Aislamiento de parámetros: Cada tarea obtiene sus propios parámetros mediante troncos congelados, cabezales específicos para cada tarea o adaptadores como LoRA, de modo que las actualizaciones de una tarea nueva no pueden sobrescribir las anteriores.
  • Destilación de conocimiento: Las salidas del modelo anterior sobre datos nuevos sirven como objetivos suaves mientras el modelo aprende la nueva tarea; este enfoque se conoce como aprendizaje sin olvido.

El fragmento siguiente ejecuta un experimento de aprendizaje incremental por clases en PyTorch: una red pequeña aprende los dígitos manuscritos del 0 al 4 y, después, del 5 al 9, con y sin un búfer de repetición de 100 imágenes almacenadas de la primera tarea.

import torch
from sklearn.datasets import load_digits
from torch import nn

X, y = load_digits(return_X_y=True)
X, y = torch.tensor(X / 16, dtype=torch.float32), torch.tensor(y)
task_a, task_b = torch.where(y < 5)[0], torch.where(y >= 5)[0]  # digits 0-4, then digits 5-9

for replay in [0, 100]:
    torch.manual_seed(0)
    model = nn.Sequential(nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, 10))
    optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
    # Train on task A, then on task B plus a replay buffer of stored task A images
    for task in [task_a, torch.cat([task_b, task_a[:replay]])]:
        for _ in range(200):
            optimizer.zero_grad()
            nn.functional.cross_entropy(model(X[task]), y[task]).backward()
            optimizer.step()
    accuracy = (model(X[task_a]).argmax(1) == y[task_a]).float().mean()
    print(f"Replay buffer of {replay} images: digits 0-4 accuracy after learning 5-9 = {accuracy:.0%}")

Sin repetición, la red olvida por completo los dígitos del 0 al 4 y obtiene un 0 % de aciertos con ellos después de aprender del 5 al 9. Al repetir 100 imágenes almacenadas, aproximadamente el 11 % de las 901 imágenes de la primera tarea, la precisión se mantiene en el 70 %. Ultralytics YOLO26 admite la parte de aislamiento de parámetros de este conjunto de herramientas mediante el argumento de entrenamiento freeze, que bloquea las primeras N capas o los módulos indicados mientras el modelo ajusta sus parámetros con datos nuevos.

Retos pendientes#

Evaluar un sistema de aprendizaje continuo requiere más de una puntuación: hay que registrar las métricas de rendimiento de cada tarea anterior después de cada actualización y medir tanto la transferencia hacia atrás (cómo afecta el nuevo aprendizaje a las tareas anteriores) como la transferencia hacia delante (cómo acelera el conocimiento anterior el aprendizaje de tareas nuevas). El entrenamiento continuo prolongado también se enfrenta a un problema más discreto que el olvido. Dohare et al. demostraron que los métodos estándar de aprendizaje profundo pierden gradualmente plasticidad, es decir, la capacidad de aprender algo nuevo, a lo largo de largas secuencias de tareas basadas en ImageNet y problemas de aprendizaje por refuerzo; también demostraron que la retropropagación continua, que reinicializa aleatoriamente una pequeña proporción de unidades poco utilizadas, la mantiene indefinidamente.

Aplicaciones en el mundo real#

  • Robótica: Un robot de una línea de fabricación puede aprender a manipular una nueva variante de producto sin un reentrenamiento completo y conservar su habilidad para trabajar con las piezas que ya manejaba.
  • Análisis de imágenes médicas: Los hospitales cambian de escáneres y protocolos de diagnóstico por imagen, y con el tiempo aparecen nuevos hallazgos. Las actualizaciones incrementales por dominio permiten que un modelo de diagnóstico se adapte a las nuevas imágenes sin perder precisión en las afecciones conocidas.
  • Modelos de lenguaje grandes: El preentrenamiento continuo con textos más recientes actualiza los conocimientos de un modelo, y los adaptadores eficientes en parámetros añaden nuevas habilidades sin volver a entrenar el modelo completo.
  • Aprendizaje por transferencia: El aprendizaje por transferencia reutiliza un modelo preentrenado como punto de partida para una tarea nueva y evalúa el éxito únicamente en esa tarea. El aprendizaje continuo se evalúa tanto en la tarea nueva como en todas las anteriores.
  • Aprendizaje en línea: El aprendizaje en línea actualiza un modelo con un ejemplo o un minib lote cada vez, a medida que llegan los datos, normalmente para una sola tarea, y no tiene por qué abordar el olvido.
  • Aprendizaje curricular: El aprendizaje curricular ordena los ejemplos de una tarea fija de más fáciles a más difíciles, mientras que el aprendizaje continuo trabaja con una secuencia de tareas o distribuciones diferentes.
  • Desaprendizaje automático: El desaprendizaje funciona en sentido contrario: elimina deliberadamente de un modelo la influencia de datos de entrenamiento concretos, por ejemplo, para atender las solicitudes de supresión conforme al derecho al olvido del RGPD.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático