Retropropagación

Cómo funciona la retropropagación

El proceso de retropropagación es fundamental para el bucle de entrenamiento del modelo y puede entenderse como un ciclo de dos fases que se repite para cada lote de datos:

1. Paso adelante: Los datos de entrenamiento se introducen en la red. Cada neurona recibe las entradas, las procesa utilizando los pesos de su modelo y una función de activación, y pasa la salida a la capa siguiente. Esto continúa hasta que la última capa produce una predicción. A continuación, la predicción del modelo se compara con la verdad sobre el terreno (las etiquetas correctas) mediante una función de pérdida, que calcula una puntuación de error que cuantifica el grado de error de la predicción.

2. Paso hacia atrás: Aquí comienza la retropropagación. Comienza en la capa final y propaga el error hacia atrás a través de la red, capa por capa. En cada neurona, utiliza el cálculo (en concreto, la regla de la cadena) para calcular la contribución de los pesos y sesgos de esa neurona al error total. Esta contribución se conoce como gradiente. Los gradientes indican al modelo cómo ajustar cada peso para reducir el error. Un algoritmo de optimización utiliza estos gradientes para actualizar los pesos.

Este ciclo de pasadas hacia delante y hacia atrás se repite durante muchas épocas, lo que permite al modelo minimizar gradualmente su error y mejorar su precisión. Frameworks como PyTorch y TensorFlow tienen motores de diferenciación automática altamente optimizados que manejan el complejo cálculo de la retropropagación entre bastidores.

Propagación retrospectiva frente a conceptos afines

Es importante distinguir la retropropagación de otros conceptos relacionados en el aprendizaje automático:

• Algoritmo de optimización: La retropropagación es el método de cálculo de los gradientes de la pérdida con respecto a los parámetros del modelo. Un algoritmo de optimización, como el Descenso Gradiente Estocástico (SGD) o el optimizador Adam, es el mecanismo que utiliza estos gradientes para actualizar los pesos del modelo. Piense que la retropropagación proporciona el mapa y el optimizador conduce el coche.
• Función de pérdida: Una función de pérdida mide el error entre las predicciones del modelo y los valores reales. La retropropagación utiliza esta puntuación de error como punto de partida para calcular los gradientes. La elección de la función de pérdida es fundamental, pero es un componente independiente del propio algoritmo de retropropagación.
• Desvanecimiento y explosión de gradientes: Son problemas que pueden ocurrir durante la retropropagación en redes profundas. Un gradiente de fuga se produce cuando los gradientes son extremadamente pequeños, lo que impide que las primeras capas aprendan. Por el contrario, un gradiente explosivo se produce cuando los gradientes son excesivamente grandes, lo que provoca un entrenamiento inestable. Para mitigar estos problemas se utilizan técnicas como la inicialización cuidadosa de los pesos, la normalización y el uso de funciones de activación como ReLU.

Aplicaciones reales

La retropropagación se utiliza implícitamente cada vez que se entrena un modelo de aprendizaje profundo. He aquí dos ejemplos concretos:

1. Detección de objetos con Ultralytics YOLO: Cuando se entrena un modelo YOLO de Ultralytics (como YOLO11) para la detección de objetos en un conjunto de datos como COCO, se utiliza la retropropagación en cada iteración del entrenamiento. Después de que el modelo predice los cuadros delimitadores y las clases, se calcula la pérdida. La retropropagación calcula los gradientes de todos los pesos en la columna vertebral del modelo y en el cabezal de detección. A continuación, un optimizador utiliza estos gradientes para ajustar los pesos, mejorando la capacidad del modelo para localizar y clasificar objetos con precisión. Los usuarios pueden aprovechar plataformas como Ultralytics HUB para gestionar este proceso de entrenamiento, beneficiándose de eficaces implementaciones de retropropagación. Esto es crucial para aplicaciones que van desde los vehículos autónomos a los sistemas de seguridad.
2. Modelos de procesamiento del lenguaje natural: Los grandes modelos lingüísticos (LLM), como los modelos BERT y GPT, se entrenan mediante retropropagación. Por ejemplo, en una tarea de análisis de sentimientos, el modelo predice el sentimiento de un texto determinado. La diferencia entre el sentimiento predicho y la etiqueta real da como resultado un valor de error. La retropropagación calcula cuánto ha contribuido a este error cada parámetro de la amplia red. A continuación, los algoritmos de optimización actualizan estos parámetros, lo que permite al modelo comprender mejor los matices lingüísticos, el contexto y el sentimiento a lo largo del entrenamiento. Grupos de investigación académica como el de PNL de Stanford exploran y perfeccionan continuamente estas técnicas.