Normalización por lotes

Cómo funciona la normalización por lotes

Durante el proceso de entrenamiento del modelo, los datos pasan por la red en pequeños grupos denominados lotes. Una capa de normalización de lotes, que suele insertarse después de una capa convolucional o totalmente conectada y antes de la función de activación, realiza dos pasos principales para cada lote:

1. Normalización: Calcula la media y la varianza de las activaciones del lote actual. A continuación, utiliza estas estadísticas para normalizar las activaciones, dándoles una media de cero y una varianza de uno. Este paso garantiza que las entradas de la siguiente capa se encuentren en una escala coherente.
2. Escalado y desplazamiento: Normalizar las activaciones podría limitar la capacidad expresiva de la capa. Para contrarrestarlo, la capa introduce dos parámetros aprendibles: un factor de escala (gamma) y un factor de desplazamiento (beta). Estos parámetros permiten a la red aprender la escala y la media óptimas para las entradas de la capa siguiente, anulando la normalización si la red determina que es lo mejor.

Durante la inferencia, el modelo procesa ejemplos individuales en lugar de lotes. Por lo tanto, la media y la varianza específicas de cada lote no están disponibles. En su lugar, el modelo utiliza una media y una varianza agregadas calculadas a partir de todo el conjunto de datos de entrenamiento, que se calculan y almacenan durante la fase de entrenamiento. De este modo se garantiza que los resultados del modelo sean deterministas y coherentes.

Ventajas de la normalización por lotes

La implementación de la normalización por lotes en un modelo de aprendizaje profundo ofrece varias ventajas clave:

• Entrenamiento más rápido: Al estabilizar las distribuciones de entrada, BatchNorm permite utilizar una tasa de aprendizaje mucho mayor, lo que acelera significativamente la convergencia del modelo.
• Reduce el Desplazamiento Interno de Covariables: Este es el principal problema para el que se diseñó la normalización por lotes. Mitiga el problema de que los cambios en los parámetros de las capas anteriores provoquen un cambio en la distribución de las entradas de las capas posteriores, lo que dificulta el entrenamiento.
• Efecto de regularización: la normalización por lotes añade una pequeña cantidad de ruido a las activaciones de cada capa debido a las estadísticas basadas en lotes. Este ruido actúa como una forma de regularización, que puede ayudar a prevenir el sobreajuste y puede reducir la necesidad de otras técnicas como el Dropout.
• Reduce la dependencia de la inicialización: Hace que la red sea menos sensible a los pesos iniciales, haciendo que el proceso de entrenamiento sea más robusto.

Aplicaciones reales

La normalización por lotes es un componente casi omnipresente en los modelos modernos de visión por ordenador, incluidas las arquitecturas más avanzadas como Ultralytics YOLO.

• Clasificación de imágenes: En modelos entrenados en grandes conjuntos de datos como ImageNet, la normalización por lotes es crucial para entrenar redes muy profundas, como ResNet, al evitar problemas como la desaparición de gradientes. Esto permite una mayor precisión en tareas como la clasificación de objetos en fotografías.
• Análisis de imágenes médicas: Cuando se entrenan modelos para la detección de tumores o la segmentación de órganos a partir de resonancias magnéticas o tomografías computarizadas, la normalización por lotes garantiza que las variaciones en la intensidad de las imágenes en diferentes máquinas y pacientes no afecten negativamente al entrenamiento. De este modo se obtienen herramientas de diagnóstico más fiables y sólidas para la IA en la atención sanitaria.

Conceptos y distinciones afines

Es importante diferenciar la normalización por lotes de otros conceptos relacionados:

• Normalización de datos: La normalización general de datos es un paso de preprocesamiento que se aplica a los datos de entrada antes de comenzar el entrenamiento. En cambio, la normalización por lotes es un proceso dinámico que se produce dentro de la red durante el entrenamiento, normalizando las activaciones entre capas.
• Otras capas de normalización: Existen otras técnicas como la Normalización de Capas, la Normalización de Instancias y la Normalización de Grupos. La diferencia clave es el alcance de la normalización. Mientras que BatchNorm normaliza a través de la dimensión del lote, la Normalización por Capas normaliza a través de las características para un único ejemplo de entrenamiento, haciéndolo independiente del tamaño del lote. Estas alternativas se utilizan a menudo en ámbitos como la PNL o cuando se necesitan lotes de pequeño tamaño.

Consideraciones y aplicación

Una consideración clave para la normalización por lotes es su dependencia del tamaño del minilote durante el entrenamiento. El rendimiento puede disminuir si el tamaño del lote es demasiado pequeño (por ejemplo, 1 o 2), ya que las estadísticas del lote se convierten en estimaciones ruidosas de las estadísticas de la población. Los marcos de aprendizaje profundo estándar como PyTorch (torch.nn.BatchNorm2d) y TensorFlow (tf.keras.layers.BatchNormalization) proporcionan implementaciones robustas. A pesar de las alternativas, la normalización por lotes sigue siendo una técnica fundamental para entrenar eficazmente muchos modelos modernos de aprendizaje profundo. Puedes gestionar y entrenar modelos que incorporen dichas técnicas utilizando plataformas como HUB de Ultralytics.