Normalization

La normalización consiste en reescalar valores numéricos a una escala común para que ninguna característica domine el modelo solo por sus unidades. En el preprocesamiento de datos, suele consistir en transformar cada característica de entrada a un rango fijo, como [0, 1], o a media cero y varianza unitaria, antes del entrenamiento. Dentro de una red neuronal, las capas de normalización, como la normalización por lotes, aplican la misma idea a las activaciones intermedias. Sin normalización, una característica medida en miles, como los ingresos, pesa más que otra medida en cifras de una sola unidad, como el tamaño del hogar, en cada cálculo de distancia y paso del gradiente.

Técnicas habituales de normalización#

• Escalado min-max: Asigna cada característica al intervalo [0, 1] mediante (x − min) / (max − min). Un valor extremo comprime todos los demás en una franja estrecha, por lo que resulta adecuado para características con límites fijos conocidos, como los valores de píxeles de 8 bits divididos entre 255.
• Estandarización con puntuación z: Resta la media de la característica y divide el resultado por su desviación estándar, de modo que la media sea 0 y la desviación estándar, 1. Es la opción predeterminada habitual para características sin límites fijos.
• Escalado robusto: Resta la mediana y divide el resultado por el rango intercuartílico, por lo que unos pocos valores atípicos apenas afectan al escalado de los valores restantes.
• Escalado logarítmico: Aplica un logaritmo, a menudo log(1 + x), para comprimir características de cola pesada, como precios, poblaciones o recuentos de visualizaciones, antes de aplicar otros escalados.
• Normalización de vector unitario (L2): Divide el vector de cada muestra por su longitud para que todos los vectores tengan norma 1. Aplicada a las incrustaciones, convierte la similitud del coseno en un simple producto escalar. Normalizer de scikit-learn realiza esta operación por muestra, lo que sorprende a quienes esperan que escale cada característica como MinMaxScaler.

La técnica adecuada depende de qué se escala y de cómo se distribuyen sus valores:

Por qué importa la normalización#

Los métodos basados en distancias, como k vecinos más próximos (k-NN), la agrupación k-means y las máquinas de vectores de soporte con kernel RBF, comparan distancias euclidianas sin normalizar; por eso, la característica con mayor rango determina qué puntos se consideran próximos. Los modelos basados en gradientes se entrenan más rápido con entradas normalizadas, porque las características con escalas muy distintas deforman la superficie de pérdida y crean valles estrechos en los que el descenso de gradiente debe avanzar en pasos pequeños. Los conjuntos de árboles, como los bosques aleatorios, dividen los datos según el umbral de una característica cada vez y generan las mismas divisiones con cualquier reescalado monótono. El efecto se aprecia al escalar el conjunto de datos Wine antes de aplicar k-NN:

from sklearn.datasets import load_wine
from sklearn.model_selection import cross_val_score
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import MinMaxScaler, StandardScaler

# 13 chemical features on very different scales, from hue (about 0.5-1.7) to proline (about 280-1,680)
X, y = load_wine(return_X_y=True)

# k-NN compares raw distances, so unscaled proline dominates every distance
for name, scaler in [("none", "passthrough"), ("min-max", MinMaxScaler()), ("z-score", StandardScaler())]:
    # The pipeline fits the scaler on each training fold only, so no test statistics leak in
    model = make_pipeline(scaler, KNeighborsClassifier())
    accuracy = cross_val_score(model, X, y, cv=5).mean()
    print(f"scaling {name:8s} 5-fold accuracy: {accuracy:.3f}")

Sin escalado, k-NN alcanza una precisión de 0,691, porque la prolina, cuyo rango abarca unas 1.400 unidades, pesa más que las otras 12 características en cada distancia. El escalado min-max eleva la precisión a 0,950 y la estandarización con puntuación z, a 0,949. Es importante ajustar el escalador dentro de la canalización: calcular el mínimo, el máximo, la media o la desviación estándar sobre el conjunto de datos completo antes de dividirlo filtra información del conjunto de prueba al entrenamiento, una forma de filtración de datos.

Normalización en visión artificial#

Las imágenes se normalizan por canal. Dividir los valores de píxel de 8 bits entre 255 los convierte al intervalo [0, 1], y muchos backbones de clasificación restan después una media por canal y dividen por una desviación estándar: ResNet-50 preentrenado con ImageNet de torchvision espera una media de (0.485, 0.456, 0.406) y una desviación estándar de (0.229, 0.224, 0.225). Si se introducen en un modelo preentrenado datos normalizados de forma distinta a los de sus datos de entrenamiento, se desplazan todas las activaciones y disminuye la precisión. El preprocesamiento de Ultralytics YOLO divide los valores de píxel entre 255 y no aplica ningún desplazamiento de media ni desviación estándar, tanto durante el entrenamiento como durante la predicción, por lo que YOLO26 siempre recibe entradas en el intervalo [0, 1].

Las imágenes médicas requieren reglas específicas para cada modalidad. Las tomografías computarizadas (TC) almacenan intensidades en unidades Hounsfield, una escala física en la que el aire vale −1000 y el agua, 0; por eso, se pueden aplicar las mismas estadísticas a distintas exploraciones. El marco de segmentación nnU-Net, muy utilizado, recorta las intensidades de TC a los percentiles 0,5 y 99,5 de los valores del primer plano de todos los casos de entrenamiento y, después, las normaliza con puntuación z usando la media y la desviación estándar de todo el conjunto de datos. Las intensidades de RM no tienen una escala física fija y varían entre escáneres, así que nnU-Net normaliza cada exploración de RM por separado con puntuación z.

Normalización y términos relacionados#

• Estandarización: Nombre habitual del escalado con puntuación z. Muchas fuentes llaman «normalización» tanto al escalado min-max como al escalado con puntuación z, mientras que otras reservan «normalización» para el escalado min-max.
• Aumento de datos: Modifica el contenido o la geometría de las imágenes, por ejemplo, mediante volteos, recortes y cambios de color, para añadir variedad; la normalización solo modifica la escala de los valores.
• Capas de normalización: La normalización por lotes estandariza cada canal con estadísticas del minilote actual. La normalización por capas estandariza cada ejemplo a través de sus características, con independencia del tamaño del lote, y se usa en todos los transformers. Estas capas aplican después una escala y un desplazamiento aprendidos.
• RMSNorm: Una normalización por capas simplificada que omite la resta de la media y divide únicamente por la raíz cuadrática media. Es la capa de normalización de Llama, de Meta, y de muchos otros modelos de lenguaje grandes.