Regularization

A regularização é qualquer alteração à forma como um modelo é treinado que visa reduzir o erro do modelo em dados novos, mesmo que o erro nos dados de treino aumente. Ela combate o sobreajuste, em que um modelo com capacidade suficiente memoriza o ruído e as particularidades dos exemplos que viu. A regularização limita a complexidade efetiva de um modelo penalizando pesos elevados, injetando ruído, adicionando dados variados ou interrompendo o treino mais cedo. Em termos de viés-variância, aceita um ligeiro aumento do viés em troca de uma redução maior da variância.

Penalizações L1 e L2#

A forma clássica adiciona uma penalização dos pesos à função de perda: perda total = perda dos dados + λ × penalização. A regularização L2 penaliza a soma dos quadrados dos pesos, Σw², o que aproxima cada peso de zero proporcionalmente à sua magnitude; em modelos lineares, chama-se regressão ridge. A regularização L1 penaliza a soma dos valores absolutos dos pesos; a sua força constante leva muitos pesos exatamente a zero, pelo que a regressão linear com penalização L1, o lasso, também funciona como seleção de características. A rede elástica combina ambas. A intensidade da penalização λ, chamada alpha no scikit-learn, é um hiperparâmetro: se for demasiado baixa, o modelo continua a sobreajustar; se for demasiado alta, o modelo subajusta. Um ajuste polinomial de grau 9 a 12 pontos ruidosos de uma onda sinusoidal mostra ambos os modos de falha:

import numpy as np
from sklearn.linear_model import Ridge
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures

rng = np.random.default_rng(0)

# 12 noisy training points from a sine wave, plus clean test points
x_train = rng.uniform(0, 1, (12, 1))
y_train = np.sin(2 * np.pi * x_train[:, 0]) + rng.normal(0, 0.2, 12)
x_test = np.linspace(0, 1, 200)[:, None]
y_test = np.sin(2 * np.pi * x_test[:, 0])

# The same degree-9 polynomial, fit with a growing L2 penalty on its coefficients
for alpha in (0.0, 1e-4, 1e-2, 1.0):
    model = make_pipeline(PolynomialFeatures(9), Ridge(alpha=alpha)).fit(x_train, y_train)
    train_mse = np.mean((model.predict(x_train) - y_train) ** 2)
    test_mse = np.mean((model.predict(x_test) - y_test) ** 2)
    weight_norm = np.linalg.norm(model[-1].coef_)
    print(f"alpha {alpha:g}: train MSE {train_mse:.4f}, test MSE {test_mse:.4f}, |w| {weight_norm:.1f}")

Sem penalização, o polinómio acompanha o ruído: a norma dos coeficientes chega a cerca de 425 000, o erro de treino é 0.0148 e o erro de teste é 0.1859. Uma penalização de 0.0001 reduz a norma dos coeficientes para 20.8 e diminui o erro de teste onze vezes, para 0.0170, enquanto o erro de treino sobe para 0.0334. Com um alfa de 1, a penalização domina e o modelo subajusta, com um erro de teste de 0.3998.

Decaimento de pesos e dropout em redes neurais#

Nas redes neurais, a regularização L2 assume geralmente a forma de decaimento de pesos: cada atualização também reduz cada peso numa pequena fração do seu valor. No gradiente descendente estocástico simples, os dois métodos são equivalentes. Nos otimizadores adaptativos, como Adam, um termo L2 adicionado ao gradiente é dividido pela escala de Adam por parâmetro, pelo que os pesos com gradientes elevados quase não são regularizados. O decaimento de pesos desacoplado aplica diretamente essa redução, e o otimizador AdamW resultante é a escolha padrão para transformers.

Uma camada de dropout define a saída de cada unidade como zero com probabilidade p em cada passo de treino e escala as saídas restantes por 1/(1 − p), impedindo que a rede dependa de uma única unidade e, na prática, treinando várias sub-redes reduzidas que partilham pesos. Durante a inferência, todas as unidades permanecem ativas. Nas experiências originais, uma probabilidade de dropout de 0.5 para unidades ocultas foi quase ideal numa vasta gama de redes e tarefas.

O treino Ultralytics YOLO disponibiliza ambos: weight_decay, 0.0005 por predefinição, aplica-se apenas aos pesos convolucionais e lineares e ignora os vieses e os parâmetros das camadas de normalização; dropout, 0.0 por predefinição, atua imediatamente antes da camada linear final dos modelos de classificação YOLO26.

from ultralytics import YOLO

# Carrega um modelo de classificação YOLO26n pré-treinado
model = YOLO("yolo26n-cls.pt")

# Treina com dropout na cabeça de classificação e um decaimento de pesos mais forte
results = model.train(data="mnist160", epochs=10, dropout=0.2, weight_decay=0.001)

Outras técnicas de regularização#

• Aumento de dados: Inversões, recortes, redimensionamento, alterações de cor e mosaicos aumentam a variedade das imagens de treino, para que o modelo veja cada objeto em muito mais condições do que as presentes no conjunto de dados original.
• Suavização de rótulos: Substitui os alvos de classificação one-hot por alvos ligeiramente suavizados, para que o modelo deixe de levar os seus logits a níveis de confiança extremos.
• Regularização implícita: O ruído dos gradientes no treino com lotes pequenos e o ruído entre lotes da normalização em lote regularizam o modelo sem qualquer termo explícito.

A paragem antecipada regulariza o modelo ao limitar o tempo de treino. Avalia o modelo nos dados de validação após cada época e interrompe o treino quando a pontuação não melhora durante um número definido de épocas, chamado paciência, mantendo os melhores pesos encontrados até ao momento:

Regularização vs. conceitos relacionados#

• Normalização: Redimensiona as entradas ou ativações para acelerar e estabilizar o treino. A normalização em lote só regulariza como efeito secundário.
• Ajuste de hiperparâmetros: Procura valores adequados para definições de regularização, como λ, a probabilidade de dropout e a paciência, bem como para todos os outros hiperparâmetros.
• Ensembles de modelos: Reduzem a variância calculando a média das previsões de vários modelos treinados de forma independente. O dropout aproxima esse tipo de ensemble dentro de uma única rede: durante o treino, amostra entre um número exponencial de sub-redes reduzidas; durante o teste, executar a rede completa com todas as unidades ativas aproxima o cálculo da média de todas as previsões.