Double Descent
A dupla descida é um padrão em que o erro de teste diminui, atinge um pico no limiar de interpolação e depois volta a diminuir conforme os modelos crescem ou são treinados por mais tempo.
A dupla descida é um padrão em que o erro de um modelo em dados não vistos diminui, aumenta e depois volta a diminuir à medida que o modelo cresce ou treina durante mais tempo. O aumento atinge o seu pico perto do ponto em que o modelo se torna suficientemente grande para ajustar exatamente todos os exemplos de treino. Depois desse ponto, o aumento da capacidade volta a reduzir o erro de teste, muitas vezes para um valor inferior ao melhor resultado obtido por qualquer modelo mais pequeno.
Esse padrão amplia a representação didática do compromisso entre viés e variância, que prevê uma única curva em U: o erro diminui à medida que um modelo capta mais estrutura e depois aumenta quando começa a sobreajustar o ruído, de modo que o melhor modelo fica em algum ponto intermediário. Para modelos fortemente sobredimensionados, como as modernas redes neurais, essa curva em U é apenas a primeira metade da curva. Mikhail Belkin e colegas deram nome ao fenômeno num artigo publicado em 2019, e pesquisadores de Harvard e da OpenAI mostraram no mesmo ano que ele aparece em modelos padrão de aprendizagem profunda, incluindo ResNets e transformers.
O limiar de interpolação#
O pico ocorre no limiar de interpolação, o tamanho do modelo em que o erro de treino chega a zero pela primeira vez. Um modelo com esse tamanho tem apenas os parâmetros necessários para passar por todos os pontos de treino, pelo que existe essencialmente uma única forma de o fazer. Se alguns rótulos tiverem ruído ou estiverem errados, essa solução única tem de se curvar acentuadamente para os ajustar, as previsões entre os pontos de treino tornam-se erráticas e o erro de teste dispara.
Acima do limiar, muitas configurações diferentes de parâmetros se ajustam perfeitamente aos dados de treinamento. Métodos de treinamento baseados em gradiente, como a descida estocástica do gradiente, tendem a convergir para as soluções mais suaves; em modelos lineares, exatamente aquela com os menores pesos. Assim, a capacidade adicional é usada para suavizar a função entre pontos. Essa preferência implícita por soluções simples explica por que uma rede com muito mais parâmetros do que exemplos de treinamento ainda pode generalizar bem.
O script abaixo reproduz a curva com regressão de características aleatórias em 40 pontos de treino com ruído. Cada modelo ajusta a solução de mínimos quadrados de norma mínima, e o número de características aleatórias representa o tamanho do modelo:
import numpy as np
rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train) # noisy training labels
y_test = x_test @ w
for n_features in [10, 20, 30, 40, 50, 100, 1000]:
proj = rng.normal(size=(dim, n_features))
f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)
# pinv returns the minimum-norm fit once there are more features than examples
coef = np.linalg.pinv(f_train) @ y_train
test_mse = np.mean((f_test @ coef - y_test) ** 2)
print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")O erro de teste cai de 3.37 para 2.98 entre 10 e 20 características, sobe para 42.12 com 30 e para cerca de 3,960 com 40 características, quando o modelo pode interpolar exatamente os 40 pontos, e depois cai para 29.01 com 50, 2.72 com 100 e 1.33 com 1,000 características, muito abaixo do melhor modelo pequeno.
Por modelo, por época e por amostra#
A dupla descida aparece em três eixos. A dupla descida em função do modelo, a curva clássica, representa o erro de teste em relação ao tamanho do modelo, como a largura da rede, com um orçamento de treinamento fixo. A dupla descida em função das épocas representa o erro em relação ao tempo de treinamento em épocas para um modelo grande; assim, o erro de validação pode melhorar, piorar e depois melhorar novamente à medida que o treinamento continua. A dupla descida em função das amostras representa o erro em relação ao tamanho do conjunto de treinamento: mais dados deslocam o limiar para modelos maiores, portanto, adicionar dados pode prejudicar temporariamente um modelo de tamanho fixo.
O ruído nos rótulos acentua os três tipos. Uma regularização bem ajustada, como a penalização dos pesos, e uma ampliação de dados forte podem reduzir ou eliminar o pico, o que explica, em parte, por que razão este costuma ser menos evidente em execuções de treino cuidadosamente configuradas.
Dois fenômenos relacionados são fáceis de confundir com esse efeito. No grokking, a precisão de validação fica próxima do acaso muito depois de a precisão de treinamento chegar a 100% e, em seguida, aumenta de repente, sem primeiro piorar. As leis de escala descrevem a melhoria gradual de modelos grandes com mais parâmetros, dados e computação, o regime muito à direita do pico de interpolação.
Implicações para o treino de modelos de visão#
A forma em função das épocas é a mais relevante no dia a dia: uma métrica de validação que cai no meio do treinamento nem sempre significa que a execução atingiu o pico. Ao treinar modelos Ultralytics YOLO26 no modo de treinamento, o argumento patience encerra uma execução apenas após 100 épocas sem ganhos na aptidão de validação, por padrão, e o ponto de verificação com a melhor aptidão é salvo como best.pt; assim, um pico temporário não encerra a execução nem substitui os melhores pesos.
O ruído nos rótulos determina o quão acentuado é o pico em função do modelo. Nos experimentos de Harvard e OpenAI, modelos ResNet18 com largura crescente, treinados no CIFAR-10 com rótulos limpos, apresentaram apenas um platô no erro de teste próximo ao limiar de interpolação; a adição de ruído aos rótulos transformou esse platô num pico. Com 15% dos rótulos de treinamento aleatorizados, redes de tamanho médio tiveram resultados piores nos testes do que redes mais estreitas e mais largas.










