Licenciar o YOLO
Voltar ao glossário da Ultralytics

Double Descent

A dupla descida é um padrão em que o erro de teste diminui, atinge um pico no limiar de interpolação e depois volta a diminuir conforme os modelos crescem ou são treinados por mais tempo.

A dupla descida é um padrão em que o erro de um modelo em dados não vistos diminui, aumenta e depois volta a diminuir à medida que o modelo cresce ou treina durante mais tempo. O aumento atinge o seu pico perto do ponto em que o modelo se torna suficientemente grande para ajustar exatamente todos os exemplos de treino. Depois desse ponto, o aumento da capacidade volta a reduzir o erro de teste, muitas vezes para um valor inferior ao melhor resultado obtido por qualquer modelo mais pequeno.

Esse padrão amplia a representação didática do compromisso entre viés e variância, que prevê uma única curva em U: o erro diminui à medida que um modelo capta mais estrutura e depois aumenta quando começa a sobreajustar o ruído, de modo que o melhor modelo fica em algum ponto intermediário. Para modelos fortemente sobredimensionados, como as modernas redes neurais, essa curva em U é apenas a primeira metade da curva. Mikhail Belkin e colegas deram nome ao fenômeno num artigo publicado em 2019, e pesquisadores de Harvard e da OpenAI mostraram no mesmo ano que ele aparece em modelos padrão de aprendizagem profunda, incluindo ResNets e transformers.

O limiar de interpolação#

O pico ocorre no limiar de interpolação, o tamanho do modelo em que o erro de treino chega a zero pela primeira vez. Um modelo com esse tamanho tem apenas os parâmetros necessários para passar por todos os pontos de treino, pelo que existe essencialmente uma única forma de o fazer. Se alguns rótulos tiverem ruído ou estiverem errados, essa solução única tem de se curvar acentuadamente para os ajustar, as previsões entre os pontos de treino tornam-se erráticas e o erro de teste dispara.

Acima do limiar, muitas configurações diferentes de parâmetros se ajustam perfeitamente aos dados de treinamento. Métodos de treinamento baseados em gradiente, como a descida estocástica do gradiente, tendem a convergir para as soluções mais suaves; em modelos lineares, exatamente aquela com os menores pesos. Assim, a capacidade adicional é usada para suavizar a função entre pontos. Essa preferência implícita por soluções simples explica por que uma rede com muito mais parâmetros do que exemplos de treinamento ainda pode generalizar bem.

O script abaixo reproduz a curva com regressão de características aleatórias em 40 pontos de treino com ruído. Cada modelo ajusta a solução de mínimos quadrados de norma mínima, e o número de características aleatórias representa o tamanho do modelo:

import numpy as np

rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train)  # noisy training labels
y_test = x_test @ w

for n_features in [10, 20, 30, 40, 50, 100, 1000]:
    proj = rng.normal(size=(dim, n_features))
    f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)

    # pinv returns the minimum-norm fit once there are more features than examples
    coef = np.linalg.pinv(f_train) @ y_train
    test_mse = np.mean((f_test @ coef - y_test) ** 2)
    print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")

O erro de teste cai de 3.37 para 2.98 entre 10 e 20 características, sobe para 42.12 com 30 e para cerca de 3,960 com 40 características, quando o modelo pode interpolar exatamente os 40 pontos, e depois cai para 29.01 com 50, 2.72 com 100 e 1.33 com 1,000 características, muito abaixo do melhor modelo pequeno.

Por modelo, por época e por amostra#

A dupla descida aparece em três eixos. A dupla descida em função do modelo, a curva clássica, representa o erro de teste em relação ao tamanho do modelo, como a largura da rede, com um orçamento de treinamento fixo. A dupla descida em função das épocas representa o erro em relação ao tempo de treinamento em épocas para um modelo grande; assim, o erro de validação pode melhorar, piorar e depois melhorar novamente à medida que o treinamento continua. A dupla descida em função das amostras representa o erro em relação ao tamanho do conjunto de treinamento: mais dados deslocam o limiar para modelos maiores, portanto, adicionar dados pode prejudicar temporariamente um modelo de tamanho fixo.

O ruído nos rótulos acentua os três tipos. Uma regularização bem ajustada, como a penalização dos pesos, e uma ampliação de dados forte podem reduzir ou eliminar o pico, o que explica, em parte, por que razão este costuma ser menos evidente em execuções de treino cuidadosamente configuradas.

Dois fenômenos relacionados são fáceis de confundir com esse efeito. No grokking, a precisão de validação fica próxima do acaso muito depois de a precisão de treinamento chegar a 100% e, em seguida, aumenta de repente, sem primeiro piorar. As leis de escala descrevem a melhoria gradual de modelos grandes com mais parâmetros, dados e computação, o regime muito à direita do pico de interpolação.

Implicações para o treino de modelos de visão#

A forma em função das épocas é a mais relevante no dia a dia: uma métrica de validação que cai no meio do treinamento nem sempre significa que a execução atingiu o pico. Ao treinar modelos Ultralytics YOLO26 no modo de treinamento, o argumento patience encerra uma execução apenas após 100 épocas sem ganhos na aptidão de validação, por padrão, e o ponto de verificação com a melhor aptidão é salvo como best.pt; assim, um pico temporário não encerra a execução nem substitui os melhores pesos.

O ruído nos rótulos determina o quão acentuado é o pico em função do modelo. Nos experimentos de Harvard e OpenAI, modelos ResNet18 com largura crescente, treinados no CIFAR-10 com rótulos limpos, apresentaram apenas um platô no erro de teste próximo ao limiar de interpolação; a adição de ruído aos rótulos transformou esse platô num pico. Com 15% dos rótulos de treinamento aleatorizados, redes de tamanho médio tiveram resultados piores nos testes do que redes mais estreitas e mais largas.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina