Double Descent

A dupla descida é um padrão em aprendizagem automática no qual o erro em dados não vistos diminui, aumenta e volta a diminuir à medida que a capacidade do modelo cresce. Intuitivamente, um modelo pode piorar antes de melhorar: um modelo de complexidade moderada pode ter dificuldades em generalizar, enquanto um modelo muito maior pode ajustar-se aos exemplos de treino e ainda assim prever novos exemplos com precisão.

Como funciona a dupla descida#

A conhecida compensação entre viés e variância sugere uma curva de erro em forma de U. Os modelos simples sofrem de subajuste porque não conseguem captar padrões importantes. O aumento da complexidade melhora inicialmente as previsões, mas uma flexibilidade excessiva pode tornar as previsões sensíveis aos exemplos específicos de treino. A dupla descida amplia este quadro com uma segunda melhoria após o pico de erro; não invalida a distinção fundamental entre viés e variância. (scikit-learn.org)

O ponto de viragem é o limiar de interpolação: o ponto em que um modelo se torna capaz de ajustar todos os exemplos de treino ou de atingir um erro de treino aproximadamente igual a zero. Perto deste limiar, o ajuste a rótulos ruidosos ou incorretos pode produzir previsões instáveis. Acima dele, um modelo sobredimensionado em parâmetros tem mais flexibilidade do que a necessária para ajustar os exemplos, o que cria várias soluções possíveis. Algumas generalizam melhor do que outras. (openai.com)

Imagina ligar pontos de medição dispersos. Uma curva passa por todos os pontos, mas dobra acentuadamente entre eles; outra também se ajusta a todos os pontos, mas comporta-se de forma mais suave noutros locais. Esta explicação visual da dupla descida ilustra por que razão um desempenho idêntico no treino pode ocultar comportamentos preditivos muito diferentes. Uma maior capacidade permite encontrar soluções melhores, mas não garante que o treino as encontre. (mlu-explain.github.io)

Variações e conceitos relacionados#

A dupla descida ao nível do modelo diz respeito a alterações na capacidade, como o aumento da largura da rede. A dupla descida ao nível das épocas diz respeito à duração do treino: o erro nos dados retidos para avaliação melhora, piora e, mais tarde, volta a melhorar. Uma época corresponde a uma passagem pelo conjunto de dados de treino. A explicação da dupla descida profunda também mostra como a alteração do tamanho do conjunto de dados pode deslocar o limiar de interpolação, por vezes piorando temporariamente o desempenho com um tamanho de modelo fixo. Isto não é motivo para descartar dados úteis. (openai.com)

A dupla descida difere do sobreajuste, que descreve o ajuste a detalhes específicos do treino em detrimento da generalização. O sobreajuste pode explicar a parte ascendente da curva; a dupla descida descreve o padrão mais amplo de diminuição, aumento e nova diminuição. Atingir uma precisão de treino perfeita, por si só, não demonstra uma generalização boa nem má. (scikit-learn.org)

Também difere da regularização, uma estratégia de treino que restringe a solução aprendida. Por exemplo, a regularização L2 penaliza pesos elevados. Por isso, a quantidade de parâmetros não descreve por completo a complexidade efetiva de um modelo. O ruído nos rótulos, a otimização e as configurações de treino influenciam o aparecimento de uma curva de dupla descida acentuada. (developers.google.com)

Aplicações no mundo real#

Estes cenários ilustrativos mostram por que razão o fenómeno é importante, sem presumir que todos os modelos de produção o exibem:

• Deteção de defeitos de fabrico: Uma equipa compara redes que identificam riscos em componentes. Uma rede de tamanho médio pode produzir mais falsos alarmes do que alternativas menores e maiores. Se avaliações repetidas revelarem uma dupla descida, interromper as comparações de modelos após a primeira deterioração pode levar a excluir um sistema de inspeção melhor.
• Reconhecimento de inventário no retalho: Um classificador de imagens de prateleiras encontra rótulos de produtos inconsistentes. Durante o treino, o erro de validação pode aumentar antes de voltar a diminuir. Terminar todas as experiências ao primeiro aumento pode fazer com que se perca uma melhoria posterior; prolongar o treino às cegas pode, por outro lado, desperdiçar recursos. A comparação de checkpoints ajuda a distinguir estas possibilidades.

Avaliação e treino na prática#

Procura o padrão através de comparações controladas, não de uma única execução dececionante. Altera a capacidade do modelo ou a duração do treino separadamente, mantém divisões comparáveis dos dados e repete as experiências com diferentes sementes aleatórias. Representa graficamente o erro de treino e o erro nos dados retidos para avaliação, seguindo os princípios subjacentes às curvas de validação. Se representares a precisão em vez do erro, a direção da curva inverte-se. (scikit-learn.org)

Usa a validação cruzada quando for apropriado e reserva um conjunto de teste intocado para a avaliação final. Evita a fuga de dados, em que informações dos dados de avaliação entram no treino ou na seleção do modelo. A paragem antecipada continua a ser útil, mas a sua paciência — o número de avaliações permitidas sem melhoria — deve refletir os objetivos da experiência, em vez de pressupor um formato específico para a curva. (scikit-learn.org)

Para um fluxo de trabalho prático de avaliação com Ultralytics YOLO, instala ultralytics com pip install ultralytics. Este exemplo utiliza YOLO26, o modo de treino documentado e o modo de validação. (docs.ultralytics.com)

from ultralytics import YOLO

if __name__ == "__main__":
    model = YOLO("yolo26n.pt")

    # A small dataset keeps this workflow demonstration lightweight.
    model.train(data="coco8.yaml", epochs=3)

    # Evaluate images held out from training.
    metrics = model.val(data="coco8.yaml")
    print(f"Validation mAP50-95: {metrics.box.map:.3f}")

O resultado é a precisão média média entre limiares de sobreposição de deteções; quanto maior, melhor. COCO8 é um conjunto de dados para verificar fluxos de trabalho, não uma evidência de dupla descida. Para demonstrar o fenómeno, é necessária uma experiência controlada mais abrangente com dados representativos. A lição prática é medir a generalização, em vez de presumir que modelos maiores ou treinos mais longos têm necessariamente de ajudar — ou prejudicar. (docs.ultralytics.com)