Double Descent
더블 디센트는 모델이 커지거나 더 오래 학습될수록 테스트 오류가 감소하다가 보간 임계점에서 정점을 찍은 뒤 다시 감소하는 패턴입니다.
더블 디센트는 모델 규모가 커지거나 학습 시간이 길어짐에 따라 보지 못한 데이터에 대한 모델 오류가 감소했다가 증가한 뒤 다시 감소하는 패턴입니다. 이때 증가 폭은 모델이 처음으로 모든 학습 예제를 정확히 맞출 만큼 충분한 크기에 도달하는 지점 부근에서 최고조에 이릅니다. 그 지점을 지나면 모델 용량이 커질수록 테스트 오류가 다시 낮아지며, 더 작은 모델이 달성한 최상의 결과보다도 낮아지는 경우가 많습니다.
이 패턴은 단일 U자형 곡선을 예측하는 교과서적인 편향-분산 트레이드오프 개념을 확장합니다. 모델이 더 많은 구조를 포착하면 오류가 줄어들지만, 과적합이 시작되어 노이즈까지 학습하면 오류가 다시 증가하므로 최적의 모델은 그 중간 어딘가에 위치합니다. 현대 신경망처럼 매개변수가 크게 과도하게 많은 모델에서는 U자형이 곡선의 전반부에 불과합니다. Mikhail Belkin과 동료들은 2019년 발표 논문에서 이 현상의 이름을 붙였으며, 같은 해 Harvard와 OpenAI 연구진은 ResNet 및 Transformer를 포함한 표준 딥러닝 모델에서도 이 현상이 나타남을 보였습니다.
보간 임계값#
오류가 정점에 이르는 지점은 보간 임계값이며, 학습 오류가 처음 0이 되는 모델 크기입니다. 이 크기에 막 도달한 모델에는 모든 학습 데이터 지점을 통과하는 데 필요한 매개변수만 간신히 있습니다. 따라서 이를 구현하는 방법은 사실상 하나뿐입니다. 일부 레이블에 노이즈가 있거나 잘못된 경우, 유일한 해는 해당 레이블에 맞추기 위해 급격히 휘어져야 하므로 학습 데이터 지점 사이의 예측이 불안정해지고 테스트 오류가 급증합니다.
임계점을 넘어서면 다양한 매개변수 설정이 학습 데이터에 완벽하게 맞습니다. 확률적 경사 하강법과 같은 경사 기반 학습 방법은 이러한 해 중 가장 매끄러운 해에 수렴하는 경향이 있으며, 선형 모델에서는 정확히 가중치가 가장 작은 해에 수렴합니다. 따라서 추가 용량은 데이터 포인트 사이의 함수를 매끄럽게 만드는 데 사용됩니다. 단순한 해를 선호하는 이러한 암묵적 성향 덕분에 학습 예제보다 매개변수가 훨씬 많은 네트워크도 여전히 잘 일반화할 수 있습니다.
아래 스크립트는 노이즈가 있는 학습 데이터 40개에 대한 랜덤 특징 회귀로 이 곡선을 재현합니다. 각 모델은 최소 노름 최소제곱 해에 적합하며, 랜덤 특징의 개수는 모델 크기 역할을 합니다.
import numpy as np
rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train) # noisy training labels
y_test = x_test @ w
for n_features in [10, 20, 30, 40, 50, 100, 1000]:
proj = rng.normal(size=(dim, n_features))
f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)
# pinv returns the minimum-norm fit once there are more features than examples
coef = np.linalg.pinv(f_train) @ y_train
test_mse = np.mean((f_test @ coef - y_test) ** 2)
print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")특징이 10개에서 20개로 늘어날 때 테스트 오류는 3.37에서 2.98로 감소하고, 30개에서는 42.12, 40개에서는 약 3,960으로 증가합니다. 40개에서는 모델이 40개 포인트 전체를 정확하게 보간할 수 있으며, 그 이후 특징이 50개일 때 29.01, 100개일 때 2.72, 1,000개일 때 1.33으로 감소해 소규모 최적 모델보다 훨씬 낮아집니다.
모델별, 에포크별, 샘플별 더블 디센트#
이중 하강은 세 가지 축에서 나타납니다. 모델별 이중 하강은 고정된 학습 예산에서 네트워크 너비와 같은 모델 크기에 따른 테스트 오류를 표시하는 고전적인 곡선입니다. 에포크별 이중 하강은 대규모 모델의 학습 시간, 즉 에포크에 따른 테스트 오류를 표시하므로 학습이 계속되면서 검증 오류가 개선되고 악화된 뒤 다시 개선될 수 있습니다. 샘플별 이중 하강은 학습 세트 크기에 따른 오류를 표시합니다. 데이터가 늘어나면 임계점이 더 큰 모델 쪽으로 이동하므로, 데이터를 추가하면 고정 크기 모델의 성능이 일시적으로 저하될 수 있습니다.
레이블 노이즈는 세 가지 형태를 모두 더 두드러지게 합니다. 가중치 감소 같은 적절히 조정된 정규화와 강력한 데이터 증강은 정점의 크기를 줄이거나 없앨 수 있습니다. 이는 세심하게 설정된 학습 실행에서 정점이 잘 드러나지 않는 이유 중 하나입니다.
관련 현상 중 이중 하강과 혼동하기 쉬운 두 가지가 있습니다. 그로킹에서는 학습 정확도가 100%에 도달한 뒤에도 검증 정확도가 한동안 무작위 추측 수준에 머물다가 급격히 상승하며, 먼저 악화되지는 않습니다. 스케일링 법칙은 매개변수, 데이터, 연산량이 증가함에 따라 대규모 모델의 성능이 꾸준히 향상되는 현상을 설명합니다. 이는 보간 정점의 오른쪽에 훨씬 멀리 위치한 구간입니다.
비전 모델 학습에 미치는 영향#
일상적인 작업에서는 에포크별 형태가 가장 중요합니다. 학습 중 검증 지표가 하락하더라도 항상 학습이 정점에 도달했다는 뜻은 아닙니다. 학습 모드에서 Ultralytics YOLO26 모델을 학습할 때 patience 인수는 기본적으로 검증 적합도가 100 에포크 동안 개선되지 않은 경우에만 실행을 종료하며, 적합도가 가장 높은 체크포인트는 best.pt으로 저장됩니다. 따라서 일시적인 성능 저하는 실행을 끝내거나 최적 가중치를 대체하지 않습니다.
레이블 노이즈는 모델별 정점의 뾰족한 정도를 결정합니다. Harvard와 OpenAI 실험에서 CIFAR-10의 깨끗한 레이블로 너비를 늘려 가며 학습한 ResNet18 모델은 보간 임계점 부근에서 테스트 오류가 정체되는 현상만 보였으며, 레이블 노이즈를 추가하자 그 정체 구간이 정점으로 바뀌었습니다. 학습 레이블의 15%를 무작위로 바꾸었을 때 중간 크기 네트워크는 더 좁거나 넓은 네트워크보다 테스트 성능이 나빴습니다.










