YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Double Descent

더블 디센트는 모델이 커지거나 더 오래 학습될수록 테스트 오류가 감소하다가 보간 임계점에서 정점을 찍은 뒤 다시 감소하는 패턴입니다.

더블 디센트는 모델 규모가 커지거나 학습 시간이 길어짐에 따라 보지 못한 데이터에 대한 모델 오류가 감소했다가 증가한 뒤 다시 감소하는 패턴입니다. 이때 증가 폭은 모델이 처음으로 모든 학습 예제를 정확히 맞출 만큼 충분한 크기에 도달하는 지점 부근에서 최고조에 이릅니다. 그 지점을 지나면 모델 용량이 커질수록 테스트 오류가 다시 낮아지며, 더 작은 모델이 달성한 최상의 결과보다도 낮아지는 경우가 많습니다.

이 패턴은 단일 U자형 곡선을 예측하는 교과서적인 편향-분산 트레이드오프 개념을 확장합니다. 모델이 더 많은 구조를 포착하면 오류가 줄어들지만, 과적합이 시작되어 노이즈까지 학습하면 오류가 다시 증가하므로 최적의 모델은 그 중간 어딘가에 위치합니다. 현대 신경망처럼 매개변수가 크게 과도하게 많은 모델에서는 U자형이 곡선의 전반부에 불과합니다. Mikhail Belkin과 동료들은 2019년 발표 논문에서 이 현상의 이름을 붙였으며, 같은 해 Harvard와 OpenAI 연구진은 ResNet 및 Transformer를 포함한 표준 딥러닝 모델에서도 이 현상이 나타남을 보였습니다.

보간 임계값#

오류가 정점에 이르는 지점은 보간 임계값이며, 학습 오류가 처음 0이 되는 모델 크기입니다. 이 크기에 막 도달한 모델에는 모든 학습 데이터 지점을 통과하는 데 필요한 매개변수만 간신히 있습니다. 따라서 이를 구현하는 방법은 사실상 하나뿐입니다. 일부 레이블에 노이즈가 있거나 잘못된 경우, 유일한 해는 해당 레이블에 맞추기 위해 급격히 휘어져야 하므로 학습 데이터 지점 사이의 예측이 불안정해지고 테스트 오류가 급증합니다.

임계점을 넘어서면 다양한 매개변수 설정이 학습 데이터에 완벽하게 맞습니다. 확률적 경사 하강법과 같은 경사 기반 학습 방법은 이러한 해 중 가장 매끄러운 해에 수렴하는 경향이 있으며, 선형 모델에서는 정확히 가중치가 가장 작은 해에 수렴합니다. 따라서 추가 용량은 데이터 포인트 사이의 함수를 매끄럽게 만드는 데 사용됩니다. 단순한 해를 선호하는 이러한 암묵적 성향 덕분에 학습 예제보다 매개변수가 훨씬 많은 네트워크도 여전히 잘 일반화할 수 있습니다.

아래 스크립트는 노이즈가 있는 학습 데이터 40개에 대한 랜덤 특징 회귀로 이 곡선을 재현합니다. 각 모델은 최소 노름 최소제곱 해에 적합하며, 랜덤 특징의 개수는 모델 크기 역할을 합니다.

import numpy as np

rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train)  # noisy training labels
y_test = x_test @ w

for n_features in [10, 20, 30, 40, 50, 100, 1000]:
    proj = rng.normal(size=(dim, n_features))
    f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)

    # pinv returns the minimum-norm fit once there are more features than examples
    coef = np.linalg.pinv(f_train) @ y_train
    test_mse = np.mean((f_test @ coef - y_test) ** 2)
    print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")

특징이 10개에서 20개로 늘어날 때 테스트 오류는 3.37에서 2.98로 감소하고, 30개에서는 42.12, 40개에서는 약 3,960으로 증가합니다. 40개에서는 모델이 40개 포인트 전체를 정확하게 보간할 수 있으며, 그 이후 특징이 50개일 때 29.01, 100개일 때 2.72, 1,000개일 때 1.33으로 감소해 소규모 최적 모델보다 훨씬 낮아집니다.

모델별, 에포크별, 샘플별 더블 디센트#

이중 하강은 세 가지 축에서 나타납니다. 모델별 이중 하강은 고정된 학습 예산에서 네트워크 너비와 같은 모델 크기에 따른 테스트 오류를 표시하는 고전적인 곡선입니다. 에포크별 이중 하강은 대규모 모델의 학습 시간, 즉 에포크에 따른 테스트 오류를 표시하므로 학습이 계속되면서 검증 오류가 개선되고 악화된 뒤 다시 개선될 수 있습니다. 샘플별 이중 하강은 학습 세트 크기에 따른 오류를 표시합니다. 데이터가 늘어나면 임계점이 더 큰 모델 쪽으로 이동하므로, 데이터를 추가하면 고정 크기 모델의 성능이 일시적으로 저하될 수 있습니다.

레이블 노이즈는 세 가지 형태를 모두 더 두드러지게 합니다. 가중치 감소 같은 적절히 조정된 정규화와 강력한 데이터 증강은 정점의 크기를 줄이거나 없앨 수 있습니다. 이는 세심하게 설정된 학습 실행에서 정점이 잘 드러나지 않는 이유 중 하나입니다.

관련 현상 중 이중 하강과 혼동하기 쉬운 두 가지가 있습니다. 그로킹에서는 학습 정확도가 100%에 도달한 뒤에도 검증 정확도가 한동안 무작위 추측 수준에 머물다가 급격히 상승하며, 먼저 악화되지는 않습니다. 스케일링 법칙은 매개변수, 데이터, 연산량이 증가함에 따라 대규모 모델의 성능이 꾸준히 향상되는 현상을 설명합니다. 이는 보간 정점의 오른쪽에 훨씬 멀리 위치한 구간입니다.

비전 모델 학습에 미치는 영향#

일상적인 작업에서는 에포크별 형태가 가장 중요합니다. 학습 중 검증 지표가 하락하더라도 항상 학습이 정점에 도달했다는 뜻은 아닙니다. 학습 모드에서 Ultralytics YOLO26 모델을 학습할 때 patience 인수는 기본적으로 검증 적합도가 100 에포크 동안 개선되지 않은 경우에만 실행을 종료하며, 적합도가 가장 높은 체크포인트는 best.pt으로 저장됩니다. 따라서 일시적인 성능 저하는 실행을 끝내거나 최적 가중치를 대체하지 않습니다.

레이블 노이즈는 모델별 정점의 뾰족한 정도를 결정합니다. Harvard와 OpenAI 실험에서 CIFAR-10의 깨끗한 레이블로 너비를 늘려 가며 학습한 ResNet18 모델은 보간 임계점 부근에서 테스트 오류가 정체되는 현상만 보였으며, 레이블 노이즈를 추가하자 그 정체 구간이 정점으로 바뀌었습니다. 학습 레이블의 15%를 무작위로 바꾸었을 때 중간 크기 네트워크는 더 좁거나 넓은 네트워크보다 테스트 성능이 나빴습니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요