Regularization

정규화는 머신 러닝에서 모델이 지나치게 복잡해지는 것을 방지하고 새롭고 보지 못한 데이터에 대한 일반화 능력을 향상시키는 데 사용되는 일련의 기법입니다. 학습 과정에서 모델은 학습 데이터 내의 복잡한 패턴을 학습하여 오류를 최소화하려고 합니다. 그러나 제약이 없으면 모델이 노이즈와 이상치를 암기하기 시작할 수 있으며, 이는 과적합으로 알려진 문제입니다. 정규화는 모델의 손실 함수에 페널티를 추가하여 이 문제를 해결하며, 이를 통해 극단적인 파라미터 값을 억제하고 알고리즘이 더 매끄럽고 강건한 패턴을 학습하도록 합니다.

핵심 개념 및 기법#

정규화의 원리는 흔히 오컴의 면도날에 비유되며, 가장 단순한 해법이 대개 올바른 해법이라는 점을 시사합니다. 모델에 제약을 적용하면 개발자는 모델이 우연한 상관관계가 아니라 데이터의 가장 중요한 특징에 집중하도록 할 수 있습니다.

최신 딥러닝 프레임워크에서 정규화를 구현하는 데는 몇 가지 일반적인 방법이 사용됩니다.

• L1 및 L2 정규화: 이러한 기법은 모델 가중치의 크기를 기반으로 페널티 항을 추가합니다. 가중치 감쇠 또는 릿지 회귀라고도 하는 L2 정규화는 큰 가중치에 높은 페널티를 부여하여 가중치가 작고 분산되도록 합니다. 라쏘 회귀라고도 하는 L1 정규화는 일부 가중치를 0으로 만들 수 있어 효과적으로 특징 선택을 수행합니다.
• 드롭아웃: 특히 신경망에서 사용되는 드롭아웃 레이어는 학습 중 일정 비율의 뉴런을 무작위로 비활성화합니다. 이를 통해 네트워크는 특징을 식별하기 위한 중복 경로를 개발하게 되며, 특정 예측에서 단일 뉴런이 병목이 되는 것을 방지합니다.
• 데이터 증강: 주로 전처리 단계에서 사용되지만 데이터 증강은 강력한 정규화 기법으로 작용합니다. 수정된 이미지 버전(회전, 뒤집기, 색상 변경)을 사용해 데이터셋을 인위적으로 확장하면 모델이 더 다양한 변형을 접하게 되어 원본의 정적인 예제를 암기하는 것을 방지할 수 있습니다.
• 조기 종료: 학습 중 검증 데이터에 대한 모델의 성능을 모니터링하는 방법입니다. 학습 오류가 감소하는 동안 검증 오류가 증가하기 시작하면 모델이 노이즈를 학습하는 것을 방지하기 위해 프로세스를 중단합니다.

실제 적용 사례#

데이터 변동성이 높은 다양한 산업 분야에서 신뢰할 수 있는 AI 시스템을 배포하려면 정규화가 필수적입니다.

1. 자율주행: 자동차 솔루션을 위한 AI에서 컴퓨터 비전 모델은 다양한 기상 조건에서 보행자와 교통 표지판을 감지해야 합니다. 정규화가 없으면 모델이 학습 세트의 특정 조명 조건을 암기하여 실제 환경에서 제대로 작동하지 못할 수 있습니다. 가중치 감쇠와 같은 기법은 감지 시스템이 비, 안개 또는 눈부심에 잘 일반화되도록 하며, 이는 자율주행 차량의 안전에 매우 중요합니다.

2. 의료 영상: 의료 영상 분석을 수행할 때 데이터셋은 개인정보 보호 문제나 질환의 희소성으로 인해 규모가 제한적인 경우가 많습니다. 이 분야에서는 과적합 위험이 상당히 큽니다. 정규화 방법은 X선 또는 MRI에서 이상 징후를 감지하도록 학습된 모델이 새로운 환자 데이터에서도 정확도를 유지하도록 지원하며, 헬스케어 AI에서 더 나은 진단 결과에 기여합니다.

Python에서의 구현#

최신 라이브러리를 사용하면 하이퍼파라미터를 통해 정규화를 간편하게 적용할 수 있습니다. 다음 예제에서는 YOLO26 모델을 학습할 때 dropout 및 weight_decay을 적용하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train with regularization hyperparameters
# 'dropout' adds randomness, 'weight_decay' penalizes large weights to prevent overfitting
model.train(data="coco8.yaml", epochs=100, dropout=0.5, weight_decay=0.0005)

이러한 실험을 관리하고 다양한 정규화 값이 성능에 미치는 영향을 추적하는 작업은 Ultralytics Platform을 통해 원활하게 수행할 수 있으며, 이 플랫폼은 학습 실행을 기록하고 비교할 수 있는 도구를 제공합니다.

정규화와 관련 개념 비교#

정규화를 다른 최적화 및 전처리 용어와 구분하는 것이 유용합니다.

• 정규화와 정규화의 비교: 정규화는 수렴 속도를 높이기 위해 입력 데이터를 표준 범위로 스케일링하는 과정입니다. 배치 정규화와 같은 기법이 약간의 정규화 효과를 낼 수는 있지만, 주요 목적은 학습 동역학을 안정화하는 것이며 정규화는 명시적으로 복잡도에 페널티를 부여합니다.
• 정규화와 하이퍼파라미터 튜닝의 비교: 정규화 파라미터(예: 드롭아웃 비율 또는 L2 페널티) 자체가 하이퍼파라미터입니다. 하이퍼파라미터 튜닝은 이러한 설정의 최적값을 탐색하는 더 포괄적인 과정이며, 흔히 편향-분산 트레이드오프의 균형을 맞추는 데 사용됩니다.
• 정규화와 앙상블 학습의 비교: 앙상블 방법은 여러 모델의 예측을 결합하여 분산을 줄이고 일반화 성능을 향상시킵니다. 이는 정규화와 유사한 목표를 달성하지만, 단일 모델의 학습을 제한하는 대신 다양한 모델의 예측을 집계한다는 점에서 차이가 있습니다.