Regularization

정규화는 모델이 지나치게 복잡해지는 것을 방지하고 새롭고 미관측된 데이터에 대한 일반화 능력을 향상하기 위해 머신러닝에서 사용하는 기법의 집합입니다. 학습 과정에서 모델은 오류를 최소화하려고 하며, 흔히 학습 데이터의 복잡한 패턴을 학습합니다. 그러나 제약이 없으면 모델이 노이즈와 이상치를 암기하기 시작할 수 있는데, 이를 과적합이라고 합니다. 정규화는 모델의 손실 함수에 페널티를 추가하여 이 문제를 해결합니다. 이를 통해 극단적인 파라미터 값이 억제되고 알고리즘이 더 매끄럽고 견고한 패턴을 학습하도록 합니다.

핵심 개념과 기법#

정규화 원칙은 흔히 오컴의 면도날에 비유됩니다. 이는 일반적으로 가장 단순한 해결책이 옳다는 원칙을 시사합니다. 모델에 제약을 적용하면 개발자는 우연한 상관관계가 아니라 데이터에서 가장 중요한 특징에 모델이 집중하도록 할 수 있습니다.

최신 딥러닝 프레임워크에서는 정규화를 구현하는 데 다음과 같은 일반적인 방법을 사용합니다.

• L1 및 L2 정규화: 이러한 기법은 모델 가중치의 크기에 따라 페널티 항을 추가합니다. 가중치 감쇠 또는 릿지 회귀라고도 하는 L2 정규화는 큰 가중치에 강한 페널티를 부과해 가중치가 작고 넓게 분포하도록 유도합니다. 라쏘 회귀라고도 하는 L1 정규화는 일부 가중치를 0으로 만들어 특성 선택을 효과적으로 수행할 수 있습니다.
• 드롭아웃: 신경망에서 사용하는 드롭아웃 레이어는 학습 중 뉴런의 일정 비율을 무작위로 비활성화합니다. 이를 통해 네트워크는 특징 식별을 위한 중복 경로를 개발하며, 특정 예측에서 하나의 뉴런이 병목이 되지 않도록 합니다.
• 데이터 증강: 주로 전처리 단계에서 사용되지만, 데이터 증강은 강력한 정규화 기법으로 작용합니다. 이미지를 회전하거나 뒤집고 색상을 변경한 버전으로 데이터 세트를 인위적으로 확장하면 모델이 더 다양한 데이터에 노출되어 원본의 고정된 예제를 암기하지 않게 됩니다.
• 조기 종료: 학습 중 검증 데이터에서 모델의 성능을 모니터링합니다. 학습 오류는 감소하는데 검증 오류가 증가하기 시작하면, 모델이 노이즈를 학습하지 않도록 학습을 중단합니다.

실제 적용 사례#

데이터 변동성이 큰 다양한 산업 분야에서 신뢰할 수 있는 AI 시스템을 배포하려면 정규화가 필수적입니다.

1. 자율 주행: 자동차 AI 솔루션에서는 컴퓨터 비전 모델이 다양한 기상 조건에서 보행자와 교통 표지판을 감지해야 합니다. 정규화가 없다면 모델이 학습 세트의 특정 조명 조건을 암기해 실제 환경에서 제대로 작동하지 않을 수 있습니다. 가중치 감쇠와 같은 기법은 감지 시스템이 비, 안개, 눈부심에 잘 일반화되도록 하며, 이는 자율 주행 차량의 안전에 매우 중요합니다.

2. 의료 영상: 의료 영상 분석을 수행할 때는 개인정보 보호 문제나 질환의 희소성 때문에 데이터 세트의 크기가 제한적인 경우가 많습니다. 이 경우 과적합 위험이 상당히 큽니다. 정규화 기법은 X선이나 MRI에서 이상 징후를 감지하도록 학습된 모델이 새로운 환자 데이터에서도 정확도를 유지하도록 지원하며, 헬스케어 AI의 진단 결과를 개선하는 데 기여합니다.

Python에서 구현하기#

최신 라이브러리에서는 하이퍼파라미터를 통해 정규화를 간편하게 적용할 수 있습니다. 다음 예제에서는 YOLO26 모델을 학습할 때 dropout와 weight_decay을 적용하는 방법을 보여줍니다.

from ultralytics import YOLO

# 최신 YOLO26 모델 로드
model = YOLO("yolo26n.pt")

# 정규화 하이퍼파라미터를 사용하여 학습합니다
# 'dropout'은 무작위성을 추가하고, 'weight_decay'는 과적합을 방지하기 위해 큰 가중치에 페널티를 부과합니다
model.train(data="coco8.yaml", epochs=100, dropout=0.5, weight_decay=0.0005)

이러한 실험을 관리하고 서로 다른 정규화 값이 성능에 미치는 영향을 추적하는 작업은 학습 실행을 기록하고 비교하는 도구를 제공하는 Ultralytics Platform을 통해 원활하게 수행할 수 있습니다.

정규화와 관련 개념 비교#

정규화를 다른 최적화 및 전처리 용어와 구분하는 것이 도움이 됩니다.

• 정규화와 정규화의 차이: 정규화는 수렴 속도를 높이기 위해 입력 데이터를 표준 범위로 스케일링하는 작업입니다. 배치 정규화와 같은 기법은 정규화 효과를 약간 낼 수 있지만, 주된 목적은 학습 동역학을 안정화하는 것입니다. 반면 정규화는 복잡도에 명시적으로 페널티를 부과합니다.
• 정규화와 하이퍼파라미터 튜닝의 차이: 드롭아웃 비율이나 L2 페널티와 같은 정규화 매개변수 자체가 하이퍼파라미터입니다. 하이퍼파라미터 튜닝은 이러한 설정의 최적값을 탐색하는 더 포괄적인 과정이며, 흔히 편향-분산 트레이드오프를 조정하는 데 사용됩니다.
• 정규화와 앙상블 학습의 차이: 앙상블 기법은 여러 모델의 예측을 결합하여 분산을 줄이고 일반화 성능을 높입니다. 정규화와 비슷한 목표를 달성하지만, 단일 모델의 학습을 제약하는 대신 다양한 모델의 결과를 집계합니다.