정규화

정규화는 머신러닝(ML) 과 인공 지능(AI)에서 중요한 데이터 전처리 기법입니다. 여기에는 데이터 세트의 수치적 특징을 범위의 차이를 왜곡하지 않고 공통의 척도로 변환하는 작업이 포함됩니다. 이 스케일링 프로세스는 많은 알고리즘, 특히 신경망(NN) 훈련에 사용되는 기울기 기반 최적화 방법과 같이 입력 값의 크기에 민감한 알고리즘의 성능과 안정성을 위해 필수적입니다. 정규화는 모든 기능이 모델의 학습 과정에 비례적으로 기여하도록 함으로써 학습을 가속화하고 전반적인 모델 정확도를 향상시키는 데 도움이 됩니다.

정규화가 중요한 이유는 무엇인가요?

정규화를 사용하지 않으면 규모가 큰 피처가 모델의 학습 과정을 지배할 수 있습니다. 예를 들어, 주택 가격 예측을 위한 데이터 세트에서 '평방 피트'(예: 1000-3000)와 같은 특징은 '침실 수'(예: 2-5)보다 훨씬 더 큰 범위를 갖습니다. 이러한 불일치로 인해 경사 하강과 같은 알고리즘이 수렴하는 데 시간이 오래 걸리거나 로컬 최적값에서 멈출 수 있습니다. 정규화는 모든 기능을 공평한 경쟁의 장에 놓음으로써 이러한 문제를 완화합니다:

• 더 빠른 융합: 최적화 알고리즘이 손실 환경을 더 효율적으로 탐색할 수 있으므로 모델이 더 빠르게 학습합니다.
• 성능 향상: k-NN(가장 가까운 이웃)과 같은 거리 측정값을 사용하는 알고리즘이나 CNN(컨볼루션 신경망)과 같이 기울기 업데이트에 의존하는 알고리즘에 필수적입니다.
• 수치 불안정성 위험 감소: 역전파 프로세스 중 그라데이션이 폭발하는 등의 문제를 방지하는 데 도움이 됩니다.
• 일관된 기능 기여도: 단일 피처가 단순히 규모 때문에 모델에 불균형적인 영향을 미치지 않도록 보장합니다. 이는 적절한 피처 엔지니어링의 핵심 요소입니다.

정규화 대 표준화 대 일괄 정규화

종종 같은 의미로 사용되지만 정규화와 표준화는 별개의 기술입니다. 데이터 정규화와 일괄 정규화를 구분하는 것도 중요합니다.

• 정규화(최소-최대 스케일링): 이 기술은 일반적으로 데이터를 고정된 범위로 스케일링합니다. 데이터 분포가 가우스 분포가 아니거나 알고리즘이 특정 분포를 가정하지 않을 때 유용합니다. 데이터 사전 처리의 일반적인 단계입니다.
• 표준화(Z-점수 정규화): 이 기술은 평균이 0이고 표준 편차가 1이 되도록 데이터의 크기를 조정합니다. 최소-최대 스케일링과 달리 한계 범위가 없습니다. 표준화는 데이터가 가우스 분포를 따르고 이상값의 영향을 덜 받는 경우에 선호되는 경우가 많습니다.
• 일괄 정규화: 이것은 데이터 전처리 단계가 아니라 딥러닝 모델 내에서 사용되는 레이어입니다. 훈련 중에 각 미니 배치에 대한 레이어 입력을 정규화합니다. 이는 내부 공변량 이동을 방지하여 딥 네트워크의 학습을 안정화하고 가속화하는 데 도움이 됩니다. 이는 Ultralytics YOLO 모델을 비롯한 많은 최신 아키텍처의 표준 구성 요소이며 PyTorch 및 TensorFlow와 같은 프레임워크에서 구현됩니다.

정규화 적용

정규화는 다양한 영역, 특히 컴퓨터 비전(CV)에서 표준 관행입니다. Ultralytics HUB와 같은 플랫폼은 고성능 모델 학습을 위해 이러한 전처리가 필수적인 워크플로우를 간소화합니다.

• 이미지 데이터 전처리: 컴퓨터 비전에서 이미지는 일반적으로 0에서 255까지의 픽셀 값으로 구성됩니다. 이미지 분류나 물체 감지와 같은 작업을 위해 모델에 이미지를 입력하기 전에 이러한 픽셀 값은 거의 항상 정규화됩니다. 픽셀 값을 a 또는 [-1, 1] 범위로 조정하면 데이터 세트의 모든 이미지에서 일관성을 유지할 수 있으며, 이는 YOLO11과 같은 모델이 특징을 효과적으로 학습하는 데 매우 중요합니다.
• 의료 이미지 분석: 의료 분야의 AI와 같은 분야에서는 MRI나 CT와 같은 의료 스캔을 다양한 설정의 여러 기계에서 가져와서 서로 다른 강도 척도를 생성하는 경우가 많습니다. 종양 감지를 위해 AI를 사용할 때는 이러한 스캔을 정규화하는 것이 매우 중요한 단계입니다. 이를 통해 다양한 환자와 장비에서 모델의 분석 결과를 비교할 수 있으므로 보다 신뢰할 수 있고 정확한 진단 예측이 가능합니다. 이는 의료 이미지 분석의 기본 개념입니다.
• 금융 분야의 예측 모델링: 주가를 예측하거나 신용 위험을 평가하는 모델을 구축할 때 데이터 세트에는 거래량(수백만 단위), 주가 수익 비율(예: 10-50)과 같이 규모가 매우 다른 특징이 포함되는 경우가 많습니다. 이러한 피처를 정규화하는 것은 거리 기반 알고리즘에 필수적이며, 금융 분야의 컴퓨터 비전에서 흔히 사용되는 그래디언트 기반 학습이 규모가 큰 피처로 인해 왜곡되지 않도록 보장합니다.