정규화(Normalization)

정규화는 머신 러닝(ML) 및 인공 지능(AI)에서 중요한 데이터 전처리 기술입니다. 데이터 세트의 숫자 특징을 해당 범위의 차이를 왜곡하지 않고 공통 척도로 변환하는 것을 포함합니다. 이 스케일링 프로세스는 특히 신경망(NN) 훈련에 사용되는 기울기 기반 최적화 방법과 같이 입력 값의 크기에 민감한 많은 알고리즘의 성능과 안정성에 매우 중요합니다. 모든 특징이 모델의 학습 프로세스에 비례적으로 기여하도록 함으로써 정규화는 훈련을 가속화하고 전체 모델 정확도를 향상시키는 데 도움이 됩니다.

정규화가 중요한 이유는 무엇인가?

정규화가 없으면 스케일이 더 큰 특징이 모델의 학습 프로세스를 지배할 수 있습니다. 예를 들어 주택 가격을 예측하기 위한 데이터 세트에서 "평방 피트"(예: 1000-3000)와 같은 특징은 "침실 수"(예: 2-5)보다 훨씬 더 큰 범위를 갖습니다. 이러한 불일치로 인해 경사 하강법과 같은 알고리즘이 수렴하는 데 시간이 더 오래 걸리거나 로컬 최적값에 갇힐 수 있습니다. 정규화는 모든 특징을 동등한 조건으로 만들어 이를 완화하며, 이는 다음과 같은 결과를 가져옵니다.

• 더 빠른 수렴: 최적화 알고리즘이 손실 공간을 보다 효율적으로 탐색할 수 있으므로 모델이 더 빠르게 학습됩니다.
• 향상된 성능(Improved Performance): k-최근접 이웃(k-NN)과 같이 거리 측정을 사용하는 알고리즘이나 합성곱 신경망(CNN)과 같이 기울기 업데이트에 의존하는 알고리즘에 필수적입니다.
• 수치 불안정성 위험 감소: 역전파 프로세스 중에 기울기 폭발과 같은 문제를 방지하는 데 도움이 됩니다.
• 일관된 특징 기여도: 단일 특징이 단순히 크기 때문에 모델에 불균형적으로 영향을 미치지 않도록 보장합니다. 이는 적절한 특징 엔지니어링의 핵심 측면입니다.

정규화 vs. 표준화 vs. 배치 정규화

정규화와 표준화는 종종 같은 의미로 사용되지만, 서로 다른 기술입니다. 데이터 정규화와 배치 정규화를 구별하는 것도 중요합니다.

• 정규화 (Min-Max 스케일링): 이 기법은 데이터를 일반적으로 고정된 범위로 조정합니다. 데이터 분포가 가우시안 분포가 아니거나 알고리즘이 특정 분포를 가정하지 않을 때 유용합니다. 데이터 전처리의 일반적인 단계입니다.
• 표준화 (Z-점수 정규화): 이 기술은 데이터의 평균을 0으로, 표준 편차를 1로 조정합니다. 최소-최대 스케일링과 달리, 범위가 제한되어 있지 않습니다. 표준화는 데이터가 가우스 분포를 따를 때 선호되는 경우가 많으며, 이상치의 영향을 덜 받습니다.
• 배치 정규화: 이는 데이터 전처리 단계가 아니라 딥러닝 모델 내에서 사용되는 레이어입니다. 훈련 중 각 미니 배치에 대해 레이어에 대한 입력을 정규화합니다. 이는 내부 공변량 이동에 대처하고 딥 네트워크의 훈련을 안정화하고 가속화하는 데 도움이 됩니다. Ultralytics YOLO 모델을 포함한 많은 최신 아키텍처의 표준 구성 요소이며 PyTorch 및 TensorFlow와 같은 프레임워크에서 구현됩니다.

정규화의 활용

정규화는 특히 컴퓨터 비전(CV)을 포함한 다양한 영역에서 일반적인 방법입니다. Ultralytics HUB와 같은 플랫폼은 고성능 모델 훈련에 필수적인 이러한 전처리 작업이 필요한 워크플로우를 간소화합니다.

• Image Data Preprocessing(이미지 데이터 전처리): 컴퓨터 비전에서 이미지는 일반적으로 0에서 255 사이의 픽셀 값으로 구성됩니다. 이미지 분류 또는 객체 탐지와 같은 작업을 위해 이미지를 모델에 공급하기 전에 이러한 픽셀 값은 거의 항상 정규화됩니다. 이를 a 또는 [-1, 1] 범위로 조정하면 데이터 세트의 모든 이미지에서 일관성이 보장되며, 이는 YOLO11과 같은 모델이 특징을 효과적으로 학습하는 데 중요합니다.
• 의료 영상 분석: 헬스케어 분야의 AI와 같은 분야에서 MRI 또는 CT와 같은 의료 스캔은 종종 설정이 다른 여러 장비에서 가져오기 때문에 강도 척도가 다를 수 있습니다. 종양 탐지를 위해 AI를 사용할 때 이러한 스캔을 정규화하는 것은 중요한 단계입니다. 이를 통해 모델 분석을 여러 환자와 장비에서 비교할 수 있으므로 더욱 신뢰할 수 있고 정확한 진단 예측이 가능합니다. 이는 의료 영상 분석의 기본 개념입니다.
• 금융의 예측 모델링: 주가를 예측하거나 신용 위험을 평가하기 위한 모델을 구축할 때 데이터 세트에는 거래량(수백만) 및 주가수익비율(예: 10-50)과 같이 매우 다른 척도를 가진 특징이 포함되는 경우가 많습니다. 이러한 특징을 정규화하는 것은 거리 기반 알고리즘에 필수적이며 기울기 기반 학습이 더 큰 크기를 가진 특징에 의해 왜곡되지 않도록 보장하며, 이는 금융의 컴퓨터 비전에서 일반적인 관행입니다.