Batch Normalization

배치 정규화는 흔히 BatchNorm이라고도 하며, 딥러닝 (DL)에서 인공 신경망의 학습을 안정화하고 가속하는 데 사용되는 기법입니다. 이전 레이어의 매개변수가 업데이트될 때 레이어 입력의 분포가 지속적으로 변하는 내부 공변량 변화 문제를 해결하기 위해 도입된 BatchNorm은 각 미니 배치마다 레이어 입력을 표준화합니다. 레이어 입력의 평균을 0, 표준 편차를 1로 정규화한 다음 학습 가능한 매개변수로 스케일링하고 이동함으로써, 이 방법은 네트워크가 더 높은 학습률을 사용하도록 하며 초기화에 대한 민감도를 줄여줍니다.

배치 정규화의 작동 방식#

표준 합성곱 신경망 (CNN)에서는 각 레이어가 변환을 수행하는 레이어를 통해 데이터가 흐릅니다. 정규화가 없으면 출력값의 스케일이 크게 달라질 수 있어 최적화 알고리즘이 최적의 가중치를 찾기 어려워집니다. 배치 정규화는 일반적으로 활성화 함수(예: ReLU 또는 SiLU) 바로 앞에 적용됩니다.

학습 중 이 과정은 다음 두 가지 주요 단계로 진행됩니다:

1. 정규화: 레이어는 현재 배치 크기 내 활성화의 평균과 분산을 계산합니다. 그런 다음 배치 평균을 빼고 배치 표준 편차로 나눕니다.

2. 스케일링 및 이동: 네트워크가 복잡한 함수를 계속 표현할 수 있도록 두 개의 학습 가능한 매개변수(gamma와 beta)를 도입합니다. 최적의 데이터 분포가 표준 정규분포가 아닌 경우에도 네트워크가 정규화를 되돌릴 수 있도록 합니다.

이 메커니즘은 정규화의 한 형태로 작용하며, 학습 중 활성화에 소량의 노이즈를 추가하여 Dropout 레이어와 같은 다른 기법의 필요성을 다소 줄여줍니다.

AI 학습의 주요 이점#

ResNet과 같은 아키텍처 또는 최신 객체 탐지기에 배치 정규화를 통합하면 다음과 같은 여러 가지 뚜렷한 이점이 있습니다:

• 더 빠른 수렴: 정규화가 그래디언트가 지나치게 작아지거나 커지는 것을 방지하여 그래디언트 소실 문제를 효과적으로 완화하므로 모델을 훨씬 빠르게 학습할 수 있습니다.
• 안정성: 특정 초기 가중치 선택과 하이퍼파라미터 튜닝에 대한 네트워크의 민감도를 낮춰 모델 학습 과정을 더욱 견고하게 만듭니다.
• 일반화 성능 향상: 배치 정규화는 최적화 지형을 평탄화하여 모델이 보지 못한 테스트 데이터에 더 잘 일반화하도록 지원합니다.

실제 적용 사례#

배치 정규화는 거의 모든 최신 컴퓨터 비전 (CV) 시스템에서 필수적으로 사용됩니다.

1. 자율 주행: 자율 주행 자동차 시스템에서 Ultralytics YOLO26과 같은 모델은 비디오 프레임을 처리하여 보행자, 차량 및 표지판을 탐지합니다. BatchNorm은 조명 강도나 기상 조건이 변하더라도 객체 탐지 레이어가 안정적으로 유지되도록 하여 높은 평균 정밀도 (mAP)를 유지합니다.

2. 의료 영상: 의료 영상에서 종양 탐지를 수행할 때 스캔 데이터는 서로 다른 MRI 또는 CT 장비 간에 크게 달라질 수 있습니다. BatchNorm은 이러한 특징을 내부적으로 정규화하여 AI가 픽셀 강도의 차이보다 구조적 이상에 집중하도록 하며, 의료 AI 솔루션의 진단 정확도를 향상합니다.

배치 정규화와 데이터 정규화 비교#

배치 정규화를 표준 데이터 정규화와 구분하는 것이 유용합니다.

• 데이터 정규화는 학습을 시작하기 전에 원시 입력 데이터 세트에 적용하는 전처리 단계입니다(예: 이미지 크기 조정 및 픽셀 값을 0~1로 스케일링). Albumentations와 같은 도구가 이 단계에서 자주 사용됩니다.
• 배치 정규화는 학습 과정 자체에서 신경망 레이어 내부에 적용됩니다. 데이터가 네트워크를 통과할 때 네트워크 내부 값을 동적으로 조정합니다.

구현 예시#

PyTorch와 같은 딥러닝 프레임워크에는 최적화된 배치 정규화 구현이 포함되어 있습니다. Ultralytics YOLO 아키텍처에서는 이러한 레이어가 합성곱 블록에 자동으로 통합됩니다.

다음 Python 코드 스니펫은 모델을 검사하여 아키텍처 내에서 BatchNorm2d 레이어가 어디에 위치하는지 확인하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the YOLO26n model (nano version)
model = YOLO("yolo26n.pt")

# Print the model structure to view layers
# You will see 'BatchNorm2d' listed after 'Conv2d' layers
print(model.model)

이러한 레이어의 상호 작용 방식을 이해하면 개발자가 Ultralytics Platform을 사용하여 사용자 지정 데이터 세트로 모델을 파인 튜닝할 때 도움이 되며, 데이터가 제한적인 경우에도 학습이 안정적으로 유지되도록 할 수 있습니다.