배치 정규화 (Batch Normalization)

종종 BatchNorm으로 축약되는 배치 정규화는 심층 신경망에서 학습 프로세스를 안정화하고 가속화하는 데 사용되는 기술입니다. Sergey Ioffe와 Christian Szegedy가 2015년 논문에서 소개한 이 기술은 각 데이터 미니배치에 대해 각 레이어에 대한 입력을 정규화하여 작동합니다. 이는 이전 레이어의 매개변수가 변경됨에 따라 학습 중에 각 레이어 입력의 분포가 변경되는 "내부 공변량 변화"로 알려진 현상을 줄이는 효과가 있습니다. 입력의 보다 안정적인 분포를 유지함으로써 배치 정규화는 심층 네트워크의 더 빠르고 안정적인 학습을 가능하게 합니다.

배치 정규화 작동 방식

모델 훈련 과정에서 데이터는 배치라고 하는 작은 그룹으로 네트워크를 통과합니다. 일반적으로 컨볼루션 또는 완전 연결 레이어 뒤와 활성화 함수 앞에 삽입되는 배치 정규화 레이어는 각 배치에 대해 두 가지 주요 단계를 수행합니다.

1. 정규화: 현재 배치 내 활성화 값의 평균과 분산을 계산합니다. 그런 다음 이러한 통계치를 사용하여 활성화 값을 정규화하여 평균이 0이고 분산이 1이 되도록 합니다. 이 단계를 통해 다음 레이어에 대한 입력이 일관된 스케일로 유지됩니다.
2. 스케일링 및 이동: 활성화를 정규화하면 레이어의 표현력이 제한될 수 있습니다. 이를 상쇄하기 위해 레이어는 두 개의 학습 가능한 파라미터(스케일링 요소(gamma) 및 이동 요소(beta))를 도입합니다. 이러한 파라미터를 통해 네트워크는 다음 레이어에 대한 입력에 대한 최적의 스케일과 평균을 학습할 수 있으며, 네트워크에서 최선이라고 판단하는 경우 정규화를 효과적으로 취소합니다.

추론 과정에서 모델은 배치 대신 단일 예제를 처리합니다. 따라서 배치별 평균과 분산을 사용할 수 없습니다. 대신 모델은 전체 훈련 데이터 세트에서 계산된 집계 평균과 분산을 사용하며, 이는 훈련 단계에서 계산되어 저장됩니다. 이를 통해 모델의 출력이 결정적이고 일관성을 유지할 수 있습니다.

배치 정규화의 이점

딥 러닝 모델에서 배치 정규화를 구현하면 다음과 같은 몇 가지 주요 이점이 있습니다.

• 더 빠른 학습: BatchNorm은 입력 분포를 안정화하여 훨씬 더 높은 학습률을 사용할 수 있도록 함으로써 모델의 수렴 속도를 크게 높입니다.
• 내부 공변량 변화 감소: 이는 Batch Normalization이 해결하기 위해 설계된 주요 문제입니다. 이전 레이어의 파라미터 변화가 이후 레이어의 입력 분포를 이동시켜 훈련을 더 어렵게 만드는 문제를 완화합니다.
• 정규화 효과: Batch Normalization은 배치 기반 통계로 인해 각 레이어의 활성화에 약간의 노이즈를 추가합니다. 이 노이즈는 정규화의 한 형태로 작용하여 과적합을 방지하는 데 도움이 되며 Dropout과 같은 다른 기술의 필요성을 줄일 수 있습니다.
• 초기화 의존성 감소: 이는 네트워크가 초기 가중치에 덜 민감하게 만들어 훈련 과정을 더욱 안정적으로 만듭니다.

실제 애플리케이션

배치 정규화는 최첨단 아키텍처인 Ultralytics YOLO를 포함하여 현대 컴퓨터 비전 모델에서 거의 모든 곳에 사용되는 구성 요소입니다.

• Image Classification(이미지 분류): ImageNet과 같은 대규모 데이터 세트에서 훈련된 모델에서 Batch Normalization은 vanishing gradients(기울기 소실)과 같은 문제를 방지하여 ResNet과 같이 매우 깊은 네트워크를 훈련하는 데 중요합니다. 이를 통해 사진에서 객체를 분류하는 것과 같은 작업에서 더 높은 정확도를 얻을 수 있습니다.
• 의료 영상 분석: 종양 탐지 또는 MRI 또는 CT 스캔에서 장기를 분할하기 위한 모델을 학습할 때 배치 정규화는 여러 장비와 환자 간의 이미지 강도 변화가 학습에 부정적인 영향을 미치지 않도록 합니다. 이는 헬스케어 분야의 AI를 위한 보다 안정적이고 강력한 진단 도구로 이어집니다.

관련 개념 및 구별

배치 정규화(Batch Normalization)를 다른 관련 개념과 구별하는 것이 중요합니다.

• 데이터 정규화(Data Normalization): 일반적인 데이터 정규화는 훈련이 시작되기 전에 입력 데이터에 적용되는 전처리 단계입니다. 이와는 대조적으로, 배치 정규화는 훈련 중에 네트워크 내부에서 발생하는 동적 프로세스로, 레이어 간의 활성화를 정규화합니다.
• 기타 정규화 레이어: Layer Normalization, Instance Normalization 및 Group Normalization과 같은 다른 기술도 존재합니다. 주요 차이점은 정규화 범위입니다. BatchNorm은 배치 차원에서 정규화하는 반면, Layer Normalization은 단일 학습 예제에 대한 특징에서 정규화하므로 배치 크기에 독립적입니다. 이러한 대안은 NLP와 같은 도메인이나 작은 배치 크기가 필요한 경우에 자주 사용됩니다.

고려 사항 및 구현

배치 정규화의 주요 고려 사항은 훈련 중 미니 배치 크기에 대한 의존성입니다. 배치 통계가 모집단 통계의 노이즈가 많은 추정치가 되므로 배치 크기가 너무 작으면(예: 1 또는 2) 성능이 저하될 수 있습니다. 다음과 같은 표준 딥 러닝 프레임워크 PyTorch (torch.nn.BatchNorm2d)와(과) TensorFlow (tf.keras.layers.BatchNormalization)은 강력한 구현을 제공합니다. 대안에도 불구하고 배치 정규화는 많은 최신 딥 러닝 모델을 효과적으로 훈련하기 위한 기본적인 기술로 남아 있습니다. 다음과 같은 플랫폼을 사용하여 이러한 기술을 통합하는 모델을 관리하고 훈련할 수 있습니다. Ultralytics HUB.