Batch Size

In the realm of machine learning and particularly deep learning, Batch Size refers to the number of training examples utilized in one iteration of model training. Rather than feeding the entire training data into the neural network at once—which is often computationally impossible due to memory constraints—the dataset is divided into smaller subsets called batches. The model processes one batch, calculates the error, and updates its internal model weights via backpropagation before moving on to the next batch. This hyperparameter plays a pivotal role in determining both the speed of training and the stability of the learning process.

Link to this section배치를 활용한 학습의 역학#

배치 크기 선택은 확률적 경사 하강법의 변형인 최적화 알고리즘이 손실 지형을 탐색하는 방식을 근본적으로 바꿉니다.

• 작은 배치 크기: 8 또는 16과 같은 작은 숫자를 사용하면 "노이즈가 많은" 업데이트가 발생합니다. 전체 데이터셋에 대한 기울기 추정치는 덜 정확하지만, 이러한 노이즈는 모델이 지역 최솟값(local minima)에서 벗어나 잠재적으로 더 나은 일반화 성능을 얻는 데 도움이 될 수 있습니다. 그러나 작은 배치는 에포크(epoch)당 더 많은 업데이트가 필요하므로, 오버헤드로 인해 월클락(wall-clock) 시간 기준으로 학습 속도가 느려질 수 있습니다.
• 큰 배치 크기: 128 또는 256과 같은 더 큰 배치는 기울기에 대한 보다 정확한 추정치를 제공하여 손실 함수의 더 부드러운 수렴을 유도합니다. 이는 현대적인 하드웨어에서 대규모 병렬 처리를 가능하게 하여 계산 속도를 크게 높입니다. 그러나 배치 크기가 너무 크면 모델이 날카로운 준최적의 최솟값에 안주할 수 있으며, 이로 인해 과적합이 발생하고 새로운 데이터에 대한 일반화 능력이 저하될 수 있습니다.

Link to this section하드웨어 및 메모리 관련 고려 사항#

실무자는 종종 순수한 이론적 선호도보다는 하드웨어 제한에 따라 배치 크기를 선택해야 합니다. 딥러닝 모델, 특히 Transformer나 고급 합성곱 신경망과 같은 대규모 아키텍처는 GPU의 VRAM에 저장됩니다.

가속을 위해 NVIDIA CUDA를 활용할 때 VRAM은 모델 파라미터, 입력 데이터 배치, 기울기 계산에 필요한 중간 활성화 출력값을 보관해야 합니다. 배치 크기가 가용 메모리를 초과하면 학습이 "Out of Memory" (OOM) 오류와 함께 중단됩니다. 메모리 사용량을 줄여 동일한 하드웨어에서 더 큰 배치 크기를 사용할 수 있도록 혼합 정밀도 학습과 같은 기술이 자주 사용됩니다.

Link to this section관련 개념 구분#

학습을 효과적으로 구성하려면 배치 크기를 학습 루프의 다른 시간적 용어들과 구분하는 것이 필수적입니다.

• Batch Size vs. Epoch: 에포크(epoch)는 전체 학습 데이터셋을 한 번 완전히 통과하는 것을 의미합니다. 배치 크기는 해당 에포크 내에서 데이터를 몇 개의 덩어리로 나눌지 결정합니다. 예를 들어, 1,000개의 이미지가 있고 배치 크기가 100이라면 한 에포크를 완료하는 데 10번의 반복(iteration)이 필요합니다.
• Batch Size vs. Iteration: 반복(iteration 또는 step)은 하나의 배치를 처리하고 가중치를 업데이트하는 행위입니다. 학습의 총 반복 횟수는 에포크당 배치 수에 총 에포크 수를 곱한 값입니다.
• Batch Size vs. Batch Normalization: 이름은 공유하지만, Batch Normalization은 현재 배치의 평균과 분산을 기반으로 계층 입력을 정규화하는 특정 계층 유형입니다. 이 기술은 배치 크기에 크게 의존하며, 배치 크기가 너무 작으면(예: 2) 통계적 추정치가 신뢰할 수 없게 되어 성능이 저하될 수 있습니다.

Link to this section실제 애플리케이션 사례#

배치 크기 조정은 다양한 산업 분야에서 컴퓨터 비전 솔루션을 배포할 때 일상적으로 필요한 과정입니다.

1. 고충실도 의료 영상: AI in healthcare 분야의 실무자들은 종종 MRI나 CT 스캔과 같은 3D 볼륨 데이터를 다룹니다. 이러한 파일은 데이터 밀도가 매우 높고 메모리를 많이 사용합니다. 시스템 충돌 없이 의료 영상 분석이나 복잡한 영상 분할과 같은 작업을 수행하기 위해 엔지니어는 배치 크기를 매우 작은 수로, 때로는 배치 크기 1로 줄이기도 합니다. 여기서는 원시 학습 속도보다 고해상도 세부 정보를 처리하는 것이 우선입니다.

2. 산업용 품질 관리: 반대로 AI in manufacturing에서는 속도가 가장 중요합니다. 컨베이어 벨트에서 제품을 검사하는 자동화 시스템은 시간당 수천 개의 이미지를 처리해야 합니다. 추론 중에 엔지니어는 유입되는 카메라 피드를 더 큰 배치로 통합하여 edge AI 장치의 활용도를 극대화함으로써 실시간 결함 탐지를 위한 높은 처리량을 보장할 수 있습니다.

Link to this sectionPython에서 배치 크기 구성하기#

When using the Ultralytics Python package, setting the batch size is straightforward. You can specify a fixed integer or use the dynamic batch=-1 setting, which utilizes the AutoBatch feature to automatically calculate the maximum batch size your hardware can safely handle.

다음 예제는 특정 배치 설정을 사용하여 속도와 정확도에 대한 최신 표준인 YOLO26 모델을 학습하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Train on the COCO8 dataset
# batch=16 is manually set.
# Alternatively, use batch=-1 for auto-tuning based on available GPU memory.
results = model.train(data="coco8.yaml", epochs=5, batch=16)

대규모 실험을 관리하고 서로 다른 배치 크기가 학습 지표에 미치는 영향을 시각화하기 위해 Ultralytics Platform과 같은 도구는 실행 기록을 저장하고 비교할 수 있는 포괄적인 환경을 제공합니다. 배치 크기에 대한 적절한 하이퍼파라미터 튜닝은 종종 모델에서 최고의 성능을 끌어내기 위한 마지막 단계입니다.