에폭

머신 러닝(ML)에서 에포크는 학습 알고리즘을 통해 전체 학습 데이터 세트를 한 번 완전히 통과하는 것을 나타냅니다. 이는 모델이 데이터의 예제를 반복적으로 보면서 학습하는 신경망(NN) 학습의 반복적인 프로세스에서 기본적인 개념입니다. 에포크 수는 모델이 전체 학습 정보 세트에서 학습할 횟수를 결정하는 핵심 매개변수이며, 모델의 최종 성능과 품질에 직접적인 영향을 미칩니다.

모델 학습에서 에폭의 역할

모델 학습의 주요 목표는 모델이 데이터에서 패턴을 학습하도록 하는 것입니다. 이는 모델 가중치로 알려진 모델의 내부 파라미터를 조정하여 모델의 예측과 실제 정답 간의 오차를 정량화하는 손실 함수를 최소화함으로써 달성됩니다. 단일 에포크 동안 모델은 모든 데이터 샘플을 처리하고, Stochastic Gradient Descent(SGD)와 같은 최적화 알고리즘이 이러한 가중치를 업데이트합니다.

여러 epoch 동안 모델을 학습하면 반복적으로 파라미터를 개선할 수 있습니다. 각 패스마다 모델은 이미지 분류든 객체 감지든 작업에서 이론적으로 더 나아져야 합니다. 이 프로세스는 PyTorch 또는 TensorFlow와 같은 널리 사용되는 딥러닝 프레임워크를 사용하여 관리됩니다.

Epochs vs. Iterations vs. Batches

관련은 있지만, 이러한 용어는 학습 과정의 서로 다른 측면을 설명하며 종종 혼동됩니다.

• Epoch(에포크): 모델이 전체 학습 데이터 세트를 본 완전한 주기입니다.
• 배치 크기(Batch Size): 단일 반복에서 사용되는 훈련 샘플의 수입니다. 메모리 제약 조건으로 인해 전체 데이터 세트를 한 번에 처리하는 것은 종종 비현실적입니다.
• Iteration: 모델 가중치의 단일 업데이트입니다. 한 번의 iteration은 하나의 데이터 배치를 처리하고 순방향 및 역방향 패스(역전파)를 수행하는 것을 포함합니다.

예를 들어, 데이터 세트에 10,000개의 이미지가 있고 배치 크기가 100이면 1 epoch는 100회 반복으로 구성됩니다(10,000개 이미지 / 배치당 100개 이미지).

적절한 Epoch 수 결정

정확한 epoch 수를 선택하는 것은 하이퍼파라미터 튜닝의 중요한 부분입니다. 여기에는 두 가지 일반적인 문제를 피하기 위한 균형을 찾는 것이 포함됩니다.

• Underfitting (과소 적합): 모델이 충분한 epoch 동안 훈련되지 않았을 때 발생합니다. 데이터의 기본 패턴을 학습하지 못하고 훈련 데이터와 테스트 데이터 모두에서 성능이 저하됩니다.
• 과적합(Overfitting): 이는 모델이 너무 많은 에포크 동안 학습될 때 발생합니다. 모델이 노이즈를 포함하여 학습 데이터를 "암기"하기 시작하고 새로운 미지의 데이터로 일반화하는 능력을 잃습니다. 학습 세트에서 뛰어난 정확도(accuracy)를 가질 수 있지만 검증 데이터(validation data)에 대한 성능은 저조합니다.

과적합을 방지하는 일반적인 기술은 조기 중단입니다. 이는 모델의 검증 세트 성능이 더 이상 향상되지 않으면 학습을 중단하는 것입니다. TensorBoard와 같은 도구를 사용하거나 Ultralytics HUB와 같은 플랫폼을 통해 진행 상황을 모니터링하여 epoch에 따른 학습 지표를 시각화할 수 있습니다.

실제 사례

Epochs 개념은 딥러닝 애플리케이션에서 보편적으로 사용됩니다.

1. 자율 주행: 자율 주행 차량용 객체 감지 모델은 Argoverse와 같은 대규모 데이터 세트에서 학습됩니다. Ultralytics YOLOv8과 같은 모델은 50-100 epoch 동안 학습될 수 있습니다. 각 epoch 후 평균 정밀도(mAP)와 같은 메트릭을 사용하여 유효성 검사 세트에서 성능을 측정합니다. 엔지니어는 배포 전에 속도와 정확도의 균형이 가장 잘 맞는 epoch의 모델을 선택합니다.

2. 의료 영상 분석: 뇌 스캔에서 종양 탐지를 위한 모델은 특수 의료 영상 데이터 세트에서 학습됩니다. 이러한 데이터 세트가 작을 수 있다는 점을 감안할 때 모델은 수백 epoch 동안 학습될 수 있습니다. 과적합을 방지하기 위해 데이터 증강과 같은 기술이 사용되고 각 epoch 후에 검증 손실이 면밀히 모니터링됩니다. 이를 통해 최종 모델이 새로운 환자의 스캔에 일반화됩니다. 이러한 중요한 애플리케이션에서 성공하려면 확립된 모델 학습 팁을 따르는 것이 중요합니다.