Underfitting

과소적합은 machine learning 모델이 너무 단순하거나 training data 내의 근본적인 추세 및 패턴을 포착할 능력이 부족할 때 발생합니다. 개념적으로는 뚜렷한 곡선을 이루는 데이터 포인트에 직선을 맞추려는 것과 유사하며, 모델이 입력값과 출력값 간의 복잡한 관계를 파악하지 못하는 상태입니다. 모델이 데이터를 효과적으로 학습하지 못했기 때문에 훈련 세트뿐만 아니라 보이지 않는 validation data에서도 성능이 낮게 나타나며, 결과적으로 예측 accuracy가 낮아집니다. 이러한 현상은 종종 높은 bias in AI로 인해 발생하며, 이 경우 알고리즘이 목표 함수에 대해 지나치게 단순한 가정을 하게 됩니다.

Link to this section원인 및 지표#

여러 요인이 모델의 과소적합을 초래할 수 있습니다. 가장 일반적인 원인은 비선형 데이터에 linear regression을 적용하는 것과 같이 당면한 작업에 비해 충분히 복잡하지 않은 모델 아키텍처를 사용하는 것입니다. 모델이 수렴할 만큼 충분한 epochs를 제공받지 못한 경우인 불충분한 훈련 기간 또한 적절한 학습을 방해합니다. 더 나아가, 보통 반대 문제를 방지하기 위해 사용되는 기술인 과도한 regularization은 모델을 지나치게 제약하여 중요한 특징을 포착하지 못하게 만들 수 있습니다.

엔지니어는 훈련 중에 loss functions을 모니터링하여 과소적합을 식별할 수 있습니다. 훈련 오차와 검증 오차가 모두 높고 유의미하게 감소하지 않는다면, 모델은 과소적합 상태일 가능성이 높습니다. 모델이 데이터를 이해하는 데 도움을 주는 효과적인 feature engineering과 대조적으로, 너무 적은 특징을 제공하는 것 또한 모델에 필요한 정보가 결핍되게 만들 수 있습니다.

Link to this section과소적합 vs. 과대적합#

과소적합을 그 반대 개념인 overfitting과 구별하는 것이 중요합니다. 이 두 가지 개념은 bias-variance tradeoff의 양 끝을 나타냅니다.

• 과소적합(높은 편향): 모델이 지나치게 경직되어 있습니다. 기본적인 신호를 학습하지 못했기 때문에 훈련 데이터와 test data 모두에서 성능이 낮습니다.
• 과대적합(높은 분산): 모델이 지나치게 유연합니다. 노이즈를 포함한 훈련 데이터를 모두 암기하여 훈련 중에는 탁월한 성능을 보이지만, 새로운 예시에 대해서는 generalize하지 못합니다.

이 두 극단 사이의 '최적 지점(sweet spot)'을 찾는 것이 model optimization의 주요 목표입니다.

Link to this section실제 애플리케이션 사례#

과소적합을 이해하는 것은 다양한 산업 분야에서 안정적인 AI 시스템을 개발하는 데 매우 중요합니다.

• 자율 주행: autonomous vehicles의 맥락에서 과소적합된 객체 감지 모델은 복잡한 도심 환경에서 보행자와 가로등을 구분하지 못할 수 있습니다. 모델에 미세한 시각적 차이를 학습할 파라미터가 부족하기 때문에 AI safety를 위협하게 됩니다.
• 의료 진단: medical image analysis를 적용하여 종양과 같은 이상 징후를 감지할 때, 지나치게 단순한 모델은 작거나 불규칙한 종양을 놓칠 수 있습니다. 신경망이 너무 얕으면 높은 sensitivity and specificity를 위해 필요한 복잡한 텍스처를 학습할 수 없어 진단 실패로 이어집니다.

Link to this section코드로 과소적합 해결하기#

computer vision에서 과소적합은 작업의 난이도에 비해 너무 작은 모델 변형을 사용할 때 자주 발생합니다(예: 고해상도 드론 이미지에서 작은 객체 감지). 다음의 Python 예제는 잠재적인 과소적합을 해결하기 위해 ultralytics 라이브러리를 사용하여 더 작고 성능이 뛰어난 모델로 전환하는 방법을 보여줍니다.

from ultralytics import YOLO

# If 'yolo26n.pt' (Nano) is underfitting and yielding low accuracy,
# upgrade to a model with higher capacity like 'yolo26l.pt' (Large).
model = YOLO("yolo26l.pt")

# Train the larger model.
# Increasing epochs also helps the model converge if it was previously underfitting.
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

더 큰 Ultralytics YOLO26 모델로 변경하고 충분한 훈련 기간을 확보함으로써, 시스템은 복잡한 패턴을 학습하는 데 필요한 파라미터를 얻어 과소적합을 효과적으로 완화합니다. 모델이 더 이상 과소적합되지 않음을 확인하려면 항상 강력한 test dataset을 사용하여 평가하십시오. 데이터셋 관리 및 실험 추적을 통해 과소적합을 조기에 발견할 수 있도록 Ultralytics Platform은 시각화 및 분석을 위한 포괄적인 도구를 제공합니다.