손실 함수

손실 함수(비용 함수 또는 목적 함수라고도 함)는 머신 러닝(ML) 및 딥 러닝(DL)의 기본 구성 요소입니다. 이는 모델의 예측 출력과 주어진 데이터 조각에 대한 실제 Ground Truth 레이블 간의 차이(또는 "손실")를 정량화합니다. 손실 함수에 의해 계산된 값은 모델이 얼마나 잘못 수행되고 있는지에 대한 척도로 사용됩니다. 모델 훈련 과정의 주요 목표는 이 값을 최소화하여 모델의 정확도와 성능을 향상시키는 것입니다.

손실 함수 작동 방식

훈련의 각 반복 동안 모델은 훈련 데이터 배치를 처리하고 예측을 수행합니다. 그런 다음 손실 함수는 이러한 예측을 실제 레이블과 비교합니다. 더 높은 손실 값은 더 큰 불일치와 더 큰 수정 필요성을 나타내고, 더 낮은 손실 값은 모델의 예측이 실제 값에 더 가깝다는 것을 의미합니다.

이 손실 값은 모델 학습에 필요한 신호를 제공하므로 매우 중요합니다. 이 신호는 Stochastic Gradient Descent (SGD)와 같은 최적화 알고리즘에 의해 모델의 내부 파라미터, 즉 모델 가중치를 조정하는 데 사용됩니다. 역전파 프로세스는 이러한 가중치에 대한 손실 함수의 기울기를 계산하여 손실을 줄이기 위해 가중치를 조정해야 하는 방향을 나타냅니다. 손실을 계산하고 가중치를 업데이트하는 이러한 반복적인 프로세스를 통해 모델은 매우 정확한 예측을 할 수 있는 상태로 점진적으로 수렴할 수 있습니다.

일반적인 손실 함수 유형

손실 함수를 선택하는 것은 모델이 해결하도록 설계된 특정 작업에 크게 좌우됩니다. 서로 다른 문제에는 오류를 측정하는 서로 다른 방법이 필요합니다. 몇 가지 일반적인 유형은 다음과 같습니다.

• 평균 제곱 오차(MSE): 목표가 연속적인 숫자 값을 예측하는 회귀 작업에 널리 사용되는 손실 함수입니다. 예측값과 실제 값 간의 차이 제곱의 평균을 계산합니다.
• 교차 엔트로피 손실: 이미지 분류 작업에 널리 사용됩니다. 출력 값이 0과 1 사이의 확률 값인 분류 모델의 성능을 측정합니다. ImageNet 데이터 세트에서 이미지를 분류하는 것과 같이 여러 클래스 간을 구별하기 위해 모델을 학습할 때 효과적입니다.
• IoU(Intersection over Union) 손실: IoU의 변형은 객체 감지 작업에 필수적입니다. GIoU, DIoU 및 CIoU와 같은 이러한 손실 함수는 예측된 바운딩 박스와 실제 박스 간의 불일치를 측정합니다. 이는 Ultralytics YOLO11과 같은 정확한 객체 감지기를 훈련하는 데 필수적입니다.
• Dice Loss: 특히 의료 영상 분석에서 이미지 분할에 일반적으로 사용되어 예측된 분할 마스크와 실제 분할 마스크 간의 겹침을 측정합니다. 이는 클래스 불균형을 처리하는 데 특히 유용합니다.

실제 애플리케이션

손실 함수는 사실상 모든 딥러닝 모델 훈련의 핵심입니다.

1. 자율 주행 차량: 자율 주행 차량 개발에서 객체 탐지 모델은 보행자, 다른 자동차 및 교통 표지판을 식별하도록 학습됩니다. 학습 중에 손실 함수는 여러 구성 요소를 결합합니다. 한 부분은 각 객체(예: 자동차 대 보행자)를 분류하는 오류를 계산하고 다른 부분은 종종 IoU 기반 손실로 객체의 경계 상자를 지역화하는 오류를 계산합니다. 이 결합된 손실을 최소화하면 안전한 내비게이션을 위한 강력한 모델을 만드는 데 도움이 되며, 이는 자동차 솔루션의 AI의 핵심 구성 요소입니다.
2. 의료 진단: 헬스케어 AI에서 U-Net과 같은 모델은 의료 스캔에서 종양을 식별하기 위해 시맨틱 분할을 위해 학습됩니다. Dice Loss 또는 Cross-Entropy와 Dice Loss의 조합과 같은 손실 함수는 모델이 예측한 종양 마스크와 방사선 전문의가 주석을 단 마스크를 비교하는 데 사용됩니다. 의료 영상 데이터 세트에서 이 손실을 최소화함으로써 모델은 병리학적 영역을 정확하게 윤곽을 그리도록 학습하여 더 빠르고 정확한 진단을 지원합니다.

다른 주요 개념과의 관계

손실 함수를 ML의 다른 관련 개념과 구별하는 것이 중요합니다.

• 손실 함수 vs. 평가 지표: 이는 중요한 구분입니다. 손실 함수는 최적화 프로세스를 안내하기 위해 학습 중에 사용됩니다. 기울기 기반 학습을 허용하려면 미분 가능해야 합니다. 대조적으로 정확도, 정밀도, 재현율 및 평균 평균 정밀도(mAP)와 같은 평가 지표는 모델의 실제 성능을 평가하기 위해 학습 후에(검증 데이터 또는 테스트 데이터에서) 사용됩니다. 낮은 손실이 일반적으로 더 나은 지표 점수와 상관 관계가 있지만 서로 다른 목적을 수행합니다. 가이드에서 성능 지표에 대해 자세히 알아볼 수 있습니다.
• 손실 함수 vs. 최적화 알고리즘: 손실 함수는 최소화해야 할 목표를 정의합니다. 최적화 알고리즘(예: Adam 옵티마이저)은 계산된 기울기와 학습률을 기반으로 모델 가중치를 업데이트하여 손실을 최소화하는 방법을 정의합니다.
• 과적합 및 과소적합: 학습 및 검증 세트 모두에서 손실을 모니터링하는 것이 이러한 일반적인 문제를 진단하는 데 중요합니다. 검증 손실이 증가하기 시작하는 동안 학습 손실이 계속 감소하면 과적합이 발생할 가능성이 높습니다. 과소적합은 두 세트 모두에서 높은 손실 값으로 표시됩니다. 이러한 통찰력은 모델 학습 팁과 같은 가이드에서 논의됩니다.

손실 함수를 이해하는 것은 AI 모델 구축 및 훈련에 관여하는 모든 사람에게 필수적입니다. Ultralytics HUB와 같은 플랫폼은 이러한 복잡성의 대부분을 추상화하여 손실 함수 구현 및 최적화를 자동으로 처리하므로 고급 컴퓨터 비전(CV) 모델을 보다 쉽게 구축할 수 있습니다.