손실 함수

비용 함수 또는 목적 함수로도 알려진 손실 함수는 머신 러닝(ML) 과 딥 러닝(DL)의 기본 구성 요소입니다. 손실 함수는 모델의 예측 출력과 특정 데이터에 대한 실제 실측 데이터 레이블 간의 차이, 즉 '손실'을 정량화합니다. 손실 함수에 의해 계산된 값은 모델의 성능이 얼마나 떨어지는지 측정하는 척도로 사용됩니다. 모델 학습 과정의 주요 목표는 이 값을 최소화하여 모델의 정확도와 성능을 개선하는 것입니다.

손실 함수 작동 방식

학습을 반복할 때마다 모델은 학습 데이터 배치를 처리하고 예측을 수행합니다. 그런 다음 손실 함수는 이러한 예측을 실제 레이블과 비교합니다. 손실 값이 클수록 불일치가 크고 수정이 필요하다는 것을 의미하며, 손실 값이 작을수록 모델의 예측이 실제 값에 더 가깝다는 것을 의미합니다.

이 손실 값은 모델이 학습하는 데 필요한 신호를 제공하기 때문에 매우 중요합니다. 이 신호는 확률적 경사 하강(SGD)과 같은 최적화 알고리즘에서 모델의 내부 파라미터 또는 모델 가중치를 조정하는 데 사용됩니다. 역전파 프로세스는 이러한 가중치에 대한 손실 함수의 기울기를 계산하여 손실을 줄이기 위해 가중치를 조정해야 하는 방향을 나타냅니다. 이러한 반복적인 손실 계산 및 가중치 업데이트 프로세스를 통해 모델은 점차적으로 매우 정확한 예측을 할 수 있는 상태로 수렴할 수 있습니다.

일반적인 손실 함수 유형

손실 함수의 선택은 모델이 해결하도록 설계된 특정 작업에 따라 크게 달라집니다. 문제마다 오차를 측정하는 방법이 다릅니다. 몇 가지 일반적인 유형은 다음과 같습니다:

• 평균 제곱 오차(MSE): 연속적인 수치 값을 예측하는 것이 목표인 회귀 작업에 널리 사용되는 손실 함수입니다. 예측된 값과 실제 값의 차이의 제곱의 평균을 계산합니다.
• 교차 엔트로피 손실: 이미지 분류 작업에 널리 사용됩니다. 출력이 0과 1 사이의 확률 값인 분류 모델의 성능을 측정합니다. 이미지넷 데이터 세트에서 이미지를 분류하는 것과 같이 여러 클래스를 구분하도록 모델을 훈련할 때 효과적입니다.
• IoU(Intersection over Union) 손실: 객체 감지 작업에는 IoU의 변형이 필수적입니다. GIoU, DIoU, CIoU와 같은 손실 함수는 예측된 바운딩 박스와 기준값 박스 사이의 불일치를 측정합니다. 이러한 손실 함수는 Ultralytics YOLO11과 같은 정확한 물체 감지기를 훈련하는 데 필수적입니다.
• 주사위 손실: 이미지 분할, 특히 의료 이미지 분석에서 예측된 분할 마스크와 실제 분할 마스크 간의 중첩을 측정하는 데 일반적으로 사용됩니다. 클래스 불균형을 처리하는 데 특히 유용합니다.

실제 애플리케이션

손실 함수는 거의 모든 딥러닝 모델 학습의 핵심입니다.

1. 자율주행 차량: 자율 주행 차량 개발에서는 보행자, 다른 자동차, 교통 표지판을 식별하도록 물체 감지 모델을 학습시킵니다. 학습 중에 손실 함수는 여러 구성 요소를 결합합니다. 한 부분은 각 객체(예: 자동차 대 보행자)를 분류할 때의 오류를 계산하고, 다른 부분(종종 IoU 기반 손실)은 객체의 경계 상자를 로컬라이즈할 때의 오류를 계산합니다. 이러한 복합적인 손실을 최소화하면 자동차 솔루션에서 AI의 핵심 구성 요소인 안전한 내비게이션을 위한 강력한 모델을 만들 수 있습니다.
2. 의료 진단: 의료 분야의 AI에서는 의료 스캔에서 종양을 식별하기 위해 U-Net과 같은 모델을 시맨틱 세분화에 대해 학습시킵니다. 주사위 손실 또는 교차 엔트로피와 주사위 손실의 조합과 같은 손실 함수를 사용하여 모델의 예측된 종양 마스크와 방사선 전문의가 주석을 단 마스크를 비교합니다. 의료 이미지 데이터 세트에서 이러한 손실을 최소화함으로써 모델은 병리학적인 영역을 정확하게 묘사하는 방법을 학습하여 더 빠르고 정확한 진단을 지원합니다.

다른 주요 개념과의 관계

손실 함수를 ML의 다른 관련 개념과 구별하는 것이 중요합니다.

• 손실 함수 대 평가 지표: 이것은 중요한 차이점입니다. 손실 함수는 학습 중에 최적화 프로세스를 안내하는 데 사용됩니다. 그라데이션 기반 학습을 허용하려면 손실 함수가 차별화되어야 합니다. 반면 정확도, 정밀도, 리콜, 평균 평균 정밀도(mAP) 와 같은 평가 지표는 훈련 후 ( 검증 데이터 또는 테스트 데이터에서) 모델의 실제 성능을 평가하는 데 사용됩니다. 일반적으로 손실이 적을수록 지표 점수가 높아지지만, 각 지표는 서로 다른 용도로 사용됩니다. 성능 메트릭에 대한 자세한 내용은 가이드에서 확인할 수 있습니다.
• 손실 함수 대 최적화 알고리즘: 손실 함수는 최소화해야 하는 목표, 즉 목표를 정의합니다. 아담 옵티마이저와 같은 최적화 알고리즘은 계산된 기울기와 학습률을 기반으로 모델 가중치를 업데이트하여 손실을 최소화하는 방법, 즉 메커니즘을 정의합니다.
• 과적합 및 과소적합: 이러한 일반적인 문제를 진단하려면 훈련과 검증 세트 모두에서 손실을 모니터링하는 것이 중요합니다. 훈련 손실이 계속 감소하는 반면 검증 손실이 증가하기 시작하면 과적합이 발생했을 가능성이 높습니다. 과소적합은 두 세트 모두에서 높은 손실 값으로 나타납니다. 이러한 인사이트는 모델 학습을 위한 팁과 같은 가이드에서 설명합니다.

손실 함수를 이해하는 것은 AI 모델 구축 및 학습에 관여하는 모든 사람에게 필수적입니다. Ultralytics HUB와 같은 플랫폼은 이러한 복잡성의 상당 부분을 추상화하여 손실 함수 구현 및 최적화를 자동으로 처리하므로 고급 컴퓨터 비전(CV) 모델을 보다 쉽게 구축할 수 있습니다.