YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Huber Loss

Huber 손실은 제곱 오차와 절대 오차를 결합하여 회귀에서 이상치의 영향을 줄이며, 조정 가능한 델타 임계값과 Python 구현을 제공합니다.

Huber 손실은 작은 예측 오차에는 제곱 페널티를, 큰 오차에는 선형 페널티를 적용하는 회귀 손실 함수입니다. 모델이 정답에 가까운 구간에서는 매끄러운 목적 함수를 제공하면서, 유난히 큰 오차의 영향은 줄여 줍니다. 따라서 대부분의 훈련 예제가 일관된 패턴을 따르지만 일부 예제에 극단적인 편차가 포함된 경우 유용합니다.

Peter J. Huber는 1964년 논문 위치 모수의 강건 추정에서 이 함수를 소개했습니다. 이 함수는 이상치에 덜 민감한 예측을 하는 모델을 적합하는 강건 추정의 기본 도구로 여전히 사용됩니다.

Huber 손실의 작동 방식#

잔차는 예측값에서 타깃값을 뺀 값입니다. Huber 손실은 잔차가 목적 함수에 기여하는 방식을 결정하기 위해 delta라는 양의 임계값을 사용합니다.

  • 작은 잔차: 절대 잔차가 delta 이하이면 손실은 잔차 제곱의 절반입니다.
  • 큰 잔차: 잔차가 delta를 초과하면 손실은 delta x (절대 잔차 - 0.5 x delta)입니다.

두 구간은 같은 함수값과 기울기로 이어집니다. 역전파 중 예측값에 대한 미분값은 이차 구간에서는 잔차와 같고, 그 구간을 벗어나면 크기가 delta로 제한됩니다. 따라서 잔차가 커져도 예측 그래디언트가 계속 커지지 않습니다. 선형 꼬리 구간은 극단적인 오차가 나머지 관측값에서 적합 결과를 크게 벗어나게 하는 정도를 제한합니다.

Delta 선택 및 손실 함수 비교#

평균 제곱 오차(MSE)는 잔차 제곱의 평균을 계산하여 큰 오차를 강하게 반영합니다. 평균 절대 오차(MAE)는 원소별로 적용할 때 L1 손실이라고도 하며, 모든 구간에서 절대 잔차를 사용하고 0에서 뾰족한 모서리를 갖습니다. Huber 손실은 0 주변에서 이차 동작을, 양 끝 구간에서 선형 동작을 결합하여 경사 하강법에 사용할 수 있는 연속 미분 가능한 목적 함수를 제공합니다.

delta가 클수록 제곱 오차 구간이 넓어집니다. delta가 작을수록 더 많은 잔차가 이상치에 강한 선형 구간에 포함되며 해당 구간의 기울기는 낮아집니다. delta는 잔차와 같은 단위를 사용하므로 타깃 정규화에 따라 그 의미가 달라집니다. 타깃의 단위를 미터에서 센티미터로 변환할 때 데이터에 대한 동일한 전환 지점을 유지하려면 delta에 100을 곱해야 합니다.

delta 선택은 하이퍼파라미터 튜닝 문제입니다. 후보값은 사용할 회귀 지표를 기준으로 검증 데이터에서 비교합니다. Huber 손실은 연속값 예측에 적합하며, 교차 엔트로피 손실과 힌지 손실은 분류 목적에 사용됩니다.

회귀 및 컴퓨터 비전 분야의 응용#

선형 회귀에서는 극단적인 관측값 때문에 제곱 오차 기반 적합 결과가 주요 데이터 추세에서 벗어날 수 있습니다. 이상치 4개를 추가한 생성형 회귀 데이터셋에서 HuberRegressor 적합을 수행하면, 해당 관측값의 영향을 받는 제곱 오차 기반 적합보다 주요 추세를 더 잘 따릅니다.

객체 탐지에서 Ross Girshick의 Fast R-CNN은 바운딩 박스 회귀에 단위 delta를 적용한 Huber 손실과 동일한 Smooth L1 손실을 사용합니다. 선형 꼬리 구간은 좌표 오차가 이상치일 때의 민감도를 낮춰, 그렇지 않을 경우 훈련 중 큰 그래디언트가 발생하는 문제를 줄입니다.

Ultralytics YOLO는 모델의 init_criterion() 메서드를 통해 사용자 지정 훈련 기준을 지원하며, Huber 기반 사용자 지정 회귀 목적 함수를 통합할 수 있는 지점을 제공합니다. 이러한 사용자 지정은 회귀 오차가 모델 업데이트에 반영되는 방식을 변경합니다.

Python에서 Huber 손실 사용하기#

PyTorch는 delta와 reduction을 설정할 수 있는 torch.nn.HuberLoss를 제공합니다. pip install torch으로 torch를 설치한 후 다음 계산을 수행하면 각 잔차의 기여도를 확인할 수 있습니다.

import torch

predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)

# 선형 꼬리 구간을 확인할 수 있도록 개별 손실을 유지합니다.
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()

print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())

출력은 [0.125, 1.5, 9.5]과 [0.25, 4.0, 100.0]이며, 잔차가 클 때 페널티 증가율이 낮아짐을 보여 줍니다. reduction="mean"를 사용하면 PyTorch가 모든 원소별 손실의 평균을 계산하고, "sum"을 사용하면 손실을 합산합니다.

Pseudo-Huber 손실은 매끄러운 전환과 연속적인 고차 도함수를 사용해 Huber 손실의 형태를 근사합니다. Smooth L1은 다른 스케일링 규약을 사용합니다. PyTorch에서는 beta이 delta와 같을 때 Huber 손실이 Smooth L1 손실에 delta를 곱한 값과 같으며, 두 임계값이 모두 1일 때 두 손실은 동일합니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요