Huber Loss
Huber 손실은 제곱 오차와 절대 오차를 결합하여 회귀에서 이상치의 영향을 줄이며, 조정 가능한 델타 임계값과 Python 구현을 제공합니다.
Huber 손실은 작은 예측 오차에는 제곱 페널티를, 큰 오차에는 선형 페널티를 적용하는 회귀 손실 함수입니다. 모델이 정답에 가까운 구간에서는 매끄러운 목적 함수를 제공하면서, 유난히 큰 오차의 영향은 줄여 줍니다. 따라서 대부분의 훈련 예제가 일관된 패턴을 따르지만 일부 예제에 극단적인 편차가 포함된 경우 유용합니다.
Peter J. Huber는 1964년 논문 위치 모수의 강건 추정에서 이 함수를 소개했습니다. 이 함수는 이상치에 덜 민감한 예측을 하는 모델을 적합하는 강건 추정의 기본 도구로 여전히 사용됩니다.
Huber 손실의 작동 방식#
잔차는 예측값에서 타깃값을 뺀 값입니다. Huber 손실은 잔차가 목적 함수에 기여하는 방식을 결정하기 위해 delta라는 양의 임계값을 사용합니다.
- 작은 잔차: 절대 잔차가 delta 이하이면 손실은 잔차 제곱의 절반입니다.
- 큰 잔차: 잔차가 delta를 초과하면 손실은 delta x (절대 잔차 - 0.5 x delta)입니다.
두 구간은 같은 함수값과 기울기로 이어집니다. 역전파 중 예측값에 대한 미분값은 이차 구간에서는 잔차와 같고, 그 구간을 벗어나면 크기가 delta로 제한됩니다. 따라서 잔차가 커져도 예측 그래디언트가 계속 커지지 않습니다. 선형 꼬리 구간은 극단적인 오차가 나머지 관측값에서 적합 결과를 크게 벗어나게 하는 정도를 제한합니다.
Delta 선택 및 손실 함수 비교#
평균 제곱 오차(MSE)는 잔차 제곱의 평균을 계산하여 큰 오차를 강하게 반영합니다. 평균 절대 오차(MAE)는 원소별로 적용할 때 L1 손실이라고도 하며, 모든 구간에서 절대 잔차를 사용하고 0에서 뾰족한 모서리를 갖습니다. Huber 손실은 0 주변에서 이차 동작을, 양 끝 구간에서 선형 동작을 결합하여 경사 하강법에 사용할 수 있는 연속 미분 가능한 목적 함수를 제공합니다.
delta가 클수록 제곱 오차 구간이 넓어집니다. delta가 작을수록 더 많은 잔차가 이상치에 강한 선형 구간에 포함되며 해당 구간의 기울기는 낮아집니다. delta는 잔차와 같은 단위를 사용하므로 타깃 정규화에 따라 그 의미가 달라집니다. 타깃의 단위를 미터에서 센티미터로 변환할 때 데이터에 대한 동일한 전환 지점을 유지하려면 delta에 100을 곱해야 합니다.
delta 선택은 하이퍼파라미터 튜닝 문제입니다. 후보값은 사용할 회귀 지표를 기준으로 검증 데이터에서 비교합니다. Huber 손실은 연속값 예측에 적합하며, 교차 엔트로피 손실과 힌지 손실은 분류 목적에 사용됩니다.
회귀 및 컴퓨터 비전 분야의 응용#
선형 회귀에서는 극단적인 관측값 때문에 제곱 오차 기반 적합 결과가 주요 데이터 추세에서 벗어날 수 있습니다. 이상치 4개를 추가한 생성형 회귀 데이터셋에서 HuberRegressor 적합을 수행하면, 해당 관측값의 영향을 받는 제곱 오차 기반 적합보다 주요 추세를 더 잘 따릅니다.
객체 탐지에서 Ross Girshick의 Fast R-CNN은 바운딩 박스 회귀에 단위 delta를 적용한 Huber 손실과 동일한 Smooth L1 손실을 사용합니다. 선형 꼬리 구간은 좌표 오차가 이상치일 때의 민감도를 낮춰, 그렇지 않을 경우 훈련 중 큰 그래디언트가 발생하는 문제를 줄입니다.
Ultralytics YOLO는 모델의 init_criterion() 메서드를 통해 사용자 지정 훈련 기준을 지원하며, Huber 기반 사용자 지정 회귀 목적 함수를 통합할 수 있는 지점을 제공합니다. 이러한 사용자 지정은 회귀 오차가 모델 업데이트에 반영되는 방식을 변경합니다.
Python에서 Huber 손실 사용하기#
PyTorch는 delta와 reduction을 설정할 수 있는 torch.nn.HuberLoss를 제공합니다. pip install torch으로 torch를 설치한 후 다음 계산을 수행하면 각 잔차의 기여도를 확인할 수 있습니다.
import torch
predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)
# 선형 꼬리 구간을 확인할 수 있도록 개별 손실을 유지합니다.
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()
print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())출력은 [0.125, 1.5, 9.5]과 [0.25, 4.0, 100.0]이며, 잔차가 클 때 페널티 증가율이 낮아짐을 보여 줍니다. reduction="mean"를 사용하면 PyTorch가 모든 원소별 손실의 평균을 계산하고, "sum"을 사용하면 손실을 합산합니다.
Pseudo-Huber 손실은 매끄러운 전환과 연속적인 고차 도함수를 사용해 Huber 손실의 형태를 근사합니다. Smooth L1은 다른 스케일링 규약을 사용합니다. PyTorch에서는 beta이 delta와 같을 때 Huber 손실이 Smooth L1 손실에 delta를 곱한 값과 같으며, 두 임계값이 모두 1일 때 두 손실은 동일합니다.










