Huber Loss
Huber損失は、二乗誤差と絶対誤差を組み合わせて回帰における外れ値の影響を抑え、調整可能なデルタしきい値とPython実装を備えています。
Huber損失は、小さな予測誤差には二次的に、大きな誤差には線形にペナルティを与える回帰用の損失関数です。正解に近い領域では滑らかな目的関数をモデルに提供しながら、特に大きな誤差の影響を抑えます。そのため、ほとんどの学習例が一貫したパターンに従う一方で、一部に極端な逸脱が含まれる場合に有効です。
Peter J. Huberは、1964年の論文位置パラメーターのロバスト推定でこの関数を提唱しました。外れ値の影響を受けにくい予測を行うモデルをフィッティングするロバスト推定の基礎的な手法として、現在も使われています。
Huber損失の仕組み#
残差とは、予測値から目標値を引いた値です。Huber損失は、残差が目的関数に与える影響を決めるために、デルタと呼ばれる正のしきい値を使用します。
- 小さな残差: 絶対残差がデルタ以下の場合、損失は残差の二乗の半分です。
- 大きな残差: デルタを超える場合、損失はデルタ ×(絶対残差 - 0.5 × デルタ)です。
2つの領域は、同じ値と傾きで接続します。逆伝播時、予測値に対する微分は二次領域内では残差と等しく、それ以外ではその大きさがデルタに制限されます。その結果、残差が大きくなっても、予測勾配がさらに大きくなることはありません。線形部分によって、極端な誤差が残りの観測値からフィッティング結果を大きく引き離すことを抑えます。
デルタの選び方と損失の比較#
平均二乗誤差(MSE)は残差の二乗を平均し、大きな誤差を強く重視します。平均絶対誤差(MAE)は、要素ごとに適用する場合はL1損失とも呼ばれ、常に絶対残差を使い、ゼロで鋭い折れ曲がりを持ちます。Huber損失は、ゼロ付近では二次的に、それ以外では線形に振る舞うため、連続微分可能な勾配降下法の目的関数を提供します。
デルタを大きくすると、二乗誤差の領域が広がります。デルタを小さくすると、より多くの残差が外れ値に強い線形領域に入り、その傾きが小さくなります。デルタの単位は残差と同じなので、目標値の正規化によって意味が変わります。目標値の単位をメートルからセンチメートルに変換する場合、データに対する同じ遷移を保つにはデルタに100を掛ける必要があります。
デルタの選択はハイパーパラメーター調整の問題です。候補値は、目的とする回帰指標を使って検証データ上で比較します。Huber損失は連続値の予測に適しており、交差エントロピー損失とヒンジ損失は分類の目的に使用されます。
回帰とコンピュータービジョンでの応用#
線形回帰では、極端な観測値によって、二乗誤差を使ったフィッティング結果がデータ全体の主要な傾向から引き離されることがあります。4つの外れ値を追加した生成回帰データセットにHuberRegressorを適用した結果は、それらの観測値の影響を受ける二乗誤差によるフィッティングよりも、主要な傾向をよく捉えます。
物体検出では、Ross GirshickのFast R-CNNが、バウンディングボックス回帰にSmooth L1損失を使用します。これはデルタが1のHuber損失と同等です。線形部分によって、外れ値となる座標誤差への感度が下がります。こうした誤差は、そうでなければ学習中に大きな勾配を生みます。
Ultralytics YOLOは、モデルのinit_criterion()メソッドを通じてカスタム学習基準をサポートしており、Huberベースのカスタム回帰目的関数を統合できます。このようなカスタマイズにより、回帰誤差がモデルの更新に与える影響が変わります。
PythonでのHuber損失#
PyTorchは、デルタとリダクションを設定できるtorch.nn.HuberLossを提供します。pip install torchでtorchをインストールした後、次の計算で各残差の寄与を確認できます。
import torch
predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)
# 線形部分を確認できるように、個々の損失を保持します。
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()
print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())出力は[0.125, 1.5, 9.5]と[0.25, 4.0, 100.0]です。これは、大きな残差に対するペナルティの増加が抑えられることを示しています。reduction="mean"ではPyTorchが要素ごとの損失をすべて平均し、"sum"では合計します。
擬似Huber損失は、滑らかな遷移と連続する高階導関数を持ち、Huber損失の形状を近似します。Smooth L1では異なるスケーリング規約を使います。PyTorchでは、betaとdeltaが等しい場合、Huber損失はSmooth L1損失にデルタを掛けた値と等しくなります。両方のしきい値が1の場合、両者は同じです。










