YOLOのライセンス
Ultralytics用語集に戻る

Huber Loss

Huber損失は、二乗誤差と絶対誤差を組み合わせて回帰における外れ値の影響を抑え、調整可能なデルタしきい値とPython実装を備えています。

Huber損失は、小さな予測誤差には二次的に、大きな誤差には線形にペナルティを与える回帰用の損失関数です。正解に近い領域では滑らかな目的関数をモデルに提供しながら、特に大きな誤差の影響を抑えます。そのため、ほとんどの学習例が一貫したパターンに従う一方で、一部に極端な逸脱が含まれる場合に有効です。

Peter J. Huberは、1964年の論文位置パラメーターのロバスト推定でこの関数を提唱しました。外れ値の影響を受けにくい予測を行うモデルをフィッティングするロバスト推定の基礎的な手法として、現在も使われています。

Huber損失の仕組み#

残差とは、予測値から目標値を引いた値です。Huber損失は、残差が目的関数に与える影響を決めるために、デルタと呼ばれる正のしきい値を使用します。

  • 小さな残差: 絶対残差がデルタ以下の場合、損失は残差の二乗の半分です。
  • 大きな残差: デルタを超える場合、損失はデルタ ×(絶対残差 - 0.5 × デルタ)です。

2つの領域は、同じ値と傾きで接続します。逆伝播時、予測値に対する微分は二次領域内では残差と等しく、それ以外ではその大きさがデルタに制限されます。その結果、残差が大きくなっても、予測勾配がさらに大きくなることはありません。線形部分によって、極端な誤差が残りの観測値からフィッティング結果を大きく引き離すことを抑えます。

デルタの選び方と損失の比較#

平均二乗誤差(MSE)は残差の二乗を平均し、大きな誤差を強く重視します。平均絶対誤差(MAE)は、要素ごとに適用する場合はL1損失とも呼ばれ、常に絶対残差を使い、ゼロで鋭い折れ曲がりを持ちます。Huber損失は、ゼロ付近では二次的に、それ以外では線形に振る舞うため、連続微分可能な勾配降下法の目的関数を提供します。

デルタを大きくすると、二乗誤差の領域が広がります。デルタを小さくすると、より多くの残差が外れ値に強い線形領域に入り、その傾きが小さくなります。デルタの単位は残差と同じなので、目標値の正規化によって意味が変わります。目標値の単位をメートルからセンチメートルに変換する場合、データに対する同じ遷移を保つにはデルタに100を掛ける必要があります。

デルタの選択はハイパーパラメーター調整の問題です。候補値は、目的とする回帰指標を使って検証データ上で比較します。Huber損失は連続値の予測に適しており、交差エントロピー損失とヒンジ損失は分類の目的に使用されます。

回帰とコンピュータービジョンでの応用#

線形回帰では、極端な観測値によって、二乗誤差を使ったフィッティング結果がデータ全体の主要な傾向から引き離されることがあります。4つの外れ値を追加した生成回帰データセットにHuberRegressorを適用した結果は、それらの観測値の影響を受ける二乗誤差によるフィッティングよりも、主要な傾向をよく捉えます。

物体検出では、Ross GirshickのFast R-CNNが、バウンディングボックス回帰にSmooth L1損失を使用します。これはデルタが1のHuber損失と同等です。線形部分によって、外れ値となる座標誤差への感度が下がります。こうした誤差は、そうでなければ学習中に大きな勾配を生みます。

Ultralytics YOLOは、モデルのinit_criterion()メソッドを通じてカスタム学習基準をサポートしており、Huberベースのカスタム回帰目的関数を統合できます。このようなカスタマイズにより、回帰誤差がモデルの更新に与える影響が変わります。

PythonでのHuber損失#

PyTorchは、デルタとリダクションを設定できるtorch.nn.HuberLossを提供します。pip install torchでtorchをインストールした後、次の計算で各残差の寄与を確認できます。

import torch

predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)

# 線形部分を確認できるように、個々の損失を保持します。
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()

print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())

出力は[0.125, 1.5, 9.5]と[0.25, 4.0, 100.0]です。これは、大きな残差に対するペナルティの増加が抑えられることを示しています。reduction="mean"ではPyTorchが要素ごとの損失をすべて平均し、"sum"では合計します。

擬似Huber損失は、滑らかな遷移と連続する高階導関数を持ち、Huber損失の形状を近似します。Smooth L1では異なるスケーリング規約を使います。PyTorchでは、betaとdeltaが等しい場合、Huber損失はSmooth L1損失にデルタを掛けた値と等しくなります。両方のしきい値が1の場合、両者は同じです。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう