Label Smoothing

ラベルスムージングは、モデルの汎化性能を向上させ、過剰適合を防ぐために機械学習で広く使用されている正則化テクニックです。ニューラルネットワークのトレーニングにおいて、目標は通常、予測とグランド真値の間の誤差を最小化することです。しかし、モデルが予測に対して過度の自信を持つようになり、単一のクラスにほぼ100%の確率を割り当てると、頑健なパターンを学習するのではなく、トレーニングデータ内の特定のノイズを記憶し始めることがよくあります。過剰適合として知られるこの現象は、新しい未知のサンプルに対するパフォーマンスを低下させます。ラベルスムージングは、モデルが絶対的な確実性を持って予測することを抑制することでこれに対処し、ネットワークに対してエラーの余地が常にわずかに存在することを本質的に伝えます。

ソフトターゲットのメカニズム#

ラベルスムージングがどのように機能するのかを理解するために、標準的な「ハード」ターゲットと比較すると役立ちます。従来の教師あり学習では、分類ラベルは通常ワンホットエンコーディングを介して表現されます。例えば、猫と犬を区別するタスクでは、「犬」の画像には [0, 1] のターゲットベクトルが割り当てられます。これを完全に一致させるために、モデルはロジットとして知られる内部スコアを無限大に向かって押し上げます。これにより、不安定な勾配や適応能力の欠如につながる可能性があります。

ラベルスムージングは、これらの厳格な1と0を「ソフト」ターゲットに置き換えます。1.0 のターゲット確率の代わりに、正しいクラスには 0.9 が割り当てられ、残りの確率質量（0.1）は不正解のクラス全体に均等に分散されます。この微妙な変化により、クロスエントロピーなどの損失関数の目的が変更され、活性化関数（通常はSoftmax）が飽和するのを防ぎます。その結果、モデルは特徴空間内でクラスのよりタイトなクラスタを学習し、より優れたモデル較正を生み出します。つまり、予測された確率が正解の真の尤度をより正確に反映するようになります。

実社会での応用#

この手法は、データの曖昧さが内在しているドメインや、データセットにラベル付けの誤りが含まれやすい分野において特に重要です。

• 医療診断: ヘルスケアにおけるAIの分野では、臨床データが白黒はっきりしていることはめったにありません。たとえば、医用画像解析において、スキャン画像には疾患を強く示唆するものの決定的ではない特徴が見られる場合があります。ハードラベルでトレーニングを行うと、モデルはこの不確実性を無視せざるを得なくなります。ラベルスムージングを適用することで、モデルは一定の懐疑的な姿勢を維持します。これは、過剰な自信が誤診につながる可能性がある意思決定支援システムにおいて極めて重要です。
• 大規模画像分類: ImageNetのような大規模なパブリックデータセットには、ラベル付けが誤っている画像や、複数の有効なオブジェクトが含まれている画像がしばしば含まれます。モデルが100%の信頼度でこれらのノイズの多いサンプルに適合しようとすると、誤った関連付けを学習してしまいます。ラベルスムージングはラベルノイズに対するバッファとして機能し、少数の不良データポイントが最終的なモデルの重みを大幅に歪めないようにします。

Ultralyticsでラベルスムージングを実装する#

現代のディープラーニングフレームワークにより、このテクニックの適用が簡素化されています。ultralytics パッケージを使用すると、画像分類または検出タスクのトレーニングパイプラインにラベルスムージングを簡単に統合できます。これは多くの場合、YOLO26のような最先端モデルから追加のパフォーマンスを引き出すために行われます。

以下の例は、ラベルスムージングを有効にして分類モデルを学習させる方法を示しています：

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

関連概念との比較#

いつ使用すべきかを理解するために、ラベルスムージングを他の正則化戦略と区別することは役立ちます。

• vs. ドロップアウト: ドロップアウト層は、ネットワークに冗長な表現を学習させるために、トレーニング中にニューロンをランダムに非アクティブ化します。どちらも過剰適合を防ぎますが、ドロップアウトがネットワークアーキテクチャを動的に変更するのに対し、ラベルスムージングは最適化ターゲット（ラベル自体）を変更します。
• vs. 知識蒸留: どちらのテクニックもソフトターゲットでのトレーニングを伴います。しかし、知識蒸留では、ソフトターゲットは「教師」モデルから提供され、学習された情報（例：「これは猫に10%似ている」）が含まれます。対照的に、ラベルスムージングは数学的に導出された「情報量の少ない」ソフトターゲットを使用します（例：「他のすべてのクラスに10%の確率を均等に与える」）。
• vs. データ拡張: データ拡張の戦略は、多様性を高めるために入力データ（回転、クロッピング、色調調整）を変更します。ラベルスムージングは出力の期待値を変更します。Ultralytics Platformでの包括的なトレーニングワークフローでは、最大の精度を達成するために、拡張、ドロップアウト、およびラベルスムージングが組み合わされることがよくあります。

最終層における勾配消失の問題を軽減し、モデルにより頑健な特徴を学習するよう促すことで、ラベルスムージングは現代のディープラーニングアーキテクチャにおいて不可欠な要素であり続けています。