ラベルスムージング

ラベル平滑化は、機械学習で広く用いられる正則化手法であり、モデルの汎化性能向上と過学習防止を目的とする。ニューラルネットワークを学習させる際、通常は予測値と真値の誤差を最小化することが目標となる。 しかし、モデルが予測に過度に自信を持ちすぎると（単一クラスに100%に近い確率を割り当てる）、頑健なパターンを学習する代わりに、 訓練データ内の特定のノイズを記憶し始める傾向があります。 この過学習と呼ばれる現象は、新規の未見データに対する性能を低下させる。ラベル平滑化は、モデルが絶対的な確信を持って予測することを抑制することでこの問題に対処する。本質的に、ネットワークに常にわずかな誤差の余地があることを伝えるのである。

ソフトターゲットのメカニズム

ラベル平滑化がどのように機能するかを理解するには、標準的な「ハード」ターゲットと比較すると理解しやすい。従来の 教師あり学習分類 ラベルは通常、以下のように表現される ワンホット符号化例えば、 猫と犬を区別するタスクでは、「犬」の画像のターゲットベクトルは [0, 1]これに完璧に一致させるため、モデルは内部スコア（いわゆる ロジット無限大へ向かうことで、不安定な勾配や適応不能を引き起こす可能性がある。

ラベル平滑化は、これらの厳密な1と0を「ソフト」なターゲットに置き換えます。ターゲット確率が 1.0正しいクラスが割り当てられる可能性があります 0.9残りの確率質量は (0.1誤ったクラス全体に均等に分散される。この微妙な変化は、目的関数を修正する。 損失関数例えば 交差エントロピー、防止する 活性化関数 （通常 ソフトマックス飽和状態から回避する。その結果、特徴空間においてより緊密なクラスクラスターを学習し、より優れた結果を生成するモデルが得られる。 モデル較正つまり、予測された 確率が正答の真の確率をより正確に反映していることを意味する。

実際のアプリケーション

この手法は、データの曖昧性が本質的に存在する領域や、データセットにラベル付けエラーが生じやすい領域において特に重要である。

• 医療診断： 医療分野におけるAIでは、臨床データが白黒はっきりしていることは稀である。例えば医療画像解析では、スキャン画像が疾患を強く示唆する特徴を示す場合でも、決定的な証拠とはならない。ハードラベルを用いた学習では、モデルはこの不確実性を無視せざるを得ない。 ラベル平滑化を適用することで、モデルは一定の懐疑心を保持する。これは過信が誤診につながる可能性のある意思決定支援システムにおいて極めて重要である。
• 大規模画像分類：大規模な公開データセット（例： ImageNet には、誤ってラベル付けされた画像や複数の有効なオブジェクトを含む画像が頻繁に含まれています。モデルがこれらのノイズの多い例を100%の確信度で適合しようとすると、誤った関連性を学習してしまいます。ラベル平滑化はラベルノイズに対する緩衝材として機能し、少数の不良データポイントが最終的なモデル重みを大きく歪めることを防ぎます。

Ultralyticsラベルスムージングの実装

現代の深層学習フレームワークは、この技術の適用を簡素化する。 ultralytics パッケージを使用すれば、ラベル平滑化をトレーニングパイプラインに簡単に組み込むことができます。 画像分類 検出タスク。これは、最先端モデルからさらなる性能を引き出すために行われることが多い。 YOLO26.

以下の例は、ラベルスムージングを有効にして分類モデルを学習させる方法を示しています：

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

関連概念との比較

ラベル平滑化を他の正則化手法と区別することは、 その使用タイミングを理解する上で有用である。

• ドロップアウト対ラベル平滑化： ドロップアウト層は学習中にニューロンをランダムに無効化し、ネットワークに冗長な表現を学習させる。 両者とも過学習を防ぐが、ドロップアウトはネットワーク構造を動的に変更するのに対し、 ラベル平滑化は最適化対象（ラベルそのもの）を変更する。
• 対 知識蒸留：両手法ともソフトターゲットを用いた学習を伴う。ただし知識蒸留では、ソフトターゲットは「教師」モデルから得られ、学習済み情報（例：「これは猫に10%似ている」）を含む。 対照的に、ラベル平滑化は数学的に導出された「情報を持たない」ソフトターゲットを使用する（例：「他の全てのクラスに均等に10%の確率を与える」）。
• 対 データ拡張： データ拡張戦略は入力データ（回転、トリミング、着色）を変更して多様性を高めます。ラベル平滑化は出力予測値を変更します。Ultralytics 包括的なトレーニングワークフローでは、最大精度を達成するために拡張、ドロップアウト、ラベル平滑化を組み合わせることがよくあります。

最終層における勾配消失問題を緩和し、モデルがより頑健な特徴を学習するよう促すことで、ラベル平滑化は現代の深層学習アーキテクチャにおいて依然として定番の手法である。