ラベルスムージング

ラベル平滑化は、モデルの汎化性能を向上させ、過学習を防ぐために機械学習で広く使用されている正則化手法です。ニューラルネットワークを訓練する際、目標は通常、予測と正解の間の誤差を最小限に抑えることです。しかし、モデルがその予測に過度に自信を持ち（単一のクラスにほぼ100%の確率を割り当てる）、堅牢なパターンを学習するのではなく、訓練データ内の特定のノイズを記憶し始めることがよくあります。過学習として知られるこの現象は、新しい、未知の例に対する性能を低下させます。ラベル平滑化は、モデルが絶対的な確信を持って予測することを抑制することでこれに対処し、本質的に、ネットワークに常に小さな誤差の余地があることを伝えます。

ソフトターゲットの仕組み

ラベル平滑化がどのように機能するかを理解するためには、標準的な「ハード」ターゲットと比較することが役立ちます。従来の 教師あり学習では、分類ラベルは通常、 ワンホットエンコーディング。例えば、猫と犬を区別するタスクでは、「犬」の画像はターゲットベクトルが [0, 1]。これを完全に一致させるために、モデルは内部スコアを、として出力します。 ロジット、無限大に向かって発散し、不安定な勾配と適応能力の喪失につながる可能性があります。

ラベルスムージングは、これらの厳密な1と0を「ソフト」ターゲットに置き換えます。目標確率が 1.0, 正しいクラスが割り当てられる可能性があります 0.9残りの確率質量（0.1) は、誤ったクラス全体に均一に分布されます。この微妙な変更は、 損失関数, など 交差エントロピーを防ぎます。 活性化関数 (通常 ソフトマックス) が飽和するのを防ぎます。その結果、特徴空間でより密なクラスのクラスタを学習し、より優れた結果を生み出すモデルとなります。 モデルキャリブレーションは、予測された確率が正しさの真の可能性をより正確に反映していることを意味します。

実際のアプリケーション

この技術は、データの曖昧さが本質的に存在したり、データセットがラベリングエラーを起こしやすいドメインにおいて特に重要です。

• 医療診断: ヘルスケアAIの分野では、臨床データはめったに白黒はっきりしません。 例えば、医用画像解析では、スキャンが疾患を強く示唆する特徴を示すものの、決定的ではない場合があります。 ハードラベルで学習すると、モデルはこの不確実性を無視してしまいます。ラベルスムージングを適用することで、モデルは一定の懐疑心を保持し、過信が誤診につながる可能性のある意思決定支援システムにとって不可欠です。
• 大規模画像分類: ImageNetのような大規模な公開データセットには、誤ってラベル付けされた画像や複数の有効なオブジェクトを含む画像がしばしば含まれています。モデルがこれらのノイズの多い例を100%のconfidenceで適合させようとすると、誤った関連付けを学習してしまいます。ラベル平滑化はラベルノイズに対するバッファとして機能し、少数の不良データポイントが最終的なモデルウェイトを大幅に歪めないようにします。

Ultralyticsラベルスムージングの実装

現代の深層学習フレームワークは、この手法の適用を簡素化します。を使用して、 ultralytics パッケージでは、〜のためのトレーニングパイプラインにラベル平滑化を簡単に統合できます。 画像分類 またはdetectタスク。これは、最先端モデルからさらなる性能を引き出すためによく行われます。 YOLO26.

以下の例は、ラベルスムージングを有効にして分類モデルをトレーニングする方法を示しています。

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

関連概念との比較

ラベルスムージングを他の正則化戦略と区別することは、いつそれを使用すべきかを理解する上で役立ちます。

• vs. ドロップアウト: ドロップアウト層は、訓練中にニューロンをランダムに非活性化し、ネットワークに冗長な表現を学習させます。どちらも過学習を防ぎますが、ドロップアウトはネットワークアーキテクチャを動的に変更するのに対し、ラベル平滑化は最適化ターゲット（ラベル自体）を変更します。
• vs. 知識蒸留: どちらの技術もソフトターゲットでの学習を伴います。しかし、知識蒸留では、ソフトターゲットは「教師」モデルから得られ、学習された情報 (例: 「これは10%猫のように見える」) を含みます。対照的に、ラベルスムージングは数学的に導出された「情報量の少ない」ソフトターゲット (例: 「他のすべてのクラスに等しく10%の確率を与える」) を使用します。
• vs. データ拡張: データ拡張の戦略は、入力データ（回転、クロップ、色付け）を変更して多様性を高めます。ラベル平滑化は出力期待値を変更します。Ultralytics Platformにおける包括的な訓練ワークフローは、最高の精度を達成するために、拡張、ドロップアウト、およびラベル平滑化を組み合わせることがよくあります。

最終層における勾配消失問題を軽減し、モデルがより堅牢な特徴を学習するように促すことで、ラベルスムージングは現代のディープラーニングアーキテクチャにおいて不可欠な要素であり続けています。