ラベルスムージング

ラベルスムージングは、機械学習モデルの学習中に使用される正則化のテクニックで、ニューラルネットワークが予測を過信するのを防ぐために使用される。 ニューラル・ネットワークが予測に過信するのを防ぐためである。ターゲットラベルをわずかに修正することで、この手法は モデルが極端な確率分布を生成しないようにすることで、最終的に汎化が改善され、未経験のモデルでのパフォーマンスが向上します。 般化を促し、未知のデータに対するパフォーマンスを向上させる。この方法は、一般的な問題である オーバーフィッティングの一般的な問題を効果的に緩和する。 モデルが学習データを記憶するのではなく オーバーフィッティングの一般的な問題を効果的に軽減します。

レーベル・スムージングのメカニズム

画像分類などの標準的な教師あり学習タスクでは 画像分類のような標準的な教師あり学習タスクでは、モデルは通常「ハード」ターゲットを使って学習される。これらのターゲットは、1ホットの符号化された ベクトルであり、正しいクラスには1.0（100%）の確率が割り当てられ、すべての間違ったクラスには0.0が割り当てられる。 これは直感的なように見えますが 損失関数（多くの場合Cross-Entropy Loss）は、ロジット層の出力を ロジット層の出力を無限大に追い込むことになります。 ちょうど1.0を達成するためにロジット層の出力を無限大に追いやることになります。この動作は、間違っているときでさえも過度に自信に満ちたモデルになり、次のような結果をもたらします。 新しい入力に適応する能力が低下する。

ラベルスムージングは、これらのハードターゲットを "ソフト "ターゲットに置き換える。グランドトゥルースに1.0を割り当てる代わりに に1.0を割り当てる代わりに、0.9のようなわずかに低い値を割り当てる。残りの確率質量（例えば0.1）は、不正確なクラス全体に一様に分布する。 不正確なクラスに一様に分布する。この微妙なシフトにより 活性化関数、典型的には ソフトマックス）が飽和するのを防ぐ。より深い理論的 研究論文"Rethinking the Inception Architecture for Computer Vision"は、このメカニズムがどのように学習を安定させるかについての基礎的な洞察を提供している。

Ultralyticsラベルスムージングの実装

最新のコンピュータービジョンのフレームワークを使えば、このテクニックを適用するのは簡単だ。を使用する場合 Ultralytics YOLO11 モデルを使用する場合、学習引数の中で直接ラベルの平滑化 を有効にすることができます。これは これは、データセットに曖昧さが含まれる分類タスクに特に有効です。

次の例は、ラベル・スムージングを適用したモデルの学習方法を示している：

from ultralytics import YOLO

# Load the YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Train on a dataset with label smoothing set to 0.1
# This distributes 10% of the probability mass to incorrect classes
model.train(data="mnist", epochs=5, label_smoothing=0.1)

モデルのキャリブレーションとロバストネスにおける利点

ラベルスムージングの主な利点のひとつは、モデルの較正が改善されることである。 モデル・キャリブレーションの改善である。よく較正されたモデル は、本質的に正しさの真の尤度を反映した予測確率を生成する。例えば、あるモデルが が70%の信頼度でクラスを予測する場合、それは 70％の確率で正しい。ハード・ラベルは、実際の不確実性に関係なく99%の信頼度で予測する較正されていないモデルにつながることがよくあります。 実際の不確実性に関係なく。

さらに、ラベルの平滑化は、ノイズの多いデータに対するロバスト性を高める。 を向上させる。例えば ImageNetのような巨大なデータセットでは、一部のラベルが不正確であったり曖昧であったりする可能性がある。そのため モデルを正確に1.0に収束させることを強制しないことで、ネットワークは、時折発生する誤ったラベル付け例に対してより寛容になる ニューラルネットワークが誤ったパターンを深く学習するのを防ぐ。 が誤ったパターンを深く学習するのを防ぐ。

実際のアプリケーション

この正則化戦略は、人工知能の様々な領域で広く採用されている。 信頼性を高めるために 信頼性を向上させます。

• 医用画像解析：医療AIソリューション ヘルスケアAIソリューションでは、不確実性がつきものです。 内在する。スキャン画像は、確定的ではない腫瘍の特徴を示すかもしれない。ラベルスムージングは 医療画像解析モデルは 放射線科医を支援する。 放射線科医を支援します。
• 自然言語処理（NLP）:機械翻訳のようなタスクでは 機械翻訳のようなタスクでは、複数の単語が 複数の単語が1つの原語に対して有効な翻訳として機能することがあります。ラベルスムージングは、モデルが有効な同義語にゼロの確率を割り当てないようにすることで、この曖昧さを認識します。 において重要な概念である。 変換器と 大規模言語モデル。

関連概念との比較

ラベルスムージングを、モデルの性能を向上させるために使用される他の技法と区別することは有益である。

• 対データ拡張：一方 データ補強：データ補強が入力データ (ラベル平滑化はターゲットラベルを修正する。どちらも のようなロバストモデルを訓練するために同時に使用することができる。 YOLO26のようなロバストモデルを学習するために同時に使用することができる。
• 対知識蒸留：知識蒸留では 知識蒸留では、生徒モデル は教師モデルの「ソフト」予測から学習する。ソフトターゲットが一様で発見的であるラベルスムージングとは異なり、蒸留は学習された確率を使用します。 ディスティレーションでは、クラス間の関係に関する情報を含む学習された確率を使用します。 例えば、"dog "は "car "よりも "cat "に似ている。
• 対ドロップアウトドロップアウト層は ドロップアウト層は、訓練中にニューロンをランダムに不活性化する。 をランダムに停止させる。これによってネットワーク・アーキテクチャが動的に変化する。 最適化の目的を変更する。ドロップアウトの詳細については、この Journal of Machine Learning Researchに掲載されている。

ラベルスムージングをトレーニングパイプラインに統合することで、モデルの適応性とキャリブレーションを維持することができます。 を維持することができます。 モデルの実 に不可欠です。