ラベルスムージング

ラベルスムージングは、特に分類タスクにおいて、機械学習モデルのトレーニング中に使用される正則化手法です。モデルが正しいクラスに1.0の確率を完全に割り当てるのを防ぐことで、モデルの過信の問題に対処します。ラベルスムージングは、「ハード」ラベル（正しいクラスが1で、その他すべてが0の場合）を使用する代わりに、「ソフト」ラベルを作成し、確率質のごく一部を他のクラスに分散します。これにより、モデルは予測に対する確信度が低くなり、汎化が向上し、未知のデータに対するパフォーマンスが向上します。この手法は、高性能モデルで特に使用されており、When Does Label Smoothing Help?のような論文で詳しく説明されています。

ラベルスムージングの仕組み

一般的な教師あり学習の分類問題では、トレーニングデータは入力とそれに対応する正解ラベルで構成されます。例えば、画像分類タスクでは、猫の画像には、クラス[猫、犬、鳥]に対して、例えば、one-hotエンコードされたベクトルとして表現される「猫」というラベルが付けられます。損失関数を計算する際、モデルの予測がこのハードターゲットからどれだけ離れているかに基づいてペナルティが課されます。

ラベルスムージングは、このターゲットを変更します。正しいクラスのターゲット確率をわずかに減らし（たとえば、0.9に）、残りの小さな確率（この場合は0.1）を誤ったクラスに均等に分散します。したがって、新しい「ソフト」ターゲットは[0.9、0.05、0.05]のようになる可能性があります。この小さな変更により、ニューラルネットワークの最後のロジットレイヤーが1つのクラスに対して非常に大きな値を生成することを抑制し、過学習を防ぐのに役立ちます。このプロセスは、Ultralytics HUBのようなプラットフォームを使用してモデルのトレーニング中に管理できます。

ラベルスムージングの利点

ラベルスムージングの主な利点は、モデルのキャリブレーションが向上することです。適切にキャリブレーションされたモデルの予測信頼度スコアは、正しさの真の確率をより正確に反映します。これは、医用画像解析など、モデルの確実性を理解することが重要なアプリケーションにとって非常に重要です。過信を防ぐことで、新しいデータへのモデルの汎化能力も向上します。これは、すべての機械学習プロジェクトの重要な目標です。多くの場合、これにより精度がわずかに向上します。汎化能力が向上すると、リアルタイム推論と最終的なモデルのデプロイのための、より堅牢なモデルにつながります。

実際のアプリケーション

ラベルスムージングは、さまざまな最先端モデルに適用されるシンプルでありながら効果的な手法です。

1. 大規模画像分類: ImageNetのような大規模なデータセットで画像分類タスクのためにトレーニングされたUltralytics YOLOのようなモデルは、多くの場合、ラベルスムージングを使用します。これらのデータセットには、データラベリングプロセスからのノイズの多いラベルや不正確なラベルが含まれている場合があります。ラベルスムージングは、モデルが潜在的に間違ったラベルについて過度に自信を持つことを防ぎ、このラベルノイズに対してモデルをより堅牢にします。プロジェクト用のさまざまな分類データセットを調べることができます。
2. 自然言語処理（NLP）: 機械翻訳のようなタスクでは、1つのフレーズに対して複数の有効な翻訳が存在する可能性があります。Transformerのようなモデルで使用されるラベルスムージングは、モデルが語彙内の単一の正しい単語に1.0の確率を割り当てるのを抑制し、他の単語も適切である可能性があることを認識します。この概念は現代のNLPの基礎であり、スタンフォードNLPグループのような機関のリソースで議論されています。

ラベルスムージングと関連概念

ラベルスムージングを他の正則化手法と区別することが重要です。

• ハードラベル: これは、モデルが絶対的な確実性（正しいクラスの場合は100％）でトレーニングされる標準的なアプローチです。ラベルスムージングは、これに代わる直接的な方法です。
• データ拡張: これは、既存のデータに変換を適用して新しいトレーニング例を作成する、別の正則化手法です。データセットの多様性を高めます。一方、ラベルスムージングは、ターゲット値自体を変更します。Ultralyticsドキュメント内のYOLOデータ拡張に関するガイドをご覧ください。
• Dropout: この手法は、複雑な共適応を防ぐために、各学習ステップ中にニューロンの一部をランダムに非アクティブ化します。ラベルスムージングが損失計算を変更するのに対し、Dropoutは学習中にモデルのアーキテクチャを変更します。Dropoutの詳細については、GeeksforGeeksの記事をご覧ください。
• 知識蒸留: この手法では、より大きな、事前トレーニング済みの「教師」モデルによって生成されたソフトラベルを使用して、より小さな「生徒」モデルがトレーニングされます。ソフトラベルも使用しますが、これらのラベルのソースは、ラベルスムージングのようにグラウンドトゥルースラベルに適用される単純なヒューリスティックではなく、別のモデルの予測です。元のニューラルネットワークの知識の蒸留に関する論文は、この概念の基本的な理解を提供します。