正則化

正則化は 機械学習 機械学習(ML)における重要な戦略である。その主な目的は オーバーフィッティングを防ぐことである。 モデルが学習データのノイズや特定の モデルが学習データのノイズや特定の詳細を学習してしまい、有効な入力に対するパフォーマンスが低下してしまう一般的な現象である。 オーバーフィッティングを防ぐことである。多くの場合、損失関数にペナルティ項を追加する形で、追加的な情報や制約を導入することで、正則化はモデルの性能を低下させる。 正則化は、モデルが過度に複雑になることを抑制する。 が過度に複雑になるのを防ぐ。その結果、よりロバストなシステムが構築され、訓練時と有効入力時の両方で高い精度が維持される。 学習データと検証データの両方で より頑健なシステムとなる。

一般的な正則化手法

正則化を適用する方法はいくつか確立されており、それぞれモデルの複雑さの異なる側面を対象としている。 とトレーニングダイナミクスの

• L1およびL2正則化:これらは最も伝統的な方法です。L1正則化（Lasso）は、係数の絶対値に等しいペナルティを追加します。 係数の絶対値に等しいペナルティを加えることで、いくつかの重みをゼロにし、効果的に特徴選択を行います。L2正則化 (Ridge)は、ディープラーニング(DL)で広く使用されている。 係数の大きさの2乗に等しいペナルティを追加し、より小さく、より拡散した モデルの重みを小さくする。
• ドロップアウト層:特にニューラルネットワーク(NN)用に設計された ニューラル・ネットワーク（NN）のために特別に設計された。 ニューロンの一部を不活性化する。これにより、ネットワークは冗長 ネットワークに冗長な表現を学習させ、特定のニューロン経路への依存を防ぐ。 ドロップアウトの原著論文で詳述されている概念である。
• データ拡張:モデル・アーキテクチャを修正する代わりに、既存の画像やデータ・ポイントを修正したものを作成し、トレーニング・セットを拡張する。 既存の画像やデータポイントの修正版を作成することで学習セットを拡張する。回転、拡大縮小、反転などの変換を行うことで、モデル を不変にするのに役立ちます。以下はその例です。 YOLO データ拡張テクニックをご覧ください。 をご覧ください。
• アーリーストッピング:この実用的なアプローチでは、トレーニング中に検証セットでモデルのパフォーマンスを監視する。もし バリデーションの損失が改善されなくなったり、増加し始めたりした場合 を直ちに停止する。これにより モデルがトレーニングの後半でノイズを学習し続けることを防ぐ。
• ラベルの平滑化:このテクニックは、モデルが100%の信頼度（例えば1.0の確率）で予測することを強制されないように、トレーニング中にターゲット・ラベルを調整する。 例えば、1.0の確率）で予測することを強いられないようにする。ターゲットを柔らかくする（例えば0.9）ことで、ラベルスムージングはネットワークが過信するのを防ぐ。 が過信するのを防ぐ。 画像分類のようなタスクに有益である。

Python正則化を実装する

Ultralytics ような最新のライブラリを使えば、トレーニング引数を使ってこれらのテクニックを簡単に適用できる。以下の を訓練する方法を示します。 YOLO11 モデル をL2正則化したモデルである。 weight_decay)およびドロップアウトを使用して、ロバストなモデルを確保する。

from ultralytics import YOLO

# Load a pre-trained YOLO11 model
model = YOLO("yolo11n.pt")

# Train the model with specific regularization parameters
# 'weight_decay' applies L2 regularization
# 'dropout' applies a dropout layer with a 10% probability
results = model.train(data="coco8.yaml", epochs=50, weight_decay=0.0005, dropout=0.1)

実際のアプリケーション

正則化は、さまざまな業界で信頼性の高いAIシステムを展開する上で不可欠である。

1. 自律走行：自動車 車載ソリューションのためのAIでは、コンピューター・ビジョン モデルは、多様な気象条件下で歩行者や交通標識をdetect しなければならない。正則化なしでは、モデル は学習セットから特定の照明条件を記憶し、実世界で失敗する可能性があります。次のようなテクニックがあります。 ウェイト減衰のような技術は、検出システムが雨、霧、まぶしさ 雨、霧、まぶしさ
2. メディカルイメージング：医療画像解析を行う場合 医用画像解析を行う場合、データセットは データセットのサイズは限られています。この場合、オーバーフィッティングは大きなリスクとなります。正則化手法、特に 特にデータ増強と早期停止は X線やMRIの異常をdetect するためにトレーニングされたモデルは、新しい患者データでも正確性を維持し、より良い診断結果をサポートします。 診断結果の向上をサポートします。

正則化と関連概念

正則化を他の最適化や前処理の用語と区別することは有益である：

• 正則化と正規化の比較：正規化には、収束を早めるために入力データを標準的な範囲にスケーリングすることが含まれる。一方 バッチ正規化 正則化のようなテクニックは若干の正則化効果があるが、その主な目的は学習ダイナミクスを安定させることである。 は複雑さにペナルティを与えます。
• 正則化とハイパーパラメータの調整 ハイパーパラメータのチューニング：正則化パラメータ（ドロップアウト率やL2ペナルティなど）は、それ自体がハイパーパラメータである。ハイパーパラメータ ハイパーパラメータのチューニングとは、これらの設定の最適値を探索する広範なプロセスのことで、多くの場合、Ultralytics Tunerのようなツールを使用します。 Ultralytics ようなツールを使うことが多い。
• 正則化 vs.アンサンブル学習：アンサンブル学習：アンサンブル学習は、複数のモデルからの予測を組み合わせることで、分散を減らし、汎化を向上させます。これは これは正則化と同じような目標を達成するが、単一のモデルの学習を制約するのではなく、多様なモデルを集約することによって達成される。 単一のモデルの学習を制約するのではなく、多様なモデルを集約することで実現します。