正則化

正則化は、機械学習において、モデルが過度に複雑になるのを防ぎ、未知の新しいデータに対する汎化能力を向上させるために用いられる一連の手法です。訓練プロセスにおいて、モデルは多くの場合、訓練データ内の複雑なパターンを学習することによって、誤差を最小限に抑えようと努めます。しかし、制約がないと、モデルはノイズや外れ値を記憶し始める可能性があり、これは過学習として知られる問題です。正則化は、モデルの損失関数にペナルティを加えることでこれに対処し、極端なパラメータ値を効果的に抑制し、アルゴリズムがより滑らかで堅牢なパターンを学習するように促します。

中核概念と技術

正則化の原理はしばしばオッカムの剃刀と比較され、最も単純な解決策が通常は正しいことを示唆しています。モデルを制約することで、開発者は偶発的な相関ではなく、データの最も重要な特徴に焦点を当てることを確実にします。

最新のディープラーニングフレームワークで正則化を実装するために、いくつかの一般的な手法が使用されます。

• L1およびL2正則化: これらの手法は、モデルのウェイトの大きさに基づいてペナルティ項を追加します。L2正則化は、リッジ回帰またはウェイト減衰とも呼ばれ、大きなウェイトに重くペナルティを課し、それらを小さく拡散させることを促します。L1正則化、またはラッソ回帰は、一部のウェイトをゼロに近づけることで、効果的に特徴量選択を実行できます。
• ドロップアウト: ニューラルネットワークで特に使用されるドロップアウト層は、学習中にニューロンの一部をランダムに無効化します。これにより、ネットワークは特徴を識別するための冗長な経路を開発することを強いられ、特定の予測において単一のニューロンがボトルネックになることを防ぎます。
• データ拡張: 主に前処理ステップであるものの、データ拡張は強力な正則化手法として機能します。画像の修正版（回転、反転、色シフトなど）でデータセットを人工的に拡張することで、モデルはより多くの多様性に触れることになり、元の静的な例を記憶してしまうことを防ぎます。
• 早期停止: これは、学習中に検証データに対するモデルの性能を監視することを含みます。学習エラーが減少しているにもかかわらず、検証エラーが増加し始めた場合、モデルがノイズを学習するのを防ぐためにプロセスが停止されます。

実際のアプリケーション

データ変動性が高い様々な産業において、信頼性の高いAIシステムを展開する上で、正則化は不可欠です。

1. 自動運転: 自動車ソリューション向けAIにおいて、コンピュータービジョンモデルは多様な気象条件下で歩行者や交通標識をdetectする必要があります。正則化なしでは、モデルはトレーニングセットからの特定の照明条件を記憶し、現実世界で失敗する可能性があります。weight decayのような手法は、検出システムが雨、霧、まぶしさに対して良好に汎化することを保証し、これは自動運転車の安全性にとって極めて重要です。
2. 医療画像: 医療画像解析を行う際、データセットはプライバシーの懸念や疾患の希少性により、サイズが限られていることがよくあります。ここでは過学習が大きなリスクとなります。正則化手法は、X線やMRIの異常をdetectするように訓練されたモデルが新しい患者データに対しても正確さを維持するのに役立ち、ヘルスケアAIにおけるより良い診断結果をサポートします。

Python実装

現代のライブラリは、ハイパーパラメータを介して正則化の適用を容易にします。以下の例は、その適用方法を示しています dropout そして weight_decay トレーニング時 YOLO26 モデルである。

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train with regularization hyperparameters
# 'dropout' adds randomness, 'weight_decay' penalizes large weights to prevent overfitting
model.train(data="coco8.yaml", epochs=100, dropout=0.5, weight_decay=0.0005)

これらの実験を管理し、異なる正則化値がパフォーマンスにどのように影響するかを追跡することは、トレーニング実行のロギングと比較のためのツールを提供するUltralytics Platformを介してシームレスに処理できます。

正則化と関連概念

正則化を他の最適化や前処理の用語と区別することは有益である：

• 正則化と正規化の比較：正規化には、収束を早めるために入力データを標準的な範囲にスケーリングすることが含まれる。一方 バッチ正規化 正則化のようなテクニックは若干の正則化効果があるが、その主な目的は学習ダイナミクスを安定させることである。 は複雑さにペナルティを与えます。
• 正則化とハイパーパラメータチューニング: ドロップアウト率やL2ペナルティのような正則化パラメータ自体がハイパーパラメータです。ハイパーパラメータチューニングは、これらの設定の最適な値を探すより広範なプロセスであり、多くの場合、バイアス-バリアンスのトレードオフのバランスを取るために行われます。
• 正則化 vs.アンサンブル学習：アンサンブル学習：アンサンブル学習は、複数のモデルからの予測を組み合わせることで、分散を減らし、汎化を向上させます。これは これは正則化と同じような目標を達成するが、単一のモデルの学習を制約するのではなく、多様なモデルを集約することによって達成される。 単一のモデルの学習を制約するのではなく、多様なモデルを集約することで実現します。