Regularization

正則化は、機械学習で使用される一連の手法であり、モデルが過度に複雑になるのを防ぎ、新しい未知のデータに対する汎化性能を向上させます。トレーニングプロセスでは、モデルは多くの場合、トレーニングデータ内の複雑なパターンを学習することで、誤差を最小限に抑えようとします。しかし、制約がなければ、モデルはノイズや外れ値を記憶し始める可能性があります。これは過学習と呼ばれる問題です。正則化では、モデルの損失関数にペナルティを追加することでこの問題に対処し、極端なパラメータ値を実質的に抑制して、アルゴリズムがより滑らかで堅牢なパターンを学習するよう促します。

基本概念と手法#

正則化の原則は、しばしばオッカムの剃刀にたとえられます。これは、最も単純な解決策が通常は正しいという考え方を示しています。モデルに制約を設けることで、開発者は偶然の相関ではなく、データの最も重要な特徴にモデルが集中するようにできます。

最新のディープラーニングフレームワークで正則化を実装するには、いくつかの一般的な手法が使用されます。

• L1およびL2正則化: これらの手法では、モデルの重みの大きさに基づくペナルティ項を追加します。L2正則化は、リッジ回帰または重み減衰とも呼ばれ、大きな重みに大きなペナルティを課し、重みが小さく分散するよう促します。L1正則化、つまりラッソ回帰では、一部の重みをゼロにでき、実質的に特徴量選択を行えます。
• ドロップアウト: 主にニューラルネットワークで使用されるドロップアウト層は、トレーニング中に一定割合のニューロンをランダムに無効化します。これにより、ネットワークは特徴を識別するための冗長な経路を構築するようになり、特定の予測において単一のニューロンがボトルネックになるのを防ぎます。
• データ拡張: 主に前処理のステップとして使用されますが、データ拡張は強力な正則化手法として機能します。画像の変更版（回転、反転、色の変化）によってデータセットを人工的に拡張することで、モデルはより多様なデータにさらされ、元の静的なサンプルを記憶するのを防げます。
• 早期停止: これは、トレーニング中に検証データに対するモデルの性能を監視する手法です。トレーニング誤差が減少する一方で検証誤差が増加し始めた場合、モデルがノイズを学習するのを防ぐためにプロセスを停止します。

実世界での利用例#

正則化は、データの変動性が高いさまざまな業界で、信頼性の高いAIシステムを展開するために不可欠です。

1. 自動運転: 自動車向けAIソリューションでは、コンピュータービジョンモデルがさまざまな気象条件下で歩行者や交通標識を検出する必要があります。正則化を行わない場合、モデルはトレーニングセットに含まれる特定の照明条件を記憶し、実環境で適切に動作できない可能性があります。重み減衰などの手法により、検出システムは雨、霧、まぶしさに対しても適切に汎化できるようになります。これは自動運転車の安全性にとって重要です。

2. 医用画像: 医用画像解析を行う場合、プライバシー上の懸念や症例の希少性により、データセットの規模が限られることがよくあります。ここでは過学習が大きなリスクとなります。正則化手法により、X線画像やMRIで異常を検出するようトレーニングされたモデルが、新しい患者データに対しても精度を維持できるようになり、ヘルスケアAIにおける診断結果の向上を支援します。

Pythonでの実装#

最新のライブラリでは、ハイパーパラメータを使用して正則化を簡単に適用できます。次の例では、YOLO26モデルのトレーニング時にdropoutとweight_decayを適用する方法を示します。

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train with regularization hyperparameters
# 'dropout' adds randomness, 'weight_decay' penalizes large weights to prevent overfitting
model.train(data="coco8.yaml", epochs=100, dropout=0.5, weight_decay=0.0005)

これらの実験の管理や、さまざまな正則化値が性能に与える影響の追跡は、トレーニング実行のログ記録と比較のためのツールを提供するUltralytics Platformによってシームレスに行えます。

正則化と関連概念の比較#

正則化と、その他の最適化および前処理に関する用語を区別すると理解しやすくなります。

• 正則化と正規化の比較: 正規化では、収束を高速化するために入力データを標準的な範囲にスケーリングします。バッチ正規化などの手法にはわずかな正則化効果がありますが、主な目的は学習ダイナミクスを安定させることです。一方、正則化では複雑さに対して明示的にペナルティを課します。
• 正則化とハイパーパラメータチューニングの比較: 正則化パラメータ（ドロップアウト率やL2ペナルティなど）は、それ自体がハイパーパラメータです。ハイパーパラメータチューニングは、これらの設定に最適な値を探索する、より広範なプロセスです。多くの場合、バイアスと分散のトレードオフのバランスを取ることを目的とします。
• 正則化とアンサンブル学習の比較: アンサンブル手法では、複数のモデルによる予測を組み合わせて分散を低減し、汎化性能を向上させます。これは正則化と同様の目的を達成しますが、単一モデルの学習を制約するのではなく、多様なモデルの予測を集約することで実現します。