Regularization

正則化とは、モデルが過度に複雑になることを防ぎ、未知の新しいデータに対する汎化性能を向上させるために機械学習で使用される一連のテクニックです。トレーニングプロセスにおいて、モデルは多くの場合トレーニングデータ内の複雑なパターンを学習することで誤差を最小化しようとします。しかし、制約がない場合、モデルはノイズや外れ値を記憶し始めることがあり、これは過学習として知られる問題です。正則化は、モデルの損失関数にペナルティを加えることでこれに対処し、極端なパラメータ値を効果的に抑制して、より滑らかで堅牢なパターンを学習するようアルゴリズムに強制します。

Link to this section中心的な概念と技術#

正則化の原則は、しばしば「最も単純な解決策が通常は正しい」とするオッカムの剃刀に例えられます。モデルに制約を与えることで、開発者はモデルが偶然の相関関係ではなく、データの最も重要な特徴に焦点を合わせるようにします。

現代のディープラーニングフレームワークにおいて、正則化を実装するためにいくつかの一般的な手法が使用されています。

• L1およびL2正則化: これらのテクニックは、モデルの重みの大きさに基づいてペナルティ項を追加します。リッジ回帰または重み減衰（weight decay）としても知られるL2正則化は、大きな重みに重いペナルティを課し、重みを小さく分散させることを推奨します。Lasso回帰であるL1正則化は、一部の重みをゼロに追い込むことができ、効果的に特徴量選択を実行します。
• ドロップアウト (Dropout): 特にニューラルネットワークで使用されるドロップアウト層は、トレーニング中にニューロンの一定割合をランダムに非アクティブ化します。これにより、ネットワークは特徴を識別するための冗長な経路を構築せざるを得なくなり、特定のニューロンが特定の予測のボトルネックになることを防ぎます。
• データ拡張 (Data Augmentation): 主に前処理ステップですが、データ拡張は強力な正則化手法として機能します。回転、反転、色シフトなどの変更を加えた画像バージョンでデータセットを人工的に拡張することで、モデルはより多くの変動にさらされ、元の静的な例を記憶することを防ぎます。
• 早期終了 (Early Stopping): これには、トレーニング中の検証データに対するモデルのパフォーマンスを監視することが含まれます。トレーニング誤差が減少しているにもかかわらず検証誤差が増加し始めた場合、モデルがノイズを学習するのを防ぐためにプロセスを停止します。

Link to this section実社会での応用#

正則化は、データの変動性が高いさまざまな産業において、信頼性の高いAIシステムをデプロイするために不可欠です。

1. 自動運転: 自動車向けAIソリューションにおいて、コンピュータビジョンモデルはさまざまな気象条件の下で歩行者や交通標識を検出する必要があります。正則化がない場合、モデルはトレーニングセットの特定の照明条件を記憶してしまい、現実世界で失敗する可能性があります。重み減衰のようなテクニックは、検出システムが雨、霧、まぶしさに対しても適切に汎化できるようにし、これは自動運転車における安全性に不可欠です。

2. 医療画像: 医療画像解析を実行する場合、プライバシーへの懸念や疾患の希少性から、データセットのサイズが限られていることがよくあります。過学習はここで大きなリスクとなります。正則化手法は、X線やMRIの異常を検出するようにトレーニングされたモデルが、新しい患者データに対しても精度を維持するのを助け、ヘルスケアAIにおけるより良い診断結果をサポートします。

Link to this sectionPythonでの実装#

Modern libraries make applying regularization straightforward via hyperparameters. The following example demonstrates how to apply dropout and weight_decay when training the YOLO26 model.

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train with regularization hyperparameters
# 'dropout' adds randomness, 'weight_decay' penalizes large weights to prevent overfitting
model.train(data="coco8.yaml", epochs=100, dropout=0.5, weight_decay=0.0005)

これらの実験の管理や、さまざまな正則化値がパフォーマンスに与える影響の追跡は、トレーニング実行のログ記録や比較のためのツールを提供するUltralytics Platformを通じてシームレスに行うことができます。

Link to this section正則化と関連コンセプトの比較#

正則化を他の最適化や前処理の用語と区別すると理解しやすくなります。

• 正則化 vs 正規化: 正規化は、収束を早めるために入力データを標準的な範囲にスケーリングすることを含みます。バッチ正規化のようなテクニックにはわずかな正則化効果があるかもしれませんが、その主な目的は学習ダイナミクスを安定させることであり、一方、正則化は明示的に複雑さにペナルティを課します。
• 正則化 vs ハイパーパラメータチューニング: 正則化パラメータ（ドロップアウト率やL2ペナルティなど）自体がハイパーパラメータです。ハイパーパラメータチューニングは、バイアスとバリアンスのトレードオフのバランスをとるために、これらの設定の最適な値を探すより広範なプロセスです。
• 正則化 vs アンサンブル学習: アンサンブル手法は、複数のモデルからの予測を組み合わせてバリアンスを減らし、汎化性能を向上させます。これは正則化と同様の目標を達成しますが、単一のモデルの学習を制約するのではなく、多様なモデルを集約することでこれを実現します。